Algoritmos para compressão de light fields conforme o padrão JPEG Pleno

Abstract

Os Light Fields (LFs) são imagens que registram tanto a intensidade quanto a direção dos raios de luz em uma cena. Em um contexto em que a compressão de LFs é essencial para aplicações imersivas, este trabalho tem como objetivo a atualização das Condições Comuns de Teste (CTC) utilizadas na atividade de padronização da codificação de LFs, conforme a família de padrões desenvolvida pelo Joint Photographic Experts Group (JPEG), o JPEG Pleno. A motivação surgiu das inconsistências observadas na versão 3.4 do documento que, entre outros aspectos, não levava em consideração o uso do software de referência, chamado de JPEG Pleno Model (JPLM). Para contornar as limitações observadas e garantir reprodutibilidade, foi desenvolvido o conjunto de scripts em Python denominado CTC Tools, que automatiza integralmente o fluxo experimental. A ferramenta proposta realiza o download automático dos LFs de referência do banco de dados do JPEG, prepara os dados convertendo-os para os formatos exigidos pelos codecs e, após a codificação e decodificação, calcula as métricas de qualidade (e. g., PSNR-Y, PSNR-YUV, SSIM) para estimar a eficiência de codificação de cada codec. Assim, como saída, a proposta gera curvas de taxa-distorção, calcula o Bjøntegaard Delta-Rate (BD-Rate), e produz relatórios estruturados em JSON, além de heatmaps que permitem visualizar de maneira detalhada a qualidade do LF decodificado. Além disso, inclui funcionalidades auxiliares para análises de desempenho e documentação automática a partir de arquivos schema. Os resultados obtidos através do uso da proposta foram fundamentais para subsidiar contribuições ao comitê JPEG, contribuindo diretamente para a redação da versão 4.0 das CTC.