Algoritmos para compressão de light fields conforme o padrão JPEG Pleno

Abstract

Diferentemente de imagens bidimensionais convencionais, os Light Fields (LFs) são uma modalidade de imagem que captura informações sobre a direção dos raios de luz em uma cena, possibilitando aplicações como refoco e mudança de perspectiva. Nesse contexto, a família de padrões JPEG Pleno, criada pelo Joint Photographic Experts Group (JPEG), tem como objetivo padronizar diferentes modalidades de mídias imersivas. Entre os documentos desenvolvidos nesse âmbito, destacam-se as Condições Comuns de Teste (Common Test Conditions – CTC), que definem os datasets, métricas de qualidade e configurações utilizadas na avaliação da codificação de LFs. Assim, este trabalho teve como principal objetivo contribuir para o desenvolvimento da nova versão das CTC para LFs (v4.0), a fim de substituir a versão anterior (v3.4), que apresentava inconsistências técnicas e dificuldades de reprodutibilidade. Nesse contexto, foram desenvolvidos os Core Experiments (CEs) 18, 19 e 20, responsáveis pela avaliação de novas taxas-alvo de codificação para diferentes categorias de LFs. Os resultados obtidos permitiram definir taxas capazes de proporcionar melhor qualidade visual, especialmente nas menores taxas de bits. Outra contribuição do projeto foi o aprimoramento do Light Field Coding Toolkit (LFC Toolkit), ferramenta desenvolvida para automatizar a avaliação de codecs de LFs. Durante este ciclo, foram implementadas melhorias relacionadas à portabilidade, à reprodutibilidade e à documentação do projeto, incluindo sua estruturação como um pacote Python, o uso do Docker Compose para reprodução do ambiente experimental e a criação de uma pipeline automatizada para geração e publicação da documentação. Por fim, foi desenvolvida uma pipeline para testes de conformidade relacionados à Parte 3 do padrão JPEG Pleno. A solução permite verificar requisitos definidos para codificadores e decodificadores de LFs, incluindo a análise de elementos presentes na bitstream e a comparação entre imagens decodificadas e aquelas produzidas pelo software de referência. Dessa forma, as contribuições desenvolvidas auxiliam a reprodutibilidade dos experimentos, a avaliação de tecnologias de codificação e o desenvolvimento de futuras atualizações do padrão JPEG Pleno.