Improving video and light field coding efficiency by leveraging hybrid coding and video frame interpolation

Abstract

O conteúdo de vídeo ganhou grande importância nas últimas décadas. Ao mesmo tempo, o conteúdo de vídeo só pode ser amplamente distribuído por meio da codificação de vídeo. Neste trabalho, propomos o uso de um método de codificação de vídeo, denominado Decoupled Interpolated Video Coding (DIVC), que combina a codificação híbrida de vídeo com novas abordagens baseadas em Redes Neurais (NN). O DIVC fornece uma representação de nível base com taxa de bits reduzida, por meio da omissão regular de quadros, que pode ser decodificada pela codificação híbrida de vídeo padrão. O DIVC também regera os quadros omitidos a partir da representação de vídeo reconstruída no nível base, utilizando a Interpolação de Quadros de Vídeo (VFI) baseada em NN para recuperar o número original de quadros por segundo (fps). Essa etapa de VFI foi realizada utilizando o Real-Time Intermediate Flow Estimation (RIFE), que é um método de código aberto do estado da arte. Demonstramos que a abordagem DIVC pode melhorar a eficiência da codificação de vídeo em comparação com o padrão de codificação de vídeo do estado da arte, o Versatile Video Coding (VVC). O uso do DIVC para melhorar a eficiência da codificação de vídeo tende a ser mais adequado para o processamento de sequências de vídeo com transições suaves e alta correlação entre quadros. Além do vídeo, há também tipos emergentes de mídia que podem ter impacto nos próximos anos, incluindo o chamado Light Field (LF). Essas mídias podem ser representadas como uma matriz de imagens e tendem a apresentar deslocamentos relativamente simples e pequenos dos objetos entre vistas vizinhas. Além disso, os LFs podem ser representados como sequências pseudo-temporais. Portanto, as características dos LFs tendem a ser favoráveis à abordagem DIVC. Por isso, também desenvolvemos uma versão alternativa do método DIVC voltada para a codificação de LF, chamada DIVC for Light Field Coding (DIVC-LF). De acordo com nossos experimentos, o DIVC-LF melhora a eficiência de codificação em comparação com a implementação do VVC Test Model (VTM) do padrão VVC. O DIVC-LF também oferece melhor eficiência de codificação em comparação com a implementação do JPEG Pleno Model (JPLM) do padrão de codificação de LFs do estado da arte, o JPEG Pleno Parte 2: Light Field Coding. Durante a avaliação do DIVC-LF, identificamos casos específicos em que o VFI, utilizando o método RIFE, resultou em artefatos indesejáveis na imagem, particularmente em áreas com texturas regulares. Além disso, os conjuntos de dados de treinamento existentes para o VFI incluem movimentos não lineares, o que pode afetar negativamente o processo de treinamento. Por isso, desenvolvemos um conjunto de dados baseado em texturas sintéticas (Tex) utilizando imagens de textura e aplicando deslocamentos aleatórios sobre crops de imagens, como forma de aprimorar o treinamento do RIFE. O conjunto de dados Tex também foi concatenado ao conjunto de dados Vimeo90k, que era o conjunto de dados de treinamento original do RIFE, resultando no conjunto de dados que denominamos de VimTex. Embora o conjunto de dados Tex tenha proporcionado ganhos para o treinamento do RIFE em alguns casos, os resultados gerais não corresponderam aos do RIFE original. No entanto, ao utilizar o conjunto de dados VimTex para treinamento com deslocamentos de recorte relativamente altos, o RIFE apresentou desempenho semelhante ou superior para todos LFs testados, em comparação tanto com o RIFE original quanto com o RIFE retreinado utilizando apenas o conjunto de dados Vimeo90K.

Abstract: Video content has gained great importance in the past decades. At the same time, video content can only be widely distributed by applying video coding technology. In this work, we propose the use of a video coding method, dubbed Decoupled Interpolated Video Coding (DIVC), which blends traditional hybrid video coding with novel approaches based on Neural Network (NN). The DIVC approach provides a base-level representation with a reduced bit rate by dropping frames in a regular manner which can be decoded by standard hybrid video coding. Meanwhile, we also regenerate the dropped frames from the base-level reconstructed video representation using NN-based Video Frame Interpolation (VFI) to recover the original number of frames per second (fps). Such a VFI step was carried out using the Real-time Intermediate Flow Estimation (RIFE) model, which is a state-of-the-art, open-source method. We show that the DIVC approach can improve video coding efficiency compared to the state-of-the-art video coding standard, the Versatile Video Coding (VVC). Employing the DIVC to improve video coding efficiency tends to be more suited to processing video sequences with smooth changes and high correlation between frames. Beyond video, there are also emerging types of media which can have an impact for years to come, including the so-called Light Field (LF). Such media can be represented as a matrix of images and tends to have relatively simple and small displacement of objects between neighboring views. Furthermore, LFs can be represented as pseudo-temporal sequences, unlocking the myriad of video coding techniques and standards for LF coding. Hence, the characteristics of LFs tend to be favorable to the DIVC approach. Because of that, we also developed an alternative version of the DIVC method aimed at LF coding, called DIVC for Light Field Coding (DIVC-LF). We demonstrate the application of the DIVC-LF method as a way of efficiently coding LF data while also relying on well established and optimized hybrid video coding techniques. According to our experiments, DIVC-LF improves the coding efficiency compared to the VVC Test Model (VTM) implementation of the VVC standard. The DIVC-LF also provides better coding efficiency compared to the JPEG Pleno Model (JPLM) implementation of the state-of-the-art LF coding standard, the JPEG Pleno Part 2: Light field coding. During the evaluation of DIVC-LF we uncovered specific cases where VFI using the RIFE method resulted in undesirable image artifacts, particularly in areas of regular textures. Furthermore, existing training datasets for VFI include non-linear motion which can negatively affect the training process. Because of that, we developed a synthetic textures-based dataset (Tex) using texture images by applying random crop displacements, as a way of better training RIFE. The Tex dataset was also concatenated to the Vimeo90k dataset which was the original training dataset for RIFE, resulting in what we dubbed the VimTex dataset. While the Tex dataset provided gains for RIFE training in some cases, the overall results did not match the original RIFE. However, when using the VimTex dataset for training with relatively high crop displacements, RIFE performed similarly or better for all tested LFs compared to both the original RIFE and RIFE retrained only using the Vimeo90K dataset.