Exploiting block size as a parameter to reduce integer motion estimation complexity on HEVC

Abstract

O aumento das resoluções dos vídeos, combinado com a crescente demanda por serviços de streaming requerem técnicas de compressão avançadas para viabilizar o armazenamento e transferência do grande volume de dados gerados. O HEVC, padrão de codificação estado da arte, permitiu reduzir em 50% a taxa de bits em comparação com o seu predecessor, o AVC, mantendo a qualidade visual perceptível. Entretanto, tal taxa de compressão vem acompanhada de um aumento de 2x a 10x na complexidade da codificação. Trabalhos correlatos propõem reduzir a complexidade da codificação eliminando operações com base em informações obtidas de diferentes níveis de profundidade da busca recursiva feita pelo codificador com a finalidade de encontrar o melhor modo de representar cada bloco de um quadro. Uma dessas informações é o tamanho do bloco avaliado. Porém, seu papel na redução da complexidade não fica claro, dado que outras variáveis têm influência nos algoritmos apresentados pelos trabalhos correlatos. Este trabalho explorou o impacto do tamanho do bloco como parâmetro para reduzir a complexidade da codificação. Tal exploração foi realizada no contexto da Estimação de Movimento Inteira, a qual é uma das etapas chave no fluxo de codificação. Para destacar o impacto do tamanho do bloco na codificação, a etapa de Estimação de Movimento Inteira foi seletivamente eliminada somente com base nessa característica. A abordagem proposta resultou em três estratégias que permitiram identificar que os ganhos não compensavam o grande esforço da Estimação de Movimento Inteira para predizer alguns tamanhos de bloco. A melhor estratégia, que elimina a Estimação de Movimento Inteira de blocos não quadrados entre os tamanhos 8x8 até 64x64, bem como todos os assimétricos, reduziu em média 43.9% a complexidade da Estimação de Movimento Interia, enquanto a perda da eficiência de codificação foi inferior a 1% em BD-Rate. Ainda, outras explorações foram feitas para analisar os resultados da melhor estratégia proposta, combinada com diferentes parâmetros de codificação e algoritmos rápidos.

Abstract: The increasing video resolutions, combined with the growing demand for video streaming services on the internet, require advanced compression techniques to make it feasible to store and transfer the resulting huge amounts of data. The HEVC, state-of-the-art video encoding standard, allowed for an increase of 50% in bitrate compression in comparison to its predecessor, the AVC, while keeping the same perceptive visual quality. However, such compression rate comes along with an increase of 2x to 10x in complexity. Related works propose to reduce the encoding complexity by eliminating operations based on information from different depths of the recursive search targeting to find the best mode to encode each block of a frame. One of such information is the size of the block being evaluated, but because there are other variables influencing the algorithms presented by related works, the role of the block size in complexity reduction does not become clear. This work explores the impact of the block size as a parameter to reduce the encoding complexity. Such exploration was done in the context of the Integer Motion Estimation, which is one of the key steps of the encoding flow. By eliminating the Integer Motion Estimation based only on the block size, the block size effect on encoding was highlighted. The proposed approach resulted in three elimination strategies that allowed to identify that the payoffs do not compensate the huge Integer Motion Estimation efforts to predict some block sizes. The best strategy, which eliminates the Integer Motion Estimation of the nonsquare blocks with sizes between 8x8 and 64x64 and all the asymmetric ones as well, reduces the Integer Motion Estimation complexity by 43.9%, on average, with encoding efficiency loss lower than 1% in BD-Rate. Further explorations were made analyzing the best elimination strategy with different encoding parameters and combining it with fast algorithms.