Evaluation of motion estimation lagrange multipliers in HEVC

Abstract

Vídeos digitais demandam bastante espaço para armazenamento e largura de banda para transmissão, o que pode ser tratado codificando os dados de maneira a comprimilos. A solução do estado da arte para codificação de vídeos é conhecida como High Efficiency Video Coding (HEVC). O HEVC incorpora várias ferramentas que o tornam altamente adaptável a diferentes tipos de conteúdo de vídeo. Porém, tais ferramentas requerem a tomada de diversas decisões durante o processo de codificação. Por exemplo, o HEVC Model (HM), que é o software de referência do HEVC, toma tais decisões considerando os impactos tanto em distorção quanto em taxa de bits através do algoritmo de Otimização de Taxa-Distorção (RDO). No RDO, um Multiplicador de Lagrange (lambda) é aplicado sobre os valores de taxa a fim de definir a importância (peso) da taxa de bits em relação à distorção. Todavia, ainda há a necessidade de definir um lambda de forma a dar um peso adequado à taxa de bits em relação à distorção. Pode-se encontrar diversos trabalhos da literatura fornecendo um embasamento de como definir valores de lambda considerando duas das métricas usadas no HM, Soma das Diferenças Quadráticas (SSD) e Soma das Diferenças Absolutas (SAD). Porém, na literatura há uma lacuna de trabalhos avaliando valores para lambda considerando a métrica de Soma das Diferenças Absolutas Transformadas (SATD). Tal lacuna na literatura é especialmente significativa pois a SATD é a métrica padrão de cálculo de distorção para o RDO na etapa de Estimação de Movimentos Fracionária (FME) do HEVC. Neste trabalho, foram realizados dois conjuntos de experimentos com fatores multiplicativos constantes (m) aplicados sobre os valores de lambda padrões a fim de avaliar os impactos em eficiência do HM ao mudar lambda. O primeiro conjunto (Cenário-I) consistiu em multiplicar por m os valores de lambda usados na ME, tanto com a SAD quanto com a SATD. No segundo conjunto apenas os valores de lambda usados na etapa de FME (portanto, usando a SATD) foram multiplicados por m no (Cenário-II). No caso do Cenário-I, percebeu-se que multiplicadores com valores na faixa 0.9 <= m <= 1.2 produziram resultados similares (incluindo a referência com m = 1). Por outro lado, o Cenário-II apresentou ganhos em eficiência de codificação do HM ao aumentar os valores de lambda na FME por um fator de m = 1.3. Nós também amostramos a distorção e a taxa a partir da função de FME durante a execução dos testes descritos. A partir dos dados amostrados, nós buscamos correlações entre distorção ou taxa com o melhor valor de m para cada vídeo testado. Porém, nenhuma das métricas avaliadas apresentou correlação com os melhores valores de m, contradizendo assim as afirmações feitas em um dos trabalhos correlatos mais relevantes.

Abstract: Digital videos demand large storage space and high bandwidth to be transmitted, which can be addressed by coding the data in a compressing manner. The state-of-the-art solution to video coding is the standard dubbed High Efficiency Video Coding (HEVC). HEVC incorporates various tools making it very adaptable to different kinds of video content but also requiring several choices to be made during the coding process. For instance, the HEVC Model (HM), which is HEVC?s reference software, makes such choices by considering the impacts to both distortion and bit rate through what is known as Rate-Distortion Optimization (RDO). In RDO, a Lagrange Multiplier (lambda) is applied to the rate values in order to define the importance (weight) of the bit rate in the trade off with the distortion. Nevertheless, the necessity remains for defining lambda such that it weighs adequately the relationship between rate and distortion. We can find in the literature a number of works providing some background on how to define the values of lambda when considering the Sum of Squared Differences (SSD) and Sum of Absolute Differences (SAD) distortion metrics, two of the used metrics in HM. However, there is a lack of works evaluating lambda values considering the Sum of Absolute Transformed Differences (SATD). Such a gap in the literature is especially significant because the SATD is the default distortion measure for the RDO in the HEVC step known as Fractional Motion Estimation (FME). In this work we conducted two sets of experiments with constant multiplicative factors (m) applied to the default values of lambda in order to evaluate the impacts of changing lambda in the performance of HM. The first set (Scenario-I) consisted in multiplying the lambdas employed with both SAD and SATD in ME by m. Meanwhile, in Scenario-II only the lambdas used in the FME step (i.e., with the SATD) are multiplied by m. The obtained results show that lambdas between 0.9 and 1.2 produce similar results (including the baseline with m = 1) under Scenario-I. On the other hand, Scenario-II demonstrated coding efficiency gains on HM when increasing lambda by a factor of 1.3 for the FME computation. During the execution of the described tests we also sampled distortion and rate data from the FME computation function. With the sampled data we searched for correlations between distortion or rate to the best m value for each tested video sequence. However, none of the tested metrics showed correlation to the best ms, which contradicts the claims made by one of the most relevant related works.