Comportamento estocástico do algoritmo kernel least-mean-square

Abstract

Algoritmos baseados em kernel têm-se tornado populares no processamento não-linear de sinais. O processamento não-linear aplicado sobre um sinal pode ser modelado como um processamento linear aplicado a um sinal transformado para um espaço de Hilbert com kernels reprodutivos (RKHS). A operação linear no espaço transformado pode ser implementada com baixa complexidade e pode ser melhor estudada e projetada. O algoritmo Kernel Least-Mean-Squares (KLMS) é um algoritmo popular em filtragem adaptativa não-linear devido à sua simplicidade e robustez. Implementações práticas desse algoritmo requerem um modelo de ordem finita do processamento não-linear, o que modifica o comportamento do algoritmo em relação ao LMS simplesmente mapeado para o RKHS. Essa modificação leva à necessidade de novos modelos analíticos para o comportamento do algoritmo. O desempenho do algoritmo é função do passo de convergência e dos parâmetros do kernel empregado. Este trabalho estuda o comportamento do KLMS em regimes transitório e permanente para entradas Gaussianas e um modelo de não-linearidade de ordem finita. Dois kernels são considerados; o Gaussiano e o Polinomial. Derivamos modelos analíticos recursivos para os comportamentos do vetor médio de erros nos coeficientes e do erro quadrático médio de estimação. As previsões do modelo mostram excelente acordo com simulações de Monte Carlo no transitório e no regime permanente. Isso permite a determinação explícita das condições para a estabilidade, e permite escolher os parâmetros do algoritmo a fim de obter um desempenho desejado. Exemplos de projeto são apresentados para o kernel Gaussiano e para o kernel Polinomial de segundo grau de forma a validar a análise teórica e ilustrar sua aplicação.

Kernel-based algorithms have become popular in nonlinear signal processing. A nonlinear processing can be modeled as a linear processing applied to a signal transformed to a reproducing kernel Hilbert space (RKHS). The linear operation in the transformed space can be implemented with low computational complexity and can be more easily studied and designed. The Kernel Least-Mean-Squares (KLMS) is a popular algorithm in nonlinear adaptive filtering due to its simplicity and robustness. Practical implementations of this algorithm require a finite order model for the nonlinear processing. This modifies the algorithm behavior as compared to the LMS simply mapped to the RKHS. This modification leads to the need for new analytical models for the algorithm behavior. The algorithm behavior is a function of both the step size and the kernel parameters. This work studies the KLMS algorithm behavior in transient and in steady-state for Gaussian inputs and for a finite order nonlinearity model. Two kernels are considered; the Gaussian and the Polinomial. We derive analytical models for the behavior of both the mean weight error vector and the mean-square estimation error. The model predictions show excellent agreement with Monte Carlo simulations at both the transient and the steady-state. This allows the explicit determination of the stability limits and to design the algorithm parameters to obtain a desired performance. Design examples are presented for the Gaussian and for the second degree Polinomial kernels to validate the analysis and to illustrate its application.