Spectral variability in hyperspectral unmixing: multiscale, tensor, and neural network-based approaches

Abstract

As assinaturas espectrais dos materiais contidos em imagens hiperespectrais, também chamadas de endmembers (EMs), podem ser consideravelmente afetadas por variações nas condições atmosféricas, de iluminação, ou ambientais que podem ocorrer dentro de uma imagem. Métodos tradicionais de separação espectral não consideram a variabilidade espectral dos endmembers, o que acaba propagando erros por todo o processo de separação espectral e compromete a qualidade das abundâncias estimadas. Consequentemente, muitos trabalhos têm se dedicado à mitigar os efeitos adversos da variabilidade dos endmembers na separação espectral. Não obstante, ainda existem muitos desafios relacionados a exploração de informação a priori referente à este problema para melhorar a qualidade, a robustez e a eficiência de algoritmos de separação espectral que consideram a variabilidade dos EMs. Nesta tese, novas estratégias são desenvolvidas para mitigar a variabilidade espectral na separação espectral. Primeiramente uma estratégia de regularização espacial multiescala baseada em algoritmos de segmentação e sobre-segmentação de imagens é proposta para separação espectral semi-supervisionada e não-supervisionada. Posteriormente, novos modelos são propostos para representar as assinaturas espectrais dos endmembers em cada pixel da imagem no problema de separação espectral, utilizando representações paramétricas, tensoriais, e baseadas em redes neurais. Por fim, as abordagens propostas são estendidas para resolver outros desafios relacionados à separação espectral e, de maneira mais geral, à análise de imagens hiperespectrais. Primeiro, a regularização espacial multiescalas é utilizada para resolver o problema de separação espectral não-linear usando kernels. Posteriormente, modelos paramétricos e estratégias baseadas em bibliotecas espectrais são adaptados para representar a variabilidade espectral encontrada em imagens adquiridas em diferentes instantes de tempo. Finalmente, a variabilidade espectral e espacial é abordada dentro do problema de fusão de imagens hiperespectrais e multiespectrais, a qual visa obter imagens de alta resolução espacial e espectral.

Abstract: The spectral signatures of the materials contained in hyperspectral images, also called endmembers (EMs), can be significantly affected by variations in atmospheric, illumination or environmental conditions typically occurring within an image. Traditional spectral unmixing (SU) algorithms neglect the spectral variability of the endmembers, what propagates significant mismodeling errors throughout the whole unmixing process and compromises the quality of the estimated abundances. Therefore, significant effort has been recently dedicated to mitigate the effects of spectral variability in SU. However, many challenges still remain in how to best explore a priori information about the problem in order to improve the quality, the robustness and the efficiency of SU algorithms that account for spectral variability. In this thesis, new strategies are developed to address spectral variability in SU. First, an (over)-segmentation-based multiscale regularization strategy is proposed to explore spatial information about the abundance maps more effectively. New algorithms are then proposed for both semi-supervised and blind SU, leading to improved abundance reconstruction performance at a small computational complexity. Afterwards, three new models are proposed to represent spectral variability of the EMs in SU, using parametric, tensor, and neural network-based representations for EM spectra at each image pixel. The parametric model introduces pixel-dependent scaling factors over a reference EM matrix to model arbitrary spectral variability, while the tensor-based representation allows one to exploit the high-dimensional nature of the data by means of its underlying low-rank structure. Generative neural networks (such as variational autoencoders or generative adversarial networks) finally allow one to model the low-dimensional manifold of the spectral signatures of the materials more effectively. The proposed models are used to devise three new blind SU algorithms, and to perform data augmentation in library-based SU. Finally, we provide a brief overview of work which extends the proposed strategies to new problems in SU and in hyperspectral image analysis. This includes the use of the multiscale abundance regularization in nonlinear SU, modeling spectral variability and accounting for sudden changes when performing SU and change detection of multitemporal hyperspectral images, and also accounting for spectral variability and changes in the multimodal (i.e., hyperspectral and multispectral) image fusion problem.