Exploring hardware acceleration of a transformer-based architecture for hyperspectral image classification

Abstract

O aumento da demanda por desempenho no processamento de grandes volumes de dados tem impulsionado a adoção de sistemas-em-chip heterogêneos, que combinam diferentes tecnologias de processamento e circuitos. Esses sistemas visam atender a requisitos como alta performance, baixo consumo de energia e resposta em tempo real, os quais são aspectos fundamentais em aplicações como sensoriamento remoto e sistemas espaciais. Nesse contexto, os aceleradores em hardware se destacam como alternativa viável para substituir tarefas computacionalmente custosas executadas em software, como aquelas envolvidas em redes neurais artificiais (RNAs) aplicadas ao processamento de imagens hiperespectrais (HSIs), as quais exigem alta capacidade de processamento devido à riqueza de informações espectrais por pixel. Entre os principais desafios está a classificação de HSIs, tarefa essencial em diversos cenários de aplicação. Apesar da eficácia de arquiteturas espectro-espaciais, este trabalho investigou e demonstrou o potencial de classificadores que operam exclusivamente no domínio espectral, visando à sua viabilidade para implementação em hardware embarcado. Após uma revisão sistemática da literatura e uma análise experimental detalhada, observou-se que a arquitetura Transformer, mesmo operando apenas com dados espectrais, pode alcançar desempenho comparável às abordagens tradicionais, com menor complexidade computacional e uso de memória. Com base nesses achados, esta tese propõe uma arquitetura Transformer reduzida e otimizada, chamada Reduced Transformer, voltada à classificação espectral de HSIs e acelerada via GPU. A arquitetura demonstrou-se eficiente tanto em CPUs quanto em GPUs, com destaque para seu desempenho escalável em plataformas embarcadas de baixo consumo, como o NVIDIA Jetson Orin Nano. Os experimentos evidenciaram que o modelo obtém um bom compromisso entre acurácia, tempo de inferência, consumo energético e uso de memória, superando arquiteturas de referência como a 3D-CNN em diferentes cenários de volume de dados. Embora não tenha sido implementada como um núcleo IP para FPGA, a solução proposta mostrou-se adequada para futuras implementações em hardware dedicado, indicando sua aplicabilidade em sistemas reais de sensoriamento remoto com restrições computacionais severas. Assim, esta tese contribui com uma alternativa viável, confiável e eficiente para classificação de HSIs em contextos embarcados, reforçando o potencial do uso de Transformers em arquiteturas otimizadas para Deep Learning embarcado.

Abstract: The increasing demand for high-performance processing of large volumes of data has driven the adoption of heterogeneous systems-on-chip (SoCs) that combine multiple processor and circuit technologies. These systems aim to meet requirements such as high performance, low power consumption, and real-time responsiveness, which are key to applications such as remote sensing and space systems. In this context, hardware accelerators have emerged as a viable solution for replacing computationally intensive tasks traditionally executed in software, such as those involving artificial neural networks (ANNs) applied to hyperspectral image (HSI) processing, which demand significant computational resources due to the high spectral resolution per pixel. Among the primary challenges in this domain is the classification of HSIs, a critical task across numerous application scenarios. Although spectral-spatial architectures have proven effective, this work investigates and demonstrates the potential of classifiers that operate exclusively in the spectral domain, aiming to assess their feasibility for embedded hardware implementation. Through a systematic literature review and comprehensive experimental analysis, it was observed that the Transformer architecture, even when operating solely on spectral data, can achieve performance comparable to traditional approaches while requiring lower computational complexity and memory usage. Based on these findings, this thesis proposes a reduced and optimized Transformer-based architecture, the Reduced Transformer, for spectral HSI classification and GPU acceleration. The architecture proved to be highly efficient on both CPUs and GPUs, with particular emphasis on its scalable performance on low-power embedded platforms such as the NVIDIA Jetson Orin Nano. Experimental results showed that the model offers an excellent balance between accuracy, inference time, energy consumption, and memory usage, outperforming reference architectures such as the 3D-CNN across various data volume scenarios. Although the proposed solution has not yet been implemented as an IP core for an FPGA, it demonstrated strong potential for future deployment on dedicated hardware, indicating its applicability in real-world remote sensing systems operating under strict computational constraints. In summary, this thesis contributes a viable, reliable, and efficient alternative for HSI classification in embedded contexts, reinforcing the potential of Transformer-based models in optimized architectures for embedded Deep Learning.