Artificial intelligence for cloud images captured by horizon-oriented cameras: a study on tracking and experiments in detection and segmentation

Abstract

A detecção e classificação precisas de nuvens em imagens capturadas a partir do solo continuam sendo desafios relevantes na meteorologia, especialmente devido ao comportamento dinâmico das nuvens e seu impacto na previsão do tempo em curto prazo. Diferentemente de sistemas baseados em satélites ou radares, as câmeras posicionadas no solo oferecem uma alternativa de baixo custo e alta resolução para o monitoramento de condições atmosféricas locais. Essa abordagem é particularmente valiosa para nowcasting, que exige informações em tempo real sobre padrões de nu- vens em rápida evolução. No entanto, variações na iluminação, morfologia das nuvens e complexidade dos movimentos dificultam a aplicação de técnicas automatizadas de análise. Esta dissertação investiga métodos baseados em inteligência artificial para detecção e rastreamento de nuvens utilizando imagens obtidas por câmeras terrestres orientadas para o horizonte. A pesquisa está organizada em três etapas. A primeira consiste em uma revisão sistemática da literatura sobre rastreamento de nuvens com técnicas de visão computacional, destacando os principais desafios e os métodos mais atuais. A segunda etapa concentra-se na criação do conjunto de dados Clouds-1500, composto por 1500 imagens anotadas manualmente, capturadas em Florianópolis, Brasil, e categorizadas em quatro tipos de nuvens: Estratiforme, Cirriforme, Estratocumuliforme e Cumuliforme. As anotações foram realizadas com a plataforma Supervisely, e o conjunto está disponível publicamente no Mendeley Data. Na terceira etapa, foram conduzidos dezessete experimentos de segmentação semântica utilizando modelos de aprendizado profundo baseados em redes neurais convolucionais e transformadores. Os experimentos avaliaram diferentes arquiteturas quanto à sua eficácia na segmentação precisa de formações de nuvens.

Abstract: Accurate detection and classification of clouds in ground-based images remain a major challenge in meteorology, especially due to the dynamic nature of clouds and their im- pact on short-term weather forecasting. Unlike satellite or radar systems, ground-based cameras offer a high-resolution, low-cost alternative for monitoring local atmospheric conditions. This approach is valuable for nowcasting, which requires real-time insights into rapidly evolving cloud patterns. However, factors such as changes in illumination, cloud morphology, and motion complexity increase the difficulty of applying automated techniques for cloud analysis. This dissertation explores artificial intelligence (AI)-based approaches for cloud de- tection and tracking using images from horizon-oriented ground-based cameras. The research is divided into three main stages. The first stage involved a systematic litera- ture review focused on cloud tracking through computer vision techniques, highlighting current challenges and state-of-the-art methods. The second stage focused on the creation of the Clouds-1500 dataset, composed of 1500 manually annotated images of clouds captured in Florianópolis, SC, Brazil, categorized into four types: Stratiform, Cirriform, Stratocumuliform, and Cumuliform. The dataset was labeled using the Super- visely platform and is publicly available on Mendeley Data. In the third stage, a total of 17 semantic segmentation experiments were conducted using deep learning models based on Convolutional Neural Networks and Transformers. These experiments evalu- ated multiple architectures to assess their effectiveness in accurately segmenting cloud formations.