Segmentation and classification of individual clouds in images captured with horizon-aimed cameras for nowcasting of solar irradiance absorption

Abstract

Um aspecto crucial da geração de energia solar, particularmente em locais intertropicais, é a variabilidade local das nuvens. Imagens de satélite não possuem resolução temporal necessária para a previsão imediata dos impactos em usinas solares, o que torna o monitoramento por câmeras terrestres essencial. A detecção e monitoramento de nuvens apresentam desafios significativos devido à natureza dinâmica das formas das nuvens, às limitações dos dispositivos de câmeras lineares e autoajustáveis e às distorções introduzidas por lentes olho-de-peixe. Este trabalho é dedicado ao avanço das técnicas de segmentação de nuvens com o objetivo final de prever os impactos das nuvens na geração de energia solar, que variam de acordo com a climatologia e geografia únicas de cada local. Utilizando câmeras baseadas em Raspberry-Pi apontadas para o horizonte, na região de Florianópolis, Brasil, este estudo supera as limitações das lentes olho-de-peixe, possibilitando a observação da distribuição vertical das nuvens. Uma análise extensiva de imagens de nuvens levou à adoção de métodos de aprendizado profundo como U-net, HRNet e Detectron, com aprendizado por transferência aplicado a partir de pesos treinados no conjunto de dados \"2012 ILSVRC ImageNet\" e configurações arquitetônicas como ResNet, EfficientNet e RCNN. O Experimento 28, utilizando uma arquitetura U-net com ResNet 18, alcançou um IoU médio de 0,564, demonstrando resultados promissores na classificação de nuvens em uma resolução mais baixa. O Experimento 44 melhorou ainda mais o desempenho, superando outros modelos com um IoU médio de 0,594, destacando a eficácia de uma abordagem arquitetônica mais simples, porém robusta. Apesar dos desafios impostos pela variabilidade na frequência das nuvens e condições atmosféricas, esses modelos mostraram potencial significativo na classificação automatizada de nuvens, levando a previsões mais precisas para os impactos na energia solar. Os resultados sublinham a necessidade de desenvolvimento contínuo em métodos de segmentação e ajuste de modelos para lidar com a complexidade dos padrões das nuvens. Embora a identificação de nuvens permaneça uma tarefa complexa, esta pesquisa demonstrou que modelos de aprendizado profundo mais simples muitas vezes superam os mais complexos, e a augmentação de dados desempenha um papel crítico no aumento da robustez e generalização do modelo. No entanto, a variabilidade nas frequências dos tipos de nuvens, condições atmosféricas e época do ano apresenta desafios significativos para a comparação direta com a literatura existente. As experiências deste estudo revelaram que, enquanto os modelos CNN convencionais oferecem desempenho confiável, há uma necessidade premente de avanços para lidar de forma eficaz com classes de nuvens mais intrincadas. Os achados reforçam a necessidade de experimentação contínua no campo da segmentação de imagens e o desenvolvimento de modelos sofisticados e contextualmente conscientes para enfrentar a natureza multifacetada das tarefas de segmentação de nuvens.

Abstract: One crucial aspect of solar energy generation, particularly in inter-tropical sites, is the local variability of clouds. Satellite imagery lacks the temporal resolution necessary for nowcasting the impacts on solar plants, thus necessitating monitoring by ground-based cameras. Cloud detection and monitoring pose significant challenges due to the dynamic nature of cloud shapes, the limitations of linear and self-adjusting camera devices, and distortions introduced by fish-eye lenses. This work is dedicated to advancing cloud segmentation techniques with the ultimate goal of predicting cloud impacts on solar energy generation, which vary according to each site's unique climatology and geography. Utilizing Raspberry-Pi-based cameras pointed at the horizon, in the region of Florianópolis, Brazil, this study overcomes the limitations of fish-eye lenses, enabling the observation of clouds' vertical distribution. An extensive analysis of cloud images has led to the adoption of deep learning methods such as U-net, HRNet, and Detectron, with transfer learning applied from weights trained on the \"2012 ILSVRC ImageNet\" dataset and architectural configurations like ResNet, EfficientNet, and RCNN. Experiment 28, utilizing a U-net with ResNet 18 architecture, achieved an average IoU of 0.564, demonstrating promising results in cloud classification at a lower resolution. Experiment 44 further improved the performance, surpassing other models with an average IoU of 0.594, highlighting the effectiveness of a simpler, yet robust, architectural approach. Despite the challenges posed by variability in cloud frequency and atmospheric conditions, these models have shown significant potential in automated cloud classification, leading to more accurate nowcasting for solar energy impacts. The findings underscore the need for continuous development in segmentation methods and model tuning to address the complexities of cloud patterns. Although cloud identification remains a complex task, this research has demonstrated that simpler deep learning models often outperform more complex ones, and data augmentation plays a critical role in enhancing model robustness and generalization. Nevertheless, the variability in cloud type frequencies, atmospheric conditions, and the time of year presents significant challenges for direct comparison with existing literature. This study's experiments have revealed that while conventional CNN models offer reliable performance, there is a pressing need for further advancements to handle more intricate cloud classes effectively. The findings underscore the necessity for continuous experimentation in the field of image segmentation and the development of sophisticated, contextually aware models to address the multifaceted nature of cloud segmentation tasks.