Multiple machine learning modeling on safety-critical aviation incidents : an approach towards probabilistic reasoning

Abstract

O grupo Sistemas Confidenciais Internacionais de Segurança na Aviação (ICASS) promove melhorias na segurança da aviação por meio do compartilhamento de informações de alta qualidade obtidas a partir do processamento de relatos confidenciais fornecidos por partes interessadas. Fundado em 1976, o Sistema de Relatórios de Segurança da Aviação (ASRS) da NASA é o programa mais antigo do ICASS, com um banco de dados de mais de dois milhões de incidentes aeronáuticos. Este trabalho apresenta um sistema para avaliar a segurança no Sistema Nacional do Espaço Aéreo dos EUA (NAS), utilizando o banco de dados ASRS. O sistema desenvolvido tem como base as Redes Bayesianas (RBs), uma estrutura probabilística que combina teoria das probabilidades e teoria dos grafos, amplamente considerada uma das abordagens mais eficazes para a representação de conhecimento e raciocínio sob incerteza. Diversos algoritmos foram testados para a aprendizagem da estrutura da rede, como PC e Bayesian Search, enquanto o algoritmo Expectativa-Maximização (EM) foi empregado para o cálculo das tabelas de probabilidades condicionais (CPTs). Um algoritmo inovador é proposto, integrando otimização topológica, agrupamento suave por meio do EM e redução de entropia para a aprendizagem da estrutura da rede e de suas CPTs. O modelo foi comparado, utilizando validação cruzada k-fold, com vinte e cinco algoritmos de aprendizado de máquina, como modelos lineares generalizados e árvores de decisão, e as propriedades das RBs foram avaliadas. Um modelo de prova de conceito (PoC) simulou um voo, testando planos e identificando cenários críticos de segurança. A RB da PoC alcançou 92,5% de acurácia, destacou fatores humanos em uma simulação de Quase Colisão em Voo (NMAC) e previu incidentes NMAC, inferindo variáveis não observadas. As lições aprendidas com a PoC guiaram o desenvolvimento de um sistema aprimorado, capaz de diagnosticar e prognosticar todos os incidentes críticos catalogados pelo ASRS. A acurácia geral foi elevada para 98,6%, com a Área sob a Curva Característica de Operação do Receptor (AUC) atingindo 0,9965, refletindo um excelente equilíbrio entre sensibilidade e especificidade. A acurácia para ?Sem incidente? alcançou 99,4%, enquanto para ?Incidente?, melhorou para 87,2%. Mesmo com 90% de dados ausentes, o NMAC manteve uma AUC de 0,8153. Indicadores de usabilidade, como entrada de dados e velocidade de análise, tiveram uma média de 4,5, embora desafios na interpretabilidade permaneçam. O feedback de especialistas orientou melhorias, aprimorando a navegação, a clareza de probabilidades e a comparação de eventos multifatoriais, alinhando o sistema às demandas práticas dos usuários. Este trabalho foi desenvolvido em parceria entre a UFSC e a NASA e apoia os esforços de pesquisa em andamento no projeto System-Wide Safety da NASA, que tem como foco a construção de sistemas de conscientização de segurança com capacidades integradas de análise, detecção e alerta de perigos em tempo real, suporte decisório abrangente e estratégias automatizadas de mitigação de riscos. O modelo pode ser retreinado com dados de outros países do ICASS, incluindo o Brasil.

Abstract: The International Confidential Aviation Safety Systems (ICASS) group promotes aviation safety improvements through the sharing of high-quality information obtained from processing confidential reports provided by stakeholders. Founded in 1976, the NASA Aviation Safety Reporting System (ASRS) is the earliest-established ICASS program, with a database containing more than two million reports of aviation incidents. This work presents a system for assessing safety in the U.S. National Airspace System (NAS) using the ASRS database. Bayesian networks (BNs) combine probability theory with graph theory and are considered one of the most effective theoretical models for knowledge representation and reasoning with uncertainty. Several algorithms are tested to learn the network structure, e.g., PC and Bayesian Search, and the Expectation-Maximization (EM) algorithm is used to calculate the conditional probability tables (CPTs). A novel algorithm is proposed, which integrates topological optimization, soft clustering through EM, and entropy reduction to learn the network structure and its CPTs. The model is then compared through k-fold crossvalidation with twenty-five machine learning algorithms, e.g., generalized linear models and decision trees, and properties of BNs are evaluated. A proof-of-concept (PoC) model simulates flight, testing plans and identifying safety-critical scenarios. The PoC BN achieves 92.5% accuracy, highlights human factors in a simulated Near Midair Collision (NMAC), and predicts NMAC incidents while inferring unobserved variables. Lessons learned from the PoC guided the development of an improved system capable of diagnosing and prognosing all critical incidents cataloged by the ASRS. Overall accuracy rose to 98.6%, with the Area Under the Receiver Operating Characteristic Curve (AUC) increasing to 0.9965, reflecting excellent balance between sensitivity and specificity. Accuracy for ?No incident? reached 99.4%, and for ?Incident?, it improved to 87.2%. Despite 90% missing data, NMAC maintained an AUC of 0.8153. Usability indicators, such as data input and analysis speed, scored an average of 4.5, though challenges in interpretability remain. Expert feedback drove refinements, enhancing navigation, probability clarity, and multifactorial event comparison, aligning the system with practical user demands. This work was developed through a partnership between UFSC and NASA and supports ongoing research efforts within NASA?s System-Wide Safety project, which focuses on building safety awareness systems with integrated analysis capabilities, enhanced real-time hazard detection and alerting, comprehensive decision support, and automated risk mitigation strategies. The model can be retrained with data from other countries within the ICASS framework, which includes Brazil.