Avaliação de chatbots de inteligência artificial como ferramenta de suporte à decisão clínica sobre a condição de restaurações de resina composta em molares decíduos - estudo transversal

Abstract

Introdução: A cárie dentária permanece sendo a doença mais prevalente do mundo, aumentando a realização de restaurações em resina composta. Entretanto, as restaurações estão sujeitas a falhas ao longo do tempo, e sua substituição indevida pode resultar na remoção adicional e desnecessária de estrutura dental, promovendo desgastes cumulativos que podem comprometer a resistência e enfraquecer a estrutura dentária remanescente. Os chatbots baseados em inteligência artificial (IA), ferramentas amplamente utilizadas e investigadas na atualidade, podem auxiliar os profissionais no diagnóstico, atuando como uma alternativa para obtenção de uma segunda opinião clínica. Objetivo: Avaliar a concordância entre as respostas de chatbots baseadas em inteligência artificial (IA) e a conduta de especialistas na avaliação da condição de restaurações de molares decíduos em resina composta. Metodologia: Para esse estudo transversal, foram selecionadas 24 fotografias padronizadas de molares decíduos restaurados com resina composta, apresentando diferentes graus de qualidade restauradora. As restaurações foram avaliadas de forma independente por dois especialistas calibrados (Kappa > 0,70), utilizando os critérios atualizados da Federação Dentária Internacional (FDI), a partir dos quais foi indicada a conduta clínica (monitoramento, acabamento/selamento, reparo ou substituição). Posteriormente, as mesmas imagens foram submetidas a dois chatbots baseados em IA, nas versões gratuita e paga, utilizando um prompt padronizado. Um reteste foi realizado para avaliar a consistência das respostas. Por fim, foram feitas análises descritivas e estatísticas, incluindo os testes de Kolmogorov–Smirnov, Kruskal–Wallis e Wilcoxon, além do coeficiente Kappa de Cohen para avaliar a concordância. Resultado: O ChatGPT não diferiu significativamente das recomendações dos especialistas (p > 0,05) e apresentou concordância moderada (0,30–0,47), enquanto o Google Gemini mostrou maior tendência a condutas intervencionistas e concordância leve a regular (0,14–0,24). Não foram observadas diferenças entre as versões gratuita e paga dos chatbots, e as respostas apresentaram consistência no reteste, embora não fossem idênticas. Conclusão: O ChatGPT mostrou maior concordância com os especialistas, calibrados de acordo com os critérios da FDI, do que o Google Gemini na avaliação clínica de restaurações em molares decíduos, sem diferenças relevantes entre as versões gratuita e paga e com consistência satisfatória entre os testes. Entretanto, a concordância observada entre o ChatGPT e os especialistas foi de razoável a moderada, enquanto a do Google Gemini foi de pobre a razoável, necessitando ainda de mais estudos para a aplicação de chatbots de IA como auxiliar de conduta clínica.

Introduction: Dental caries remains the most prevalent disease worldwide, leading to an increased placement of composite resin restorations. However, restorations are subject to failure over time, and their improper replacement can result in additional and unnecessary removal of tooth structure, promoting cumulative wear that can compromise the strength and weaken the remaining tooth structure. Artificial intelligence (AI) based chatbots, tools widely used and currently investigated, can assist professionals in diagnosis, acting as an alternative for obtaining a second clinical opinion. Objective: To evaluate the agreement between artificial intelligence (AI)-based chatbot responses and specialists' conduct in assessing the condition of composite resin restorations in primary molars. Methodology: For this cross-sectional study, 24 standardized photographs of primary molars restored with composite resin were selected, presenting different degrees of restorative quality. The restorations were evaluated independently by two calibrated specialists (Kappa > 0.70), using the updated criteria of the World Dental Federation (FDI), based on which clinical conduct was indicated (monitoring, finishing/sealing, repair, or replacement). Subsequently, the same images were submitted to two AI-based chatbots, in free and paid versions, using a standardized prompt. A retest was performed to evaluate response consistency. Finally, descriptive and statistical analyses were performed, including the Kolmogorov–Smirnov, Kruskal–Wallis, and Wilcoxon tests, as well as Cohen's Kappa coefficient to evaluate agreement. Results: ChatGPT did not differ significantly from specialists' recommendations (p > 0.05) and presented moderate agreement (0.30-0.47), whereas Google Gemini showed a higher tendency toward interventionist conduct and slight to fair agreement (0.14-0.24). No differences were observed between the free and paid versions of the chatbots, and the responses showed consistency in the retest, although they were not identical. Conclusion: ChatGPT showed higher agreement with specialists, calibrated according to FDI criteria, than Google Gemini in the clinical evaluation of restorations in primary molars, with no relevant differences between free and paid versions and with satisfactory consistency between tests. However, the agreement observed between ChatGPT and specialists was fair to moderate, while that of Google Gemini was poor to fair, requiring further studies for the application of AI chatbots as an aid in clinical conduct.