Utilização de Large Language Models para Apoio a Sistemas de Telemedicina

Abstract

Este estudo tem como objetivo investigar a viabilidade de implementar um chatbot treinado com grandes modelos de linguagem (LLMs) para apoiar a recuperação de informações e o suporte técnico em sistemas de telemedicina. Método: O estudo de caso foi realizado no Sistema Catarinense de Telemedicina e Telessaúde (STT), onde foi desenvolvido um protótipo de chatbot. Para o treinamento, foi construído um dataset especializado no módulo STT-Dermatologia, utilizado para realizar o fine-tuning com o modelo pré-treinado Llama 3, resultando em um protótipo ajustado especificamente para o STT. Validação: A validação foi realizada por meio de um formulário aplicado à equipe técnica do STT. Uma das perguntas avaliou a eficácia do chatbot em fornecer suporte técnico, obtendo uma média de 4.11 (em uma escala de 1 a 5), evidenciando o potencial dos LLMs como ferramenta de suporte. Outras perguntas identificaram áreas de melhoria, como o refinamento das respostas e a redução de alucinações, para garantir maior precisão e consistência. Conclusão: O uso de LLMs em sistemas de telemedicina validou-se como promissor, com grande potencial para apoiar a recuperação de informações em sistemas de complexos, como o STT.

This study aims to investigate the feasibility of implementing a chatbot trained with large language models (LLMs) to support information retrieval and technical assistance in telemedicine systems. Method: The case study was conducted in the Santa Catarina Telemedicine and Telehealth System (STT), where a chatbot prototype was developed. For training purposes, a specialized dataset was created for the STT-Dermatology module, which was used to fine-tune the pre-trained Llama 3 model, resulting in a prototype specifically tailored to the STT. Validation: Validation was carried out through a survey applied to the STT technical team. One of the questions assessed the chatbot's effectiveness in providing technical support, achieving an average score of 4.11 (on a scale from 1 to 5), highlighting the potential of LLMs as a support tool. Other questions identified areas for improvement, such as refining responses and reducing hallucinations, to ensure greater accuracy and consistency. Conclusion: The use of LLMs in telemedicine systems proved to be promising, with significant potential to support information retrieval in complex systems such as the STT.