Estruturação automática de laudos médicos utilizando processamento de linguagem natural e aprendizado de máquina para extração de informações clínicas

Abstract

Este documento tem por finalidade apresentar uma abordagem para a estruturação automática de laudos médicos em português por meio da extração de informações clínicas utilizando processamento de linguagem natural (NLP) e aprendizado de máquina. Foram propostas duas arquiteturas, Bi-LSTM-CRF e CRF baseada em "features", além da técnica de "bootstrapping", utilizada para criação de conjunto de dados anotados a partir de um conjunto pequeno. As métricas "precision", "recall" e "F1-score", obtidas a partir do conjunto de teste, foram todas acima de 80%. As análises de robustez mostraram que a solução é promissora e poderá ser aprimorada. A explicabilidade dos modelos de CRF, que apresenta características que o algoritmo observou durante o treinamento, também auxiliou no entendimento do que foi realizado. As implementações são escaláveis e adaptáveis, não somente para novas modalidades médicas, mas também para outras tarefas dentro da empresa, o que não acontece com o microsserviço de estruturação atual, baseado em expressões regulares. Além disso, os resultados mostraram uma potencial otimização de tempo de desenvolvimento e custo em produção, simplificando a estrutura em nuvem vigente.

This document presents an approach for automatic structuring of medical reports in portuguese to extract clinical information using natural language processing (NLP) and machine learning. Two architectures were proposed, Bi-LSTM-CRF and Feature-based CRF, in addition to the bootstrapping technique, used to create annotated data sets from a small set. The metrics precision, recall and F1-score, obtained from the test set, were all above 80%. The robustness analysis showed that the solution is promising and could be improved. The explainability for CRF models, that presents characteristics that the model learned during the training process, also helped to understand what was done. The implementations are scalable and adaptable, not only for new medical modalities, but also for other tasks within the company, which is not the case with the current structuring microsservice that uses regular expressions. Furthermore, the results presented a potential optimization in development time and in operational production cost, simplifying the current cloud structure.