Avaliação de um Grande Modelo de Linguagem Multimodal para Identificação de Diagnósticos Dermatológicos em Imagens Dermatoscópicas

Abstract

O câncer de pele é o tipo de câncer mais comum globalmente. A sua detecção precoce é fundamental para um melhor prognóstico. Uma das principais formas de análise é por meio de imagens dermatoscópicas. Neste rabalho foi utilizado refinamento de prompt e injeção de informações adicionais utilizando o modelo MedGemma e um subconjunto do dataset ISIC para imagens dermatoscópicas. Como resultados, obteu-se acurácia no termo do diagnóstico de 33.86% no prompt puro e 50.51% no prompt com informações adicionais injetadas. Deste modo, este trabalho verificou como a injeção de informações extras contribuem um grande modelo de linguagem multimodal na análise de imagens dermatoscópicas.