Mensuração da personalidade e IA: usos de LLMs na construção e validação de instrumentos psicológicos

Abstract

A generativas são um conjunto de ferramentas computacionais que utilizam métodos de aprendizado de máquina para gerar estímulos baseados em um conjunto de dados de treinamento. Estudos recentes demonstraram a viabilidade de uso de modelos de LLM para a criação automática de itens em medidas psicológicas baseadas na linguagem. A utilização dessas ferramentas pode significar uma importante economia de custos, de tempo e ampliar a eficiência na construção de instrumentos psicológicos. O objetivo do projeto foi avaliar possibilidades e limitações do uso das tecnologias de IA generativa, especialmente as baseadas em LLM, no desenvolvimento e busca de evidências de validade de conteúdo para itens de personalidade. Para a fundamentação teórica utilizou-se o modelo dos Cinco Grandes Fatores de Personalidade. Os principais resultados obtidos neste trabalho indicam que aproximadamente 33% dos itens produzidos por LLMs apresentam qualidade adequada na avaliação de especialistas humanos. Os resultados obtidos ressaltam a necessidade de cuidado no uso dessas tecnologias para a criação de itens, principalmente em língua portuguesa. Apesar de alguns modelos apresentarem resultados específicos superiores a outros, não há a possibilidade de generalização e afirmação de que modelos de LLM gerem itens com qualidade superior garantida em comparação a outros ou que há dimensões específicas com resultados melhores. Apesar do futuro promissor que a produção de medidas por ferramentas de IA possui, ainda há preocupações remanescentes para sua utilização generalizada e entende-se que eles são uma ferramenta que deve ser usada sob supervisão e passar pelo crivo técnico e teórico de profissionais qualificados no construto que se busca avaliar.