Avaliação de Faqbots através da ferramenta Autochatter

Abstract

Essa dissertação propõe analisar a ferramenta de construção de chatterbots - Autochatter (AC), em seus aspectos técnicos e ergonômicos. O trabalho de avaliação como um todo foi realizado utilizando a metodologia de pesquisa experimental. Utilizou-se a ferramenta durante um pouco mais de três meses visando, através de sucessivas aplicações, avaliar a técnica de construção de faqbots baseada em palavras-chave x resposta a fim de detectar se o aumento da quantidade de questões no repertório traria resultados positivos para o chatterbot. Foram utilizadas como variáveis de controle o uso de um thesaurus e a implementação de três chatterbots com assunto de domínio com graus de abrangência diferentes, os quais foram AIDS, doenças sexualmente transmissíveis e educação sexual (temas com pequena, média e grande abrangência respectivamente). Participaram da pesquisa, dezoito alunos do ensino médio, distribuídos em três grupos/tema, sendo cada grupo dividido em duas partes para análise da performance da ferramenta com e sem o uso do thesaurus. Os resultados obtidos na pesquisa demonstram que o número de respostas corretas do chatterbot frente aos questionamentos do usuário, não está somente ligado à quantidade de questões catalogadas no repertório. O trabalho relata de forma clara os principais pontos a serem refinados no processo de funcionamento do AC (incluindo o aperfeiçoamento da rotina de stemming e do processo de formulação de respostas), de forma a adequar a ferramenta a processos de ensino/aprendizagem. Paralelamente à avaliação técnica, efetuou-se uma análise ergonômica baseada em observações durante o contínuo processo de atualização dos repertórios criados e das diversas aplicações realizadas pelos alunos. Sob este aspecto, foram observados a operacionalidade, falhas de interrupções/erros e performance. Por fim sugeriram-se melhorias baseadas nas análises efetuadas, incluindo desde o projeto de uma nova interface mais amigável e atraente ao usuário, como também modificações na ferramenta para otimizar as tarefas envolvidas no processo de criação do repertório do chatterbot.