QSM: uma abordagem para recuperar e ordenar questionários

Abstract

Questionários são ferramentas úteis para fins de pesquisa e geralmente são usados para coletar informações sobre uma população de interesse, concentrando-se em diferentes intenções. Durante o projeto do questionário, ou reuso de dados obtidos em outras pesquisas, pode ser útil verificar se já existe um questionário com intenção similar que o proposto. Perguntas bem projetadas podem levar os entrevistados a fornecer melhores respostas. No entanto, a busca por questionários de pesquisa não é uma tarefa trivial, pois uma pergunta pode ser estruturada de maneiras diferentes. Neste trabalho, propõe-se uma abordagem para recuperar questionários por meio do cálculo de similaridade entre questionários. A abordagem considera a heterogeneidade das perguntas e fornece um método de classificação baseado nas diferentes possibilidades de consultas. A abordagem considera o questionário em formato de árvore, realiza o cálculo de similaridade de cada folha e em seguida realiza uma média ponderada da similaridade das folhas para obter a similaridade entre questionários. Para determinar a eficácia dessa abordagem, é realizada uma série de experimentos, utilizando revocação, precisão, valor-f, MAP e NDGC, a partir dos quais foi constatado que a abordagem proposta tem uma precisão em torno de 40% melhor do que os modelos tradicionais testados. A revocação obteve um resultado em torno 20% melhor. Nas métricas f-value, MAP e NDCG a abordagem proposta obteve um resultado em torno em 30% melhor.

Abstract: Questionnaires are useful tools for research purposes and are generally used for collecting information about a population of interest, by focusing on different intentions. During the questionnaire project, or for sharing data purposes, it may be useful to check if there is already a questionnaire with the same intention as that being carried out. Well-designed questions can induce respondents to provide better answers. However, examining research questionnaires is not a trivial task since a question can be structured in different ways. In this work, we propose a similarity measure to match questionnaires that are characterized by the heterogeneity of their questions and to provide a ranking method based on variations of a given query. The approach considers the questionnaire as a tree, calculates the similarity of each leaf and then performs a weighted average of the similarity of the leaves to obtain the similarity between questionnaires. To determine the effectiveness of this approach, a series of experiments is carried out, using recall, precision, f-value, MAP and NDGC, from which it was found that the proposed approach has an accuracy around 40% better than the models traditionally tested. The recall had a result around 20% better than others. In the f-value, MAP and NDCG metrics the proposed approach achieved a result around 30% better than others.