Assessing researcher quality for collaborative purposes

Abstract

Avaliar a qualidade do pesquisador tem sido um desafio constante para os tomadores de decisão, os quais precisam de métodos mais eficientes, baseados em critérios objetivos, para orientar políticas de pesquisa. Por exemplo, em propósitos tais como recrutamento, promoção e fomento. Esta tese investiga a avaliação da qualidade do pesquisador, tendo como principal foco, os colaboradores científicos. Atualmente, as métricas para avaliar a colaboração científica são baseadas no índice de citações e em coautoria. No entanto, a literatura tem recomendado investigar métodos para mensurar a colaboração científica que vão além das taxas de citação. Outro fato é que, no processo de seleção de pesquisadores individuais para fins colaborativos, considerar todo o grupo não é suficiente, uma vez que os indivíduos devem ser avaliados e não o grupo inteiro, como no caso das redes de coautoria. Além disso, críticas sobre a aplicação incorreta de métricas tem incitado um debate entre pesquisadores e tomadores de decisão para o uso correto de métricas de pesquisa. Assim, esta tese propõe, um método que considera indivíduos e o propósito da avaliação, o purpose-oriented method. Esta solução baseia-se na Engenharia do Conhecimento, adota Raciocínio Baseado em Casos como metodologia de implementação, e usa dados da base de dados Lattes. O método proposto avalia automaticamente a qualidade dos pesquisadores, aplicando medidas de similaridade aos seus curriculums vitae, considerando a experiência de pesquisadores bem-sucedidos para avaliar pesquisadores candidatos a um processo de seleção alvo. Os resultados de dois cenários experimentais demonstram a usabilidade do método proposto, bem como, as contribuições desta tese para os tomadores de decisão em Ciência e Tecnologia. O estudo contribui com uma metodologia que demonstra como fazer para mensurar a qualidade dos colaboradores científicos com base em suas trajetórias de carreiras. Além disso, a solução permite comparar automaticamente um grande número de curriculums vitae, apoiando avaliações de especialistas qualitativos. Acima de tudo, este estudo contribui com pesquisadores e tomadores de decisão, aumentando a compreensão da avaliação individual de pesquisadores em propósitos colaborativos.

Abstract : Assessing researcher quality has been a constant challenge for decision makers, who need more efficient methods, based on objective criteria, to guide research policy. For instance, in purposes such as, recruitment, promotion, and funding decisions. This thesis investigates researcher quality assessment, having as its main focus, the research collaborators. Currently, metrics to assess research collaboration are based on the citation index, and co-authorship. However, the literature has recommended investigating methods to measure research collaboration that go beyond the citation rates. Other fact is that, in selection processes of individual researchers for collaborative purposes, considering the entire group as a whole it is not enough, since individuals must be assessed and not the entire group. Moreover, criticisms regarding the misapplication of metrics have incited a debate between researchers and decision makers for the correct use of research metrics. Thus, this thesis proposes, an approach that considers individuals and the purpose of the assessment, the purpose-oriented method. This approach is based on Knowledge Engineering, by adopting Case-Based Reasoning methodology, and data from the Brazilian Lattes database. The purpose-oriented method automatically assesses researcher quality, by applying similarity measures to their curriculum vitae, considering the experience of successful researchers to assess candidate researchers to a target selection process. The results of two experimental scenarios, demonstrates the usefulness of the purpose-oriented method, as well as, the contributions of this thesis for decision makers in Science and Technology. The study contributes with a methodology that demonstrates how to do to assess research collaborators based on their career trajectories. Furthermore, the approach allows automatically to compare large numbers of researchers curriculum vitae, supporting qualitative expert assessments. Above all, this study contributes with researchers and decision makers by enhancing the comprehension of individual researcher assessment in collaborative purposes.