F-GROUP: um framework para aplicação de indicadores de produtividade científica a grupos de pesquisadores, com ênfase na colaboração

Abstract

A produção científica pode ser medida de diferentes formas. Essas medidas são úteis para tomada de decisão relativa ao desenvolvimento de carreiras e à distribuição de recursos para pesquisas científicas. Nas últimas duas décadas, diversos trabalhos propuseram índices para medir o quão produtivo e relevante é o trabalho de um pesquisador. Alguns desses índices visam avaliar um único pesquisador e/ou grupos de pesquisadores aplicando a mesma fórmula para ambas as situações. Porém, em vários casos, esta aplicação não se dá de forma direta. A avaliação de grupos de pesquisadores tem sido realizada de forma não padronizada, o que dificulta a comparação entre diferentes pesquisas. O objetivo deste trabalho é propor um framework para aplicação de indicadores de produtividade científica a grupos de pesquisadores, com ênfase na colaboração. Primeiramente, através de uma revisão de literatura, foram identificadas as formas de avaliação da produtividade dos grupos de pesquisadores, bem como os indicadores de produtividade científica mais utilizados para avaliar esses grupos. Verificamos, ainda, que não existe uma metodologia consolidada para a aplicação de indicadores de produtividade a grupos de pesquisadores. Consequentemente, a busca por uma forma estabelecida de avaliar grupos de pesquisadores provou-se incipiente, existindo diferentes indicadores e formas de aplicação destes. Após a revisão da literatura, uma análise acerca da atribuição da ideia de valor ao pesquisador e sua relação com os indicadores de produtividade foi realizada. O intuito desta análise foi o de explorar o problema da avaliação de pesquisadores sob a ótica da sociologia das profissões, trazendo correlações do conceito de valor de Csillag, com a profissão do pesquisador, a partir de textos de Freidson e Dubar, dentre outros autores. A aplicação do índice h em grupos de pesquisadores é apresentada como subsídio para ilustrar os problemas de seleção e agregação de artigos ao avaliar esses grupos. Desta forma, propomos neste trabalho uma forma de selecionar e agregar artigos ao avaliar grupos de pesquisadores, denominada IN-GROUP. Esta forma de seleção e agregação prioriza os trabalhos realizados em conjunto pelo grupo que está sendo avaliado. Neste trabalho, propomos também o F-GROUP, um framework que visa padronizar a avaliação de grupos de pesquisadores. No Framework F-GROUP consideramos aspectos relacionados à caracterização dos grupos, diferentes formas de agregação e contagem dos artigos, chegando à avaliação através de indicadores para grupos de pesquisadores. Adicionalmente, apresentamos diferentes possibilidades de utilização da abordagem IN-GROUP e do framework F-GROUP, com casos de uso e experimentos com dados reais. Duas formas de agregação foram exploradas com dados reais extraídos da Web Of Science, na área de Biblioteconomia e Ciência da Informação nos últimos 10 anos. Desta forma, realizamos análises comparativas através de rankings com diferentes indicadores para grupos de países e universidades. Como conclusão, podemos destacar que os grupos formados pelos autores nos trabalhos de Ciência da Informação e Biblioteconomia nos últimos dez anos é bastante heterogêneo. Observamos ainda que os artigos realizados por mais de um autor apresentam uma média de citações mais elevada. EUA e China lideram os rankings de indicadores totais de artigos, citações e autores, bem como de aplicação do índice h em grupos formados por países. Universidades americanas e chinesas também lideram vários rankings de diferentes indicadores.

Abstract: Several metrics are used to assess the productivity of scientific research. These metrics are useful for various management decisions, such as career development and resource allocation for scientific research. In the last two decades, several studies have suggested indices to measure how productive and relevant a researcher's work is. Some of these indices aim to evaluate a single researcher and groups of researchers, applying the same formula for both situations. However, in many cases, this application is not straightforward. The evaluation of groups of researchers has been done in a non- standard way, which makes it difficult to compare different studies. The objective of this work is to propose a framework to help the evaluation of groups of scientific researchers, focusing on the selection and aggregation of articles. First, through a literature review, we recognize ways to evaluate the productivity of groups of researchers, then, we identify the main scientific productivity indicators used to evaluate these groups. The search aimed to find a consolidated methodology to determine the productivity indicators in groups of researchers. As a result, the search for an established way for evaluating groups of researchers was incipient, with different indexes and different ways of applying them. After reviewing the literature, the idea of value attribution for researchers and its relationship with productivity indicators was examined. The purpose of this analysis was to explore the problem of evaluating researchers from the perspective of the sociology of professions, bringing correlations between Csillag's concept of value and the researcher's profession, based on texts by Freidson and Dubar, among other authors. The application of the h index in groups of researchers was presented as a subsidy to illustrate the issues of selecting and aggregating articles when evaluating these groups. In this work, we present a form of selecting and aggregating articles when evaluating groups of researchers, called IN- GROUP. This new form to select and aggregate papers prioritizes a group?s production cooperatively. We hereby propose the F-GROUP, a framework to standardize the evaluation of groups of researchers, addressing aspects related to the characterization of groups, through forms of aggregation and counting of articles, leading to reaching evaluation through indicators for groups of researchers. Additionally, we present use cases and experiments with real data to illustrate different possibilities for using the IN- GROUP approach and the F-GROUP framework. The framework and two forms of aggregation are analyzed with real data extracted from the Web Of Science, in Library and Information Science over the last 10 years. Comparative analyses were conducted through rankings with different indicators for groups of countries and universities. For conclusions, we highlight that groups formed by authors in Information Science and Library Science works in the last ten years are quite heterogeneous, in addition, we observed that articles written by more than one author have a greater number of citations. The USA and China lead the rankings when using total indicators of articles, citations and authors, as well as when using the h index in groups formed by countries. American and Chinese universities also lead the rankings when exploring groups formed by universities.