Métricas para medir a uniformidade de dados em testes de aceitação

Abstract

A inserção de práticas ágeis no desenvolvimento de software aumentou consideravelmente. Tanto as empresas quanto o meio acadêmico enfrentam desafios constantemente relacionados à especificação e teste de requisitos nesse contexto. A adoção de testes de aceitação para comunicação e colaboração entre as partes interessadas no desenvolvimento de software foi uma estratégia para aumentar a qualidade dos softwares desenvolvidos. Vários formatos de testes de aceitação como FitNesse, Gherkin e Cenários de Usuários por meio de Diagramas de Interação do Usuário (US-UIDs) são uma tentativa de incluir cliente e usuários na especificação dos requisitos por meio de testes. De acordo com a literatura, os testes de aceitação especificados nestes formatos consideram ?dados funcionais? e ?dados de teste?. Os dados funcionais fazem a ligação do teste com os códigos de cola, enquanto os dados de teste são trocados pelo Sistema sob Teste (SUT) por meio da ligação dos dados funcionais. Estes dados são essenciais para a comunicação entre as partes interessadas e também são fundamentais para automação dos testes. Entretanto, a automação dos testes é melhor desenvolvida quando os dados dos testes possuem uniformidade. Uniformidade é um conceito de reuso ou repetição de dados entre os testes, porém nem todos os dados de testes são melhores escolhidos durante a especificação. Deste modo, os especificadores necessitam de ferramentas para avaliar a uniformidade dos dados de teste durante a especificação e os testadores precisam de ferramentas para rejeitar ou melhorar a qualidade dos testes de aceitação para automação. Assim, esta pesquisa propõe métricas para medir a uniformidade dos dados de testes de aceitação. O objetivo é melhorar a qualidade dos testes de aceitação avaliando a uniformidade dos dados por meio das métricas durante a especificação. As métricas propostas são apresentadas por meio de modelos matemáticos e foram implementadas para serem aplicadas por meio de computador. Um experimento com os fatores controlados de suporte de um especialista e formação do grupo de especificadores foi proposto para obter dois projetos de testes, respectivamente, com mais dados uniformes e mais dados irregulares. A sensibilidade da métrica para o formato dos US- UIDs foi avaliada com os projetos obtidos no experimento mais dois projetos encontrados na literatura, sendo que a métrica consegue classificar projetos uniformes e irregulares com a mesma sensibilidade de um especialista. Com base nas medidas destes projetos, também se indicou um valor mínimo de 0,45 de uniformidade para um projeto, a ser atingido antes do desenvolvimento da automação dos testes. As métricas para o formato do FitNesse e Gherkin foram aplicadas em 36 repositórios de testes de aceitação encontrados na plataforma GitHub a fim de documentar e comparar a uniformidade dos dois formatos. Ao comparar a uniformidade dos dados dos projetos, o resultado foi semelhante para os dois formatos. Contudo, ao comparar os formatos no âmbito de testes de aceitação (features), o resultado para o formato Gherkin é menos irregular. Dos 36 repositórios medidos, 27 repositórios apresentaram medidas de uniformidade menor que a medida mínima indicada 0,45 de uniformidade.

Abstract: The inclusion of agile practices in the software development has increased considerably. Both companies and academia face challenges constantly related to the specification and testing of requirements in this context. The adoption of acceptance tests for communication and collaboration among stakeholders in software development is a strategy to increase the quality of the software developed. Various acceptance testing formats like FitNesse, Gherkin and User Scenarios through User Interaction Diagrams (US-UIDs) are an attempt to include customer and users in the requirements specification through testing. According to the literature, the acceptance tests specified in these formats consider ?functional data? and ?test data?. The functional data links the test to the glue code, while the test data is exchanged by the System under Test (SUT) through the linking of the functional data. Test data are essential for communication between interested parties and are also essential for the automation of tests. However, test automation is best developed when test data is uniform. Uniformity is a concept of reuse or repetition of data between tests, but not all test data is best chosen during specification. In this way, specifiers need tools to assess the uniformity of test data during specification and testers need tools to reject or improve the quality of acceptance tests for automation. Thus, this research proposes metrics to measure the uniformity of acceptance test data. The objective is to improve the quality of acceptance tests by assessing the uniformity of the data through the metrics during the specification. The proposed metrics are presented using mathematical models and have been implemented to be applied by computer. An experiment with the controlled factors of support from a specialist and formation of the group of specifiers was proposed to obtain two test projects, respectively, with more uniform data and more irregular data. The sensitivity of the metric to the format of the US-UIDs was evaluated with the projects obtained in the experiment plus two projects found in the literature, with the metric being able to classify uniform and irregular projects with the same sensitivity as a specialist. Based on the measurements of these projects, a minimum value of 0.45 of uniformity for a project was also indicated, to be reached before the development of the test automation. The metrics for the FitNesse and Gherkin format were applied to 36 acceptance test repositories found on the GitHub platform in order to document and compare the uniformity of the two formats. When comparing the uniformity of project data, the result was similar for both formats. However, when comparing formats in the scope of acceptance tests (features), the result shows that tests in the Gherkin format are less irregular. Of the 36 measured repositories, 27 repositories showed uniformity measures smaller than the minimum indicated (0.45).