Otimização de testes end-to-end: análise comparativa entre Selenium e Playwright

Abstract

Os testes automatizados impactam significativamente a qualidade do desenvolvimento de software, por meio da integração contínua e entrega contínua (CI/CD). Para viabilizar essa melhoria, as empresas investem continuamente em infraestrutura, sendo crucial que tais testes sejam executados de maneira otimizada. Para melhorar essa questão, o presente projeto propõe o desenvolvimento de uma prova de conceito, onde um dos módulos de testes end-to-end (E2E), feito em Selenium, é convertido para Playwright, um framework recente no mercado e reconhecido por estabilidade e rapidez. Conforme requisito da empresa, a migração preserva o módulo de testes na linguagem Python e adota os mesmos padrões de arquitetura, como o Page Object Model, e de orquestração de testes, como o uso de fixtures. Dessa forma, a solução mantém a intenção e a cobertura dos testes originais, o que confere maior credibilidade à comparação. Após a coleta de diversas execuções de ambas suítes de teste, concluiu-se que, nas mesmas configurações, o módulo feito em Playwright foi mais rápido que seu antecessor. Além disso, foi capaz de reduzir a quantidade de testes instáveis e trazer facilidades na depuração de erros e criação de novos testes. Desta forma, a arquitetura proposta atendeu os requisitos e estabeleceu uma base sólida para a conversão dos demais módulos da plataforma.

Automated testing significantly impacts the quality of software development through continuous integration and delivery (CI/CD). To enable this improvement, companies continuously invest in infrastructure, making it crucial that such tests are executed in an optimized manner. To address this issue, the present project proposes the development of a proof of concept in which one of the end-to-end (E2E) test modules, built in Selenium, is converted to Playwright, a recent framework in the market recognized for its stability and speed. As required by the company, the migration preserves the test module in the Python language and adopts the same architectural patterns, such as the Page Object Model, and test orchestration patterns, such as the use of fixtures. In this way, the solution maintains the intent and coverage of the original tests, which lends greater credibility to the comparison. After collecting multiple executions of both test suites, it was concluded that, under the same configurations, the module built in Playwright was faster than its predecessor. Furthermore, it was able to reduce the number of flaky tests and provide greater ease in debugging errors and creating new tests. Thus, the proposed architecture met the requirements and established a solid foundation for the conversion of the platform’s remaining modules.