Observatório De Remuneração Pública SC: Ferramenta para Extração e Análise de Dados de Remuneração do Portal da Transparência de Santa Catarina

Abstract

O monitoramento dos gastos com pessoal é uma das vertentes mais críticas do controle social sobre a administração pública, sendo essencial para verificar o cumprimento do teto constitucional e identificar disparidades salariais. Contudo, a análise desses dados em larga escala é dificultada por barreiras técnicas nos portais de transparência, que frequentemente não oferecem interfaces programáticas (APIs) e exigem consultas manuais e individuais. Diante desse cenário, este trabalho detalha o desenvolvimento do Observatório de Remuneração Pública SC, uma solução de software automatizada para a extração, estruturação e auditoria de dados de remuneração de servidores estaduais. A metodologia aplicada envolveu o uso de técnicas de extração automatizada de dados (web scraping) para a coleta massiva das informações. Devido à complexidade da folha de pagamento, composta por múltiplas verbas variáveis, os dados foram normalizados e persistidos em um banco de dados orientado a documentos, escolhido por sua flexibilidade de esquema. Como resultado, obteve-se um pipeline de dados funcional e uma base centralizada. A implementação de um mecanismo de controle de estado e checkpoint garantiu a resiliência do processo, permitindo a retomada da extração de milhares de registros sem perda de progresso. A viabilidade da solução foi validada através da criação de painéis analíticos de Business Intelligence (BI), focados na detecção de anomalias e na evolução dos gastos. Conclui-se que o sistema proposto é eficaz em transformar dados brutos de remuneração em informação auditável e acessível, estabelecendo uma base sólida para o fortalecimento do controle social.

Monitoring personnel expenses is one of the most critical aspects of social oversight over public administration, being essential to verify compliance with the constitutional ceiling and identify wage disparities. However, large-scale analysis of this data is hindered by technical barriers in transparency portals, which often do not offer Application Programming Interfaces (APIs) and require manual and individual queries. Given this scenario, this work details the development of the Observatório de Remuneração Pública SC, an automated software solution for the extraction, structuring, and auditing of state public servants’ remuneration data. The applied methodology involved the use of automated data extraction techniques (web scraping) for the massive collection of information. Due to the complexity of the payroll, composed of multiple variable components, data were normalized and persisted in a document-oriented database, chosen for its schema flexibility. As a result, a functional data pipeline and a centralized database were obtained. The implementation of a state control and checkpoint mechanism ensured process resilience, allowing the extraction of thousands of records to be resumed without loss of progress. The solution’s feasibility was validated through the creation of Business Intelligence (BI) analytical dashboards, focused on anomaly detection and expense evolution. It is concluded that the proposed system is effective in transforming raw remuneration data into auditable and accessible information, establishing a solid foundation for strengthening social oversight.