Performance evaluation of the water supply and sanitation sector in Brazil

Abstract

A avaliação de desempenho no setor de abastecimento de água e esgotamento sanitário é essencial para promover eficiência, equidade e sustentabilidade na prestação de serviços. No Brasil, onde os recursos hídricos são distribuídos de forma desigual e a cobertura de saneamento básico continua sendo um desafio, essa avaliação se torna ainda mais crítica no contexto das recentes mudanças regulatórias. O novo marco legal do saneamento, estabelecido pela Lei nº 14.026/2020, estabelece metas ambiciosas para o acesso universal à água potável e à coleta e tratamento de esgoto até 2033. Nesse contexto, esta tese propõe uma abordagem multidimensional e integrada para avaliar o desempenho dos serviços de água e esgotamento sanitário nos municípios brasileiros, considerando tanto a evolução temporal quanto a heterogeneidade regional. O desenho metodológico combina técnicas robustas dos campos da análise de eficiência de fronteira e aprendizado de máquina. Especificamente, o modelo Benefit-of-the-Doubt (BoD) é aplicado para construir indicadores compostos de desempenho que integram as dimensões financeira, operacional e de qualidade. Para abordar a sensibilidade das pontuações do BoD a valores extremos (outliers), uma formulação robusta baseada em procedimentos de bootstrapping é implementada. Além disso, o Índice Global de Malmquist (GMI) é utilizado para analisar comportamentos de desempenho ao longo do tempo, enquanto Árvores de Classificação e Regressão (CART) são empregadas para investigar os fatores determinantes das perdas na distribuição de água. A tese é estruturada como um compêndio de três artigos: o primeiro avalia a evolução do desempenho em municípios catarinenses (2009-2021); o segundo desenvolve um ranking robusto para as 100 cidades mais populosas do Brasil, incorporando variáveis contextuais; e o terceiro explora fatores associados às perdas de água por meio de modelos de classificação. Os resultados integrados destacam não apenas os desafios persistentes enfrentados pelo setor, mas também o potencial de melhoria com base em benchmarking, análise de dados e tomada de decisão baseada em evidências. Os resultados contribuem metodológica e empiricamente para a avaliação de desempenho em serviços públicos, oferecendo ferramentas práticas para gestores públicos, agências reguladoras e formuladores de políticas. Eles também reforçam a importância do uso de indicadores compostos e modelos de avaliação robustos para orientar investimentos, monitorar o progresso em direção às metas de universalização e desenvolver políticas de saneamento mais eficientes e equitativas.

Abstract: Performance evaluation in the water supply and sewage sector is essential for promoting efficiency, equity, and sustainability in service provision. In Brazil, where water resources are unevenly distributed and basic sanitation coverage remains a challenge, this evaluation becomes even more critical in the context of recent regulatory changes. The new sanitation legal framework, established by Law No. 14,026/2020, sets ambitious goals for universal access to drinking water and sewage collection and treatment by 2033. In this context, this thesis proposes a multidimensional and integrated approach to assess the performance of water and sewerage services in Brazilian municipalities, considering both temporal evolution and regional heterogeneity. The methodological design combines robust techniques from the field of frontier efficiency analysis and machine learning. Specifically, the Benefit-of-the-Doubt (BoD) model is applied to construct composite performance indicators that integrate financial, operational, and quality dimensions. To address the sensitivity of the BoD scores to outliers, a robust formulation is implemented based on bootstrapping procedures. In addition, the Global Malmquist Index (GMI) is used to analyze performance trends over time, while Classification and Regression Trees (CART) are employed to investigate the determining factors of water distribution losses. The thesis is structured as a compendium of three articles: the first evaluates the evolution of performance in municipalities from Santa Catarina (2009?2021); the second develops a robust ranking for Brazil?s 100 most populous cities, incorporating contextual variables; and the third explores factors associated with water losses through classification models. The integrated results highlight not only the persistent challenges faced by the sector, but also the potential for improvement based on benchmarking, data analysis, and evidence-based decision-making. The findings contribute methodologically and empirically to performance assessment in public services, offering practical tools for public managers, regulatory agencies, and policy makers. They also reinforce the importance of using composite indicators and robust evaluation models to guide investments, monitor progress toward universalization goals, and design more efficient and equitable sanitation policies.