Análise envoltória de dados para avaliar a eficiência relativa de médicos residentes em ortopedia e traumatologia

Abstract

A maioria das avaliações dos residentes de cirurgia ortopédica é projetada para avaliar como os residentes cumprem adequadamente os objetivos educacionais, isto é, sua eficácia. Medidas de eficiência fornecem métricas para a relação entre a produção de resultados educacionais e o consumo de recursos educacionais. A análise envoltória de dados (AED) é um método estatístico que mede a eficiência relativa das unidades concorrentes. O estudo teve como objetivo avaliar a robustez dos modelos AED na quantificação da eficiência relativa de uma coorte de residentes de cirurgia ortopédica. Este foi um estudo de coorte observacional prospectivo. Uma amostra de conveniência de 13 residentes participou do estudo de agosto de 2017 a fevereiro de 2018. Um modelo de análise envoltória de dados com retornos constantes a escala de Charnes, Cooper e Rhodes (CCR-I) ajustou os índices de atividades práticas e de aprendizagem dos residentes como entradas (insumos) e as respectivas medidas de aprendizagem estruturada e atividades práticas, como saídas (produtos). Escores de supereficiência, eficiência multifatorial e índices de robustez foram usados em análises de sensibilidade para avaliar a robustez do modelo AED original. O modelo CCR-I AED identificou quatro residentes como tecnicamente eficientes (escores de eficiência = 1). Os insumos ponderados dos residentes eficientes foram usados para estimar o nível projetado de insumos necessários para que os residentes ineficientes se tornassem eficientes. Análises de sensibilidade confirmaram a adequação do modelo original AED. A AED é um método robusto para avaliar a eficiência relativa de residentes de cirurgia ortopédica.<br>

Abstract : Most evaluations of orthopedic surgery residents are designed to assess how residents adequately accomplish the educational goals, that is, their effectiveness. Efficiency measures provide metrics for the relation between the production of educational outcomes and the consumption of educational resources. Data envelopment analysis (DEA) is a statistical method that measures the relative efficiency competing units. The study aimed to assess the robustness of DEA models in quantifying the relative efficiency of a cohort of orthopedic surgery residents. This was a prospective observational cohort study. A convenience sample of 13 residents participated in the study from August 2017 through February 2018. input-oriented, constant returns to scale Charnes, Cooper, and Rhodes (CCR-I) model was fit to residents' practical and learning activity indexes as inputs and the respective measures of structured learning and practical activities, as outputs. Super-efficiency scores, multifactor efficiency, and robustness indexes were used in sensitivity analyses to assess the robustness of the original DEA model. The CCR-I DEA model identified four residents as technically efficient (efficiency scores = 1). The efficient residents' weighted inputs were used to estimate the projected level of inputs needed for the inefficient residents to became efficient. Sensitivity analyses confirmed the adequacy of the original DEA model. DEA is a robust method to assess the relative efficiency of orthopedic surgery residents.