Detecção de interação usando estimativa de pose e detecção de objetos com Yolov8 em imagens de sessões de terapia com crianças com TEA

Abstract

O Transtorno do Espectro Autista (TEA) afeta muitas crianças e pode limitar habilidades de interação social, comunicação e comportamento. O acompanhamento por profissionais qualificados auxilia o desenvolvimento dos pacientes por meio de sessões terapêuticas e permite avaliar seu progresso. No entanto, esse acompanhamento costuma ser registrado manualmente pelos profissionais, o que pode ocasionar falhas nas análises, já que alguns eventos podem passar despercebidos. Para apoiar esse processo de registro, propõe-se uma automatização capaz de predizer o maior número possível de interações, utilizando técnicas de estimativa de pose e detecção de objetos da visão computacional. O objetivo é detectar interações entre os participantes presentes nas sessões de terapia com crianças com Transtorno do Espectro Autista (TEA). Para isso, foram empregados o detector de objetos YOLOv8 e o detector de pose YOLOv8-Pose. Em seguida, foram utilizadas oito heurísticas que combinam as técnicas mencionadas para predizer interações a partir das predições de detecção de objetos e da estimativa de pose. Para melhorar o desempenho, buscaram-se soluções para superar os desafios identificados nas predições desses modelos. Os resultados obtidos demonstraram que as heurísticas que utilizam a pose das pessoas presentaram desempenho superior à heurística que baseada apenas em caixas delimitadoras. Entre essas heurísticas, duas se destacaram, alcançando aumentos de até 12% a acurácia, 15.8% a precisão, 3.17% o recall e 7.34% a confiança f1, resultando em um desempenho satisfatório em relação à proposta do trabalho.

Abstract: The Autism Spectrum Disorder (ASD) affects many children and can limit social interaction, communication, and behavioral skills. Monitoring by qualified professionals supports the development of patients through therapeutic sessions and enables the evaluation of their progress. However, this monitoring is usually recorded manually by professionals, which can lead to analysis errors, as some events may go unnoticed. To support this recording process, an automation is proposed that is capable of predicting the largest possible number of interactions, using pose estimation and object detection techniques from computer vision. The goal is to detect interactions between participants present in therapy sessions with children diagnosed with Autism Spectrum Disorder (ASD). For this purpose, the YOLOv8 object detector and the YOLOv8-Pose estimator were employed. Subsequently, eight heuristics were used, combining the aforementioned techniques to predict interactions based on object detection and pose estimation predictions. To improve performance, solutions were sought to overcome the challenges identified in the models? predictions. The results obtained demonstrated that the heuristics using human pose achieved superior performance compared to the heuristic based solely on bounding boxes. Among these heuristics, two stood out, achieving increases of up to 12% in accuracy, 15.8% in precision, 3.17% in recall, and 7.34% in F1-score confidence, resulting in satisfactory performance in relation to the proposed work.