Uma ferramenta para auxílio a terapias do transtorno do espectro autista usando aprendizado de máquina

Abstract

O transtorno do espectro autista (TEA) afeta o desenvolvimento cognitivo e as habilidades de comunicação em indivíduos de todas as idades, limitando sua capacidade de interação social, comunicação, seu comportamento e fala. A alta demanda por acompanhamentos terapêuticos gera uma grande quantidade de dados qualitativos e quantitativos sobre a evolução do paciente, dados que muitas vezes são despercebidos em meio a análise manual por parte dos terapeutas. Essa análise acontece durante a sessão de terapia, onde o profissional da saúde divide a atenção entre o paciente e suas anotações, ou acontece após a seção, revendo-a caso a mesma tenha sido gravada em vídeo. O problema dessa última alternativa, apesar de possibilitar uma efetiva interação com o paciente, é o tempo necessário para encontrar e rever todos os momentos importantes no vídeo, que pode ser muito mais que a própria duração da sessão. Dessa forma, a análise manual traz um déficit e um atraso no tratamento e evolução do paciente com TEA. O diagnóstico e tratamento do TEA auxiliados por técnicas computacionais representam um poderoso aliado, reduzindo a carga de trabalho dos profissionais e permitindo uma melhor experiência terapêutica para o paciente. Esse trabalho investiga como técnicas de aprendizado de máquina e visão computacional podem ajudar os especialistas ao fornecer uma análise automatizada de sessões de terapia gravadas em vídeo com crianças dentro do espectro do autismo. Para isso, propomos uma ferramenta capaz de processar grandes quantidades de dados de vídeo, filtrando de forma automatizada quadros relevantes de acordo com eventos de interesse pré-estabelecidos por profissionais da área. Utilizamos um conjunto de dados de 819 quadros de vídeos, disponibilizado pelo Instituto Italiano de Ciências e Tecnologias Cognitivas (ISTC), que apresentam três integrantes, um terapeuta, uma criança (paciente) e um ursinho interativo chamado PlusMe. Com o objetivo de detectar eventos de interesse baseados em interação por meio de toque, utilizamos esse conjunto para a criação de um modelo de detecção de objetos capaz de gerar caixas delimitadoras ao redor dos três integrantes de forma automática, que por sua vez são processadas por uma heurística de sobreposição de caixas delimitadoras fazendo predições sobre a existência de uma interação. Validamos essa heurística ao compararmos as predições feitas com os eventos reais presentes nos 200 quadros de vídeo disponíveis do conjunto de teste. Nossos resultados mostram que nesses 200 quadros a detecção de eventos de interesse é capaz de reduzir análises manuais entre 9 a 90% do tempo total do vídeo, considerando um equilíbrio entre redução de tempo de análise, nível de interação e desempenho de detecção, que pode trazer uma redução significativa da carga de trabalho para os especialistas em saúde. Este trabalho também apresenta a implementação da ferramenta proposta em uma plataforma web, permitindo que terapeutas e pesquisadores organizem e mantenham um repositório de sessões, onde é possível o manuseio dos vídeos, geração de estatísticas e histórico evolutivo de cada paciente ao longo das terapias, buscando trazer uma nova perspectiva em decisões clínicas e promover uma melhor experiência para o paciente.

Autism Spectrum Disorder (ASD) has an impact on the cognitive development and com- munication skills of individuals across all age groups, resulting in challenges in social interaction, communication, behavior, and speech. The high demand for therapeutic ac- companiments generates a large amount of qualitative and quantitative data on the pa- tient’s progress, data that often go unnoticed in the midst of manual analysis by therapists. This analysis takes place during the therapy session, where the health professional divides attention between the patient and their notes, or it takes place after the session, reviewing it if it has been recorded on video. The problem with the last alternative, despite allowing an effective interaction with the patient, is the time needed to find and review all the im- portant moments in the video, which can be much longer than the duration of the session itself. Thus, manual analysis brings a deficit and delay in the treatment and evolution of patients with ASD. The diagnosis and treatment of ASD assisted by computational techniques represent a powerful ally, reducing the workload of professionals, allowing a better therapeutic experience for the patient. This work investigates how machine learn- ing and computer vision techniques can help experts in the field by providing automated analysis of video recorded therapy sessions with children on the autism spectrum. For this, we propose a tool capable of processing large amounts of video data, automatically filtering relevant frames according to events of interest pre-established by professionals in the field. We used a dataset of 819 video frames, provided by the Italian Institute of Cognitive Sciences and Technologies (ISTC), which features three members, a therapist, a child (patient) and an interactive teddy bear named PlusMe. In order to detect events of interest based on interaction through touch, we used this dataset to create an object detection model capable of automatically generating bounding boxes around the three members, which in turn are processed by a heuristic of overlapping bounding boxes making predictions about the existence of an interaction. We validate this heuristic by comparing the predictions made with the actual events present in 200 video frames available in the test set. Our results show that in these 200 frames, the detection of events of interest is ca- pable of reducing manual analysis between 9 to 90% of the total video lenght, considering a balance between analysis time reduction, interaction level and detection performance, that can bring a significant reduction in the workload for health experts. This work also presents the implementation of the proposed tool on a web platform, allowing therapists and researchers to organize and maintain a repository of sessions, where it is possible the handling of videos, generation of statistics and progress history of each patient throughout therapies, seeking to bring a new perspective on clinical decisions and promote a better patient experience.