Stimming behavior detection for Autism Spectrum Disorder support

Abstract

Métodos de visão computacional não intrusivos que podem reconhecer comportamentos humanos complexos podem auxiliar no diagnóstico e tratamento de distúrbios neurológicos onde comportamentos repetitivos (stimming) são proeminentes, como o Transtorno do Espectro Autista (TEA). Métodos de aprendizado de máquina, especialmente aqueles relacionados à visão computacional, apresentam uma direção promissora para esse tipo de aplicação, no entanto, a eficácia desses métodos depende da existência de conjuntos de dados de boa qualidade. A construção de um conjunto de dados nesse domínio é desafiadora devido a questões de privacidade e à necessidade de conduzir experimentos principalmente com crianças. Portanto, propomos um conjunto de dados consolidado, anotado e padronizado chamado de Conjunto de Dados de Comportamento de Estimulação no Autismo (ASBD). Este conjunto de dados unificado pode permitir que pesquisadores tenham acesso a uma grande quantidade de dados, classificados e anotados para os comportamentos de estimulação, possibilitando uma abordagem mais rápida e eficiente ao trabalhar com esse tipo de coleção de vídeos. O Conjunto de Dados de Comportamento de Estimulação no Autismo (ASBD) está disponível abertamente e pode ser usado para o desenvolvimento de algoritmos de aprendizado de máquina que podem detectar padrões comportamentais associados ao transtorno do espectro autista e outras aplicações em que esse tipo de análise é importante. O conjunto de dados é composto por 165 clipes curtos anotados, com base em trechos de 155 vídeos distintos publicamente acessíveis no Youtube, com 154 sujeitos únicos de idades variando de crianças a jovens adultos, divididos em 48 mulheres e 106 homens. A duração média dos clipes é de 10,6 segundos. Os clipes anotados mostram não apenas o URL e a classe do vídeo, mas também o momento em que o comportamento relevante começa e sua duração. Exploramos como este conjunto de dados pode viabilizar um modelo de reconhecimento de ação de última geração na detecção de padrões de comportamento de estimulação em uma série de testes com subconjuntos do ASBD e técnicas de aprimoramento de dados, alcançando uma precisão de 76% no conjunto de dados de teste com o modelo ajustado finamente(fine-tuning) no ASBD aprimorado, o que representa uma melhoria de 34% e 19% em comparação com dois conjuntos de dados anteriores (SSBD e ESBD, respectivamente). Também demonstramos como este modelo treinado pode auxiliar uma arquitetura maior de detecção de eventos em sessões de terapia para crianças com TEA a obter melhores resultados globalmente, automatizando a detecção de ações de comportamento de estimulação, o que é implementado como uma aplicação web. Esta contribuição não apenas aprimora a compreensão dos comportamentos relacionados ao TEA, mas também fornece uma base para pesquisas e aplicações adicionais, especialmente na automação da detecção de comportamento de estimulação durante as sessões de terapia, auxiliando em uma abordagem mais eficiente para analisar seus resultados.

Abstract: Non-intrusive vision-assisted methods that can recognize complex human behaviors can help the diagnosis and treatment of neurological disorders where stimming behaviors are prominent, such as Autism Spectrum Disorder (ASD). Machine learning methods, especially those related to computer vision are a promising direction for this kind of application, however, the effectiveness of these methods depends on the existence of good-quality datasets. Building a dataset in this domain is challenging due to privacy matters and also to the need to conduct experiments mostly with children. Therefore, we propose a consolidated, annotated, and standardized Stimming Behavior Dataset. This unified dataset can enable researchers to have access to a larger pool of data, classified and annotated for the stimming behaviors, enabling a faster and more streamlined approach when working with this kind of video collection. The Autism Stimming Behavior Dataset (ASBD) is openly available and can be used for the development of machine learning algorithms that can detect behavioral patterns associated with autism spectrum disorder and other applications where this kind of analysis is important. The dataset comprises 165 annotated short-duration clips, based on excerpts from 155 distinct publicly accessible Youtube videos, with 154 unique subjects of ages spanning from toddlers to young adults and divided into 48 female and 106 male individuals. The average duration of the clips is 10.6 seconds. The annotated clips show not only the URL and class of the video but also the moment where the relevant behavior starts and its duration. We explore how this dataset can enable a state-ofthe- art action recognition model in detecting the stimming behavior patterns in a series of tests with the subsets of the ASBD and data augmentation techniques, achieving 76% accuracy on the test dataset with the model fine-tuned on the augmented ASBD, which represents an improvement of 34% and 19% compared with two previous data sets (SSBD and ESBD, respectively). We also show how this trained model can help a larger architecture of event detection in therapy sessions for children with ASD achieve better results overall by automatizing the detection of stimming behavior actions, which is implemented as a web application. This contribution not only enhances the understanding of ASD-related behaviors but also provides a foundation for further research and applications, notably in automating stimming behavior detection during therapy sessions, helping a more streamlined approach to analyzing its outcomes.