Ferramenta para registro e extração de atributos cinemáticos e morfológicos de vídeos para detecção de padrões de atividades domésticas em humanos

Abstract

O estudo das características retiradas de imagens tem sido de grande importância para a criação de sistemas de identificação e predição de padrões, com diversas aplicações na área da saúde. O Instituto de Engenharia Biomédica da Universidade Federal de Santa Catarina busca o desenvolvimento de uma plataforma de saúde ubíqua voltado para o monitoramento de idosos e pessoas com deficiências. Como parte desta plataforma, o presente trabalho teve como objetivo geral propor e implementar uma ferramenta fundamentada em plataformas de prototipagem eletrônica e de programação em código aberto, para extração de atributos cinemáticos e morfológicos de humanos em ambientes domésticos, baseados em algoritmos de visão computacional. Para tanto, foi implementado um sistema para aquisição e armazenamento de amostras de vídeos, obtidos de humanos em ambiente doméstico (cozinha). O hardware do sistema de aquisição de vídeos contou com um Raspberry Pi e uma câmera USB, instalados em um laboratório (simulador de ambiente doméstico cozinha). A ferramenta de extração de atributos cinemáticos e morfológicos foi implementada utilizando programação de código aberto, com a criação de uma interface para o usuário. Para realizar a aquisição de amostras de vídeos foi desenvolvido um projeto piloto, submetido ao comitê de ética humano, visando formalizar os procedimentos diante de todos os padrões éticos da pesquisa. O hardware de aquisição de amostras foi testado, avaliado e validado com 7 voluntários executando situações de atividade humana real em um ambiente doméstico do tipo cozinha (laboratório simulador), obtendo 29 amostras de vídeo, que foram subdivididas em 116 amostras de atividades domésticas específicas. A ferramenta consiste em três interfaces diferentes: uma para visualização e corte das amostras, que permite ao usuário subdividir as amostras de forma prática; uma para detectar o rosto da pessoa no vídeo e aplicar uma proteção de imagem, que consiste em um borrão na face (blurring); e uma interface para extrair os atributos cinemáticos e morfológicos do humano detectado em cena. Foram realizados testes para validação do algoritmo de cada atributo. Foi possível extrair mais de 20 atributos diferentes, utilizando filtros e técnicas de morfologia matemática para reduzir possíveis ruídos. Todos os atributos selecionados pelo usuário são extraídos e salvos em um arquivo no formato .CSV. Foi construído um banco de amostras para testes de conceito, utilizando 15 dos vídeos obtidos, realizando cortes e separando em cinco atividades diferentes: abrir\fechar geladeira, cozinhar, comer e lavar-louça. Para cada vídeo de cada atividade foram extraídos todos os atributos disponíveis na ferramenta, e comparados os resultados entre amostras de um mesmo voluntário utilizando quatro classes no método kmeans, obtendo resultados que prenunciam que esses dados são promissores para serem utilizados como entrada em redes neurais artificiais classificadoras.

Abstract: The study of the characteristics taken from images has been of great importance for the creation of systems for the identification and prediction of patterns, with several applications in the health area. The Institute of Biomedical Engineering at the Federal University of Santa Catarina seeks to develop a ubiquitous health platform aimed at monitoring the elderly and people with disabilities. As part of this platform, the present work had as general objective to propose and implement a tool, based on electronic prototyping and open source programming platforms, for extracting kinematic and morphological attributes from humans in domestic environments, based on computer vision algorithms. Therefore, a system for the acquisition and storage of video samples, obtained from humans in a domestic environment (kitchen), was implemented. The hardware for the video acquisition system included a Raspberry Pi and a USB camera, installed in a laboratory (kitchen home environment simulator). The tool for extracting kinematic and morphological attributes was implemented using open source programming, with the creation of an interface for the user. To permorm the acquisition of video samples, a pilot project was developed, submitted to the human ethics committee, aiming to formalize the procedures before all the ethical standards of the research. The sample acquisition hardware was tested, evaluated and validated with 7 volunteers performing situations of real human activity in a domestic kitchen-type environment (simulator laboratory), obtaining 29 video samples, which were subdivided into 116 samples of specific domestic activities. The tool consists of three different interfaces: one for viewing and cutting the samples, which allows the user to subdivide the samples in a practical way; one to detect the person's face in the video and apply image protection, which consists of a blurring on the face; and an interface to extract the kinematic and morphological attributes of the human detected on the scene. Tests were performed to validate the algorithm of each attribute. It was possible to extract more than 20 different attributes, using filters and mathematical morphology techniques to reduce possible noise. All attributes selected by the user are extracted and saved to a file in .CSV format. A database sample was built for concept tests, using 15 of the videos obtained, making cuts and separating them into five different activities: opening/closing the refrigerator, cooking, eating and washing dishes. For each video of each activity, all the attributes available in the tool were extracted, and the results were compared between the same volunteer, using four classes in the k-means method, obtaining results that foresee that these data are promising to be used as input into artificial neural networks classifiers.