Aplicação de redes neurais pulsadas no processamento de sinais de mecanorreceptores táteis eletrônicos

Abstract

As próteses mioelétricas poliarticuladas de membro superior aumentaram muito a destreza e as possibilidades de integração às estruturas esqueléticas, musculares e até mesmo neurais dos pacientes. Toda tarefa de manipulação tem como condições elementares a identificação do toque e do deslizamento. Neste cenário, quando não há qualquer interação entre o dedo da prótese e os objetos agarrados, a manipulação de objetos se torna um desafio, podendo levar a instabilidade ou escorregamento dos objetos manipulados. Como alternativa às abordagens algorítmicas atuais para detecção de toque e deslizamento, investigamos a implementação de redes neurais pulsadas visando futura integração de feedback tátil em próteses de mão, o que permitiria ao usuário a percepção de sensações táteis. Para isso, treinamos uma rede neural de pulsada para identificar eventos de toque e deslizamento durante a preensão realizada pela mão robótica IH2 Azzurra. Os dados do sensor acoplado à mão robótica são codificados por uma população heterogênea de neurônios, modelados para corresponder à atividade pulsada das fibras mecanorreceptoras. Com base na atividade pulsátil contendo informações de tato, a camada de saída da rede classifica os eventos de toque ou deslizamento. Desta forma, o modelo é capaz de detectar eventos usando apenas o componente de força normal. É feita uma comparação com os resultados obtidos pelos autores em um trabalho anterior, bem como com trabalhos correlatos. Além das vantagens inerentes à abordagem da rede neural pulsada, como plausibilidade biológica, o método obteve uma alta precisão na detecção de toque e 100% de precisão na classificação de deslizamento e não deslizamento. Além disso, o potencial implementação de hardware de ultrabaixa potência é favorável em comparação com processadores, podendo diminuir em até 162 vezes menos consumo de energia na implantação das redes em hardwares neuromórficos. Desta forma, os resultados promissores sugerem a validação da utilização de redes neurais pulsadas para a classificação de toque e escorregamento em mãos protéticas.

Abstract: Poliarticulated myoelectric upper limb prostheses have greatly enhanced dexterity and integration possibilities to patients skeletal, muscular and even neural structures. Every manipulation task has, as elemental conditions, touch and slippage identification. Therefore, when there is no interaction between the prosthetic fingers and the grasped objects, the manipulation becomes a challenge, which might cause instability or slipping of the manipulated objects. As an alternative to the algorithmic approach to touch and slippage detection, we investigate the implementation of spiking neural networks aiming the future integration of tactile feedback into hand prosthesis, which would allow the user to perceive tactile sensations. To this end, we trained a spiking neural network for identifying touch and slippage events during grasping performed by the IH2 Azzurra robotic hand. The sensor data is encoded by a heterogeneous population of neurons, modeled to match the spiking activity of mechanoreceptor cells. Given the spiking activity that contains tactile information, the output layer classifies the touch or slip events. Therefore, the model is capable of detecting events using only the normal force component. A comparison with the results obtained from the authors in a previous work is made, also with related works. In addition to the inherent advantages of the spiking neural network approach, such as biological plausibility, with the method we achieved a great accuracy of touch detection and 100% accuracy in the classification of slip and non-slip events. Furthermore, the potential implementation of ultra-low-power hardware is favorable compared to processors, and can decrease up to 162 times less power consumption when deploying the networks on neuromorphic hardware. Thus, the promising results suggest the validation of using spiking neural networks for touch and slip classification in prosthetic hands.