A distributed architecture for edge AI computing

Abstract

Internet das Coisas ou Internet of Things (IoT) é uma rede massiva de dispositivos fí- sicos incorporados com sensores, software, peças eletrônicas e rede que permite que os dispositivos IoT troquem ou coletem dados e executem certas ações sem intervenção hu- mana. A maioria dos dispositivos IoT produzem quantidades massivas de dados em um curto intervalo de tempo e tais dados podem ser transformados em informações úteis para aplicações de negocio através do uso de modelos de Aprendizagem de Máquina, análise estatística e técnicas de mineração de dados. Transferir grandes quantidades de dados em um curto intervalo de tempo para a nuvem pode ser inaceitável para algumas apli- cações que exigem processamento quase em tempo real. Uma solução para atender a esses requisitos é aproximar a maior parte do processamento de dados aos dispositivos IoT (ou seja, na borda). Nesse contexto, o presente trabalho propõe mover todo pro- cessamento e armazenamento de dados e a aplicação de algoritmos de Aprendizagem de Máquina para a camada em borda mantendo a camada em nuvem apenas para as tare- fas relacionadas ao armazenamento de longo prazo de dados resumidos e hospedagem de relatórios e dashboards. A solução desenvolvida neste trabalho foi o desenvolvimento de uma nova arquitetura distribuída para computação Edge AI onde os nós são distribuidos pelas subcamadas da borda (mist e fog) além de um novo algoritmo para Aprendizagem de Máquina que utiliza o algoritmo de consenso para distribuir um conjunto de diferentes modelos leves (lightweight models) não supervisionados com o intuito de melhorar a preci- são geral do sistema e manter o processamento em baixa latência. Resultados obtidos com três conjuntos de dados diferentes mostram que a abordagem proposta pode melhorar a precisão dos modelos de aprendizagem de máquinas sem comprometer significativamente o tempo de latência de resposta.

Abstract: Internet of Things (IoT) is a massive network of physical devices embedded with sensors, software, electronics, and network which allows IoT devices to exchange or collect data and perform certain actions without human intervention. Most IoT devices produce massive amounts of data in a very short time and these data can be transformed into useful information for the application business through the use of Machine Learning (ML) models, statistical analysis and data mining techniques. Transferring large amounts of data in a very short time to the cloud may be unacceptable for some applications that require near-real time processing. One solution to meet such requirements is to bring most data processing closer to IoT devices (i.e., to the edge). In this context, the present work proposes to move all processing and data storage and the application of Machine Learning algorithms to the edge layer, keeping the cloud layer only for tasks related to long-term storage of summarized data and hosting reports and dashboards. The solution developed in this work are: the formulation of a new distributed architecture for Edge AI where the nodes are distributed into two sub-layers of the edge (mist and fog) and a new distributed algorithm for Machine Learning models that uses the consensus algorithm to distribute a set of different unsupervised lightweight models in order to improve the overall accuracy of the system and keep the inference process at low latency. Results obtained with three different datasets show that the proposed approach can improve the accuracy of machine learning models without significantly compromising the response latency time.