RDFM: algoritmo de máquinas de fatoração distribuído e resiliente

Abstract

Inicialmente aplicados em tarefas de recomendação, algoritmos de Máquinas de Fatora- ção têm sido amplamente utilizados, tanto como classificadores, quanto como regressores. Nos últimos anos as Máquinas de Fatoração se provaram escaláveis para aprendizagem com Big Data, abordagens distribuídas e paralelas se popularizaram devido a escalabili- dade do algoritmo, contribuiu também a esta popularização a aprendizagem de modelos eficientes em domínios onde os dados apresentam problemas como esparsidade, alta di- mensionalidade, variáveis heterogêneas (tanto categóricas quanto contínuas), e até mesmo características irregularmente observadas. evitam problemas recorrentes de técnicas ante- riores, como o Cold-Start. A utilização de Máquinas de Fatoração Distribuídas comumente supõe ambientes continuamente seguros, enquanto que em cenários realistas podem ocor- rer erros arbitrários, ataques maliciosos, e falhas de hardware a qualquer tempo. Neste trabalho, um algoritmo de Máquinas de Fatoração Distribuído e Resiliente (RDFM) foi desenvolvido para estender as aplicações de Máquinas de Fatoração em ambientes dinâ- micos e online. Demonstramos concomitantemente a eficácia e capacidade de tolerância a faltas do RDFM, através da aprendizagem de uma tarefa de regressão, e de uma estratégia de consenso médio distribuído.

Abstract: Firstly applied at recommendation tasks, Factorization Machines algorithms have been widely used, both as a classifier and regressor algorithm. In the last few years, Factor- ization Machine algorithms were proved to be scalable to Big Data learning problems with distributed and parallel approaches due to its characteristics of linear time complex- ity, and ability to learn dense latent feature models with high-dimensional and sparse datasets, with categorical and continuous variables, while avoiding problems of previous techniques, such as the cold-start problem. Investigations on distributed Factorization Machines generally suppose continuously safe computational environments, while realis- tic scenarios may suffer arbitrary errors, malicious attacks, and hardware failures at any time. In this work, a Resilient Distributed Factorization Machine (RDFM) algorithm is proposed for further expanding Factorization Machines application to dynamic online learning environments. We experimentally demonstrate both the efficacy and fault toler- ance capabilities of RDFM, by learning a regression task through an average consensus strategy. Statistical analysis of the experiments confirms its convergence and superiority to non-fault tolerant alternatives under failures.