Modelo incremental neuro-fuzzy gaussian mixture network (INFGMN)

Abstract

Acuracia e interpretabilidade representam dois objetivos complementares em qualquer tecnica de aprendizagem de maquina. Equilibrar entre esses criterios e um grande desafio ao se considerar um modelo que aprenda e se adapte incrementalmente a dinamica do problema em questao, e ainda trate o problema de dados faltantes devido a perdas ou falhas na coleta dos mesmos. O objetivo nao e apenas maximizar a interpretabilidade, mas tambem garantir alta acuracia. Neste contexto, ha pouca pesquisa sobre a aprendizagem incremental utilizando modelos fuzzy do tipo Mamdani-Larsen (ML). Esta tese apresenta uma nova proposta de sistema neurofuzzy (NFS) - com capacidade de aprendizagem incremental - chamada INFGMN (Incremental Neuro-Fuzzy Gaussian Mixture Network), que permite obter modelos incrementais interpreta´veis e acurados. As principais caracteristicas da INFGMN sao: (i) aprende incrementalmente usando uma unica varredura sobre os dados de treinamento; (ii) pode produzir boas estimativas com base em poucos dados de treinamento, mesmo em caso de dados faltantes, cujo o mecanismo de falta seja completamente aleatorio (MCAR) ou aleatorio (MAR); (iii) o processo de aprendizagem (possivelmente com a realizacao de imputacao de dados) pode prosseguir perpetuamente a medida que os novos dados de treinamento chegam (nao ha fases separadas para aprendizagem (learning) e utilizac¸ao (recalling)); (iv) pode lidar com o dilema Estabilidade-Plasticidade e nao e afetada pela interferencia catastrofica ao passo que regras sao adicionadas ou retiradas sempre que necessario. Desse modo, o processo de imputacao e realizado sempre com uma rede atualizada e adaptada aos dados processados ate o momento; (v) a base de regras fuzzy e definida automaticamente e de forma incremental; e (vi) mantem uma base de regras fuzzy do tipo ML que permite fornecer uma boa relacao custo-beneficio entre acuracia e interpretabilidade, e diferentemente de outras redes neurofuzzy, nao necessita que os dados faltantes sejam imputados previamente. O desempenho do modelo INFGMN pode meio de varias aplicacoes referencia e os resultados apresentados em termos de acuracia e interpretabilidade sao promissores.

Abstract : Accuracy and interpretability are contradictory objectives that conflict in all machine learning techniques. Balancing among these criteria becomes even more challenging when considering a model that learns and adapts itself incrementally to the dynamics of the problem in question, and additionally treat incomplete data due to losses or failures in the data collection process. The goal is not only to maximize interpretability, but also to ensure high accuracy. In this context, there is little research on incremental learning using Mandani-Larsen (ML) fuzzy models. This thesis presents a novel proposal for a Neuro-Fuzzy System (NFS) with an incremental learning capability, the Incremental Neuro-Fuzzy Gaussian Mixture Network (INFGMN), that attempts to generate incremental models that are highly interpretable and precise. The principal characteristics of the INFGMN are as follows: (i) the INFGMN learns incrementally using a single sweep of the training data; (ii) it is capable of producing reasonable estimates based on few training data, even in the presence of missing data; (iii) the learning process can proceed in perpetuity as new training data become available (learning and recalling phases are not separate, possibly with imputation of missing data); (iv) the INFGMN can deal with the Stability-Plasticity dilemma and is unaffected by catastrophic interference (rules are added or removed whe- never necessary). In this way, the imputation process is always carried out with an up-to-date network adapted to the data seen so far; (v) the fuzzy rule base is defined automatically and incrementally; and (vi) the INFGMN maintains an ML-type fuzzy rule base that attempts to provide the best trade-off between accuracy and interpretability, thereby dealing with the Accuracy-Interpretability dilemma and unlike other neuro-fuzzy networks, the INFGMN does not require that the missing data be prefilled before the training and use of the network (this is done during its use and adaptively). The INFGMN s performance in terms of learning and modelling is assessed using a variety of benchmark applications and the results are promising.