Analysis of machine learning ensembles based on diversity measures

Abstract

O aprendizado de máquina se popularizou muito nos últimos anos devido ao desenvolvimento de novos algoritmos e teorias, ao crescente acesso aos dados e à crescente capacidade computacional. Neste contexto, existe uma busca constante por maior exatidão das predições realizadas. Dentre as possibilidades existentes, o ensemble de vários modelos tem se destacado em competições de aprendizado de máquina e também em congressos da área por apresentar alta exatidão. No entanto, como consequência, alguns desafios surgem. A complexidade do modelo e o tempo de treinamento aumentam, enquanto a sua interpretabilidade diminui. Não é trivial determinar quais modelos devem ser utilizados e como eles devem ser organizados. Esta dissertação analisa o desempenho do ensemble e a sua relação com a diversidade dos modelos que o compõe com o objetivo de mostrar um conjunto de abordagens com boa probabilidade para se obter um bom resultado. Em outras palavras, fazer com que as predições do ensemble como um todo sejam melhores do que as predições individuais de qualquer um dos modelos que o compõe. Para que este objetivo fosse possível, foi construída uma arquitetura para realização dos experimentos, em que os algoritmos são executados de forma paralela. Os resultados mostram estratégias que funcionaram na prática baseados na literatura da área e no estudo da diversidade de modelos.

Abstract: Machine learning has become very popular in recent years due to the development of new algorithms and theories, the increasing access to data and the increasing computational capacity. In this context, there is a constant search for greater accuracy in the predictions made. Among the existing possibilities, the ensemble of several models has stood out in machine learning competitions and also in congresses in the area for presenting high precision. However, as a consequence, some challenges arise. The complexity of the model and the training time increase, while its interpretability decreases. It is not trivial to determine which models should be used and how they should be organized. This thesis analyzes the performance of the ensemble and its relationship with the diversity of the models that compose it with the objective of showing a set of approaches with good probability to obtain a good result. In other words, making the predictions of the ensemble as a whole better than the individual predictions of any of the models that compose it. To make this objective possible, an architecture was built to carry out the experiments, where the models are executed in parallel. The results show strategies that have worked in practice based on the literature in the area and on the study of the diversity of models.