Redes neurais artificiais e máquinas de vetores suporte: aplicação na avaliação de solvência de cooperativas de crédito

Abstract

A presente tese teve como objetivo a avaliação de insolvência do cooperativismo de crédito mútuo do Estado do Paraná através da utilização de duas técnicas de data mining, redes neurais artificiais (RNAs) e máquinas de vetores suporte (SVMs), a proposta foi, por meio do aprendizado de máquina, a de criar um modelo de capaz de avaliar a solvência das cooperativas de crédito, para tanto foram utilizados os indicadores do sistema PEARLS, indicadores esses recomendados internacionalmente pelo WOCCU (Word Council of Credit Unions) como os melhores para a avaliação do cooperativismo de crédito mútuo. Para a realização do estudo foram utilizadas as demonstrações financeiras das 31 cooperativas de crédito mútuo do estado do Paraná no ano de 2010, divulgadas pelo Banco Central do Brasil (BACEN) como solventes e como insolventes as cooperativas que deixaram de enviar suas demonstrações para o Banco Central, o que caracteriza a descontinuidade operacional de fato, isso num período de 10 anos, que totalizou 31 cooperativas de crédito. Os algoritmos de redes neurais utilizados neste trabalho foram RBFNetwork, MultilayerPerceptron e MultilayerPerceptronCS; e o algoritmo escolhido de Support Vector Machine foi o LibSVM, todos pertencentes ao pacote de software Weka, ferramenta bastante utilizada em Data Mining e Aprendizado de Máquina. Ao analisar os resultados das RNAs e da SVM ficou evidente a superioridade das SVMs como classificador binário de avaliação de solvência, pois o seu algoritmo LibSVMs apresentou os melhores resultados em todas as avaliações de desempenho propostas nesta pesquisa, destacando a avaliação de desempenho denominada de F-Measure, que evidenciou que o algoritmo LibSVMs foi melhor também nos três grupos de indicadores. O único indicador de desempenho em que LibSVM teve desempenho inferior às RNAs foi na taxa de erro da classe negativa, verifica-se a RNA com os algoritmos MultilayerPerceptron e MultilayerPerceptron; que possuem melhores índices para 27, 10 e 11 indicadores, já o algoritmo da LibSVMs possui desempenho igual para 10 e 11 indicadores. Observando o gráfico Receiver Operating Characteristic (ROC), é possível perceber que os algoritmos de redes neurais apresentaram as maiores TP Rate e FP Rate, resultando em modelos liberais, enquanto o algoritmo LibSVM resultou em modelos conservadores e teve bom resultado em relação à FP Rate, mas poucas taxas altas de TP Rate. O desempenho apresentado pelas Redes Neurais MultilayerPerceptron, MultilayerPerceptronCS e RBFNetwork, na classificação dos exemplos, foi inferior ao LibSVM. O melhor resultado alcançado pelos algoritmos está nas tabelas (indicadores de desempenho). Ainda que fosse utilizado apenas um algoritmo de rede neural, o desempenho ainda seria melhor na probabilidade de classificação de um novo exemplo como verdadeiro positivo (INSOLVENTE), bastando observar isoladamente as curvas de desempenho no gráfico ROC. Em relação ao número de indicadores do Sistema PEARLS para a avaliação da Solvência do Cooperativismo de crédito, foi confirmado também que não há a necessidade de calcular os 39 indicadores iniciais, bem como a planilha com os 27 indicadores, porém somente os 10 sugeridos pelos analistas de mercado são suficientes para tal avaliação. <br>

Abstract : This work aims at assessing the insolvency of mutual credit unions in the Parana State (Brazil) by two different data mining techniques: Artificial Neural Networks (ANNs) and Support Vector Machines (SVMs). The proposal is to create a model that can evaluate the solvency of credit unions from the Machine Learning, and for this, PEARLS System indicators were selected since they are internationally recommended by WOCCU (Word Council of Credit Unions) as the most suitable for the evaluation of mutual credit cooperatives. The study used financial statements of 31 credit unions, either solvent or insolvent, disclosed by Central Bank of Brazil (BACEN) in 2010, for the State of Paraná. The insolvent cooperatives are those which stopped sending statements to the Central Bank, which in fact characterizes the operational discontinuity. This study considered a 10-year period, totaling 31 credit unions. The algorithms used in this work were RBFNetwork, MultilayerPerceptron and MultilayerPerceptronCS for Artificial Neural Networks and LibSVM for Support Vector Machine, all composing the Weka software, which is widely used in Data Mining and Machine Learning. The results of ANN and SVM showed the superiority of SVM for the binary classification of solvency evaluation. Its algorithm LibSVMs showed the best results in all performance evaluations proposed in this research, mainly by the F-Measure, which indicates that this algorithm was the best across the three groups of indicators. However, with respect to the rate of error of the negative class, the LibSVM showed lower performance than those ANNs, where the MultilayerPerceptron and MultilayerPerceptron algorithms had better indices for 27, 10 and 11 indicators in comparison with the LibSVM that achieved the same performance for 10 and 11 indicators. The Receiver Operating Characteristic (ROC) graph demonstrates that the neural network algorithms had the highest TP Rate and FP Rate, resulting in liberal models, while the LibSVM algorithm resulted in conservative models with good result for FP Rate but few high rates for TP Rate. The performance of classification of samples shown by the MultilayerPerceptron, MultilayerPerceptronCS and RBFNetwork Neural Networks was lower than the LibSVM. The best results achieved by algorithms are presented in the tables (performance indicators). The individual observation of each curve in the ROC graph suggests that even using only one neural network algorithm, the performance would still be better in the probability of classifying a new example as "true positive" (INSOLVENT). With respect to the number of PEARL System indicators recommended to assess the solvency of credit unions, this study demonstrated that there is no need to calculate all those 39 initial indicators or that spreadsheet with 27 adapted indicators. Only those 10 suggested by the market analysts were sufficient for the purpose of this study.