Filter pruning for efficient transfer learning in deep convolutional networks

Abstract

Redes Neurais Convolucionais são utilizadas extensivamente em uma ampla gama de aplicações, sendo a mais notória a área de visão computacional. Diversos modelos convolucionais se tornaram famosos após serem amplamente adotados nas mais variadas tarefas de visão computacional devido a sua alta acurácia e grande poder de generalização. Através do uso de \textit{Transfer Learning}, versões pré-treinadas destes modelos podem ser aplicados a uma grande variedade de tarefas e bases de dados sem a necessidade de treinar um modelo convolucional por completo. Este trabalho busca encontrar métodos que façam a poda de filtros convolucionais nestes modelos pré-treinados de forma a tornar o tempo de inferência menor para uma nova tarefa e fazer com que o modelo possa ser mais facilmente utilizado em \textit{hardware} com limitações de recursos. Para atingir este objetivo, um método baseado em computação evolucionária para fazer a poda dos filtros convolucionais em modelos pré-treinados aplicados a uma tarefa diferente da qual foram originalmente treinados. O método consiste em utilizar \textit{Transfer Learning} para adaptar o modelo originalmente treinado em uma grande base de dados para uma nova base de dados mais limitada. O modelo adaptado então passa pelo algoritmo genético proposto que encontra um conjunto de filtros que menos contribuem para o resultado do modelo e faz a poda. Por fim, os resultados dos testes utilizando o método proposto são avaliados e comparados com o estado da arte em poda de filtros em redes neurais convolucionais.

Abstract: Convolutional Neural Networks are extensively used in a wide range of applications, the most notorious being computer vision. Many convolutional models became famous after being widely adopted in a variety of computer vision tasks because o their high accuracy and great capacity for generalization. Trough Transfer Learning, pre-trained versions of these models can be applied to a large number of different tasks and dataset without the need to train an entire large convolutional model. We aim at finding methods to prune convolutional filters from these pre-trained models in order to make inference efficient for the new task and enable the model to be more easily deployed in hardware with resource limitations. To achieve this we propose an evolutionary based method for the pruning of convolutional filters of pre-trained models applied to a different dataset than the one they were trained.The method consists of using transfer learning to adapt a model trained on a large dataset to a new, more limited task. The newly learned model goes through the designed genetic algorithm that will find a good set of filters to be pruned. We then evaluate results of the proposed methods and compare with state-of-the-art pruning strategies for convolutional neural networks.