Análise e Classificação de imagens para aplicação de OCR em cupons fiscais

Abstract

A proposta sugerida por este trabalho foi de analisar o impacto de um modelo de classificação, seguido de técnicas de PDI e OCR para extração de texto em cupons fiscais, classificando-os em subgrupos. Técnicas selecionadas de PDI foram aplicadas para cada grupo com suas devidas características, por fim extraindo texto dessas imagens através de um algoritmo de OCR. Foi realizado um estudo sobre os algoritmos clássicos de classificação na área de aprendizado de máquinas, com foco nos algoritmos de “clusterização” e sua correlação com a classificação de imagens em um modelo de aprendizado não supervisionado. Também foi feita uma análise sobre as características das imagens de cupons fiscais e das possíveis técnicas de PDI que podem ser aplicadas. Em relação ao OCR, também foi realizado um estudo para verificar possíveis soluções na extração de texto e entender seu comportamento, possibilitando desta maneira implementar a arquitetura proposta. Sendo assim, foram desenvolvidos métodos para classificar as imagens em clusters utilizando algoritmos de “clusterização”. Também foram propostas três técnicas de PDI, a primeira aplicando uma série de realces, a segunda uma binarização adaptativa e a terceira técnica utilizando a compressão de dados JPEG. Essas imagens foram enviadas para o serviço de OCR do Google Vision, onde foi possível extrair o texto das imagens em formato de blocos. Os resultados do modelo desenvolvido foram avaliados comparando a taxa de acerto do OCR com os valores de texto reais presentes nos cupons fiscais, onde foi possível analisar a precisão de cada técnica proposta e da arquitetura como um todo. Foram obtidos resultados positivos utilizando o modelo desenvolvido, melhorando a extração do valor total da compra em aproximadamente 6%. Além disso, os resultados da compressão JPEG melhoraram também a extração de outros dados do cupom fiscal, como por exemplo o CNPJ e a data da compra.