Desenvolvimento de um algoritmo para a reconstrução 3D a partir de imagens RGB

Abstract

A fotogrametria, reconstrução 3D a partir de imagens 2D, surgiu no século 19 com Laussedat, que criou um mapa de Paris baseado em informações geométricas de fotografias capturadas do topo dos telhados. Apesar de já ter seus princípios definidos a muito tempo, a fotogrametria como é conhecida atualmente não existia. Apenas após o desenvolvimento dos computadores e das câmeras digitais que essa técnica pôde ser utilizada em mais aplicações. Atualmente ela é utilizada em diversas áreas, como no entretenimento, construção civil, inspeção em áreas de risco, etc. Ela começou a se tornar um tópico mais comum ao público menos especializado com a popularização dos drones, que facilitou a aquisição de fotografias aéreas e permitiu que essa técnica pudesse ser utilizada para a inspeção de grandes áreas, com aplicações principalmente na área da engenharia civil. A popularização das impressoras 3D também aumentou o número de usuários dessa tecnologia, pois permite que objetos de difícil modelagem possam ser digitalizados através de fotos e posteriormente impressos. Esse trabalho traz um comparativo entre softwares e bibliotecas que implementam partes do processo de fotogrametria, além de desenvolver algoritmos que implementam alguns dos métodos descritos na bibliografia. Os resultados obtidos demostram que com a correta combinação de algoritmos pode-se chegar a reconstruções 3D muito parecidas com as cenas capturadas pelas imagens. Os resultados foram divididos em 3 categorias: a categoria A com os algoritmos desenvolvidos neste trabalho; a categoria B com os softwares/bibliotecas livres; e a categoria C com os softwares pagos. A principal diferença entre os resultados das categorias foi o tempo e o consumo de recursos de hardware. Em uma comparação qualitativa, os algoritmos desenvolvidos neste trabalho conseguiram um resultado próximo aos do software pago, apenas apresentando mais ruídos. O melhor resultado entre todas as categorias foi da combinação do VisualSFM + MeshRecon + TexRecon, que apresentou o maior nível de detalhes e o menor tempo.

The photogrammetry, 3D reconstruction from 2D images, emerged in the 19th century with Laussedat, he constructed the map of Paris based on geometric information extracted from his photographs taken from rooftops in the city. Although its principles have already been defined for a long time, the photogrammetry as it knows nowadays did not exist, just after the development of computers and digital cameras this technique started to be used in more applications. Currently it is used in several areas, such as entertainment, construction, inspection in risk areas, etc. It began to become a more common topic to the less specialized audience with the popularization of drones, which facilitated the acquisition of aerial photographs and allowed this technique to be used for inspection of large areas with applications mainly in the area of ​​civil engineering. The popularization of 3D printers also increased the number of users of this technology as it allows objects of difficult modeling to be scanned through photos and later printed. This work brings a comparison between softwares and libraries that implement parts of the photogrammetry process, in addition to developing algorithms that implement some of the methods described in the bibliography. The results obtained show that with the right combination of algorithms, 3D reconstructions can be very similar to the scenes captured by the images. The results were divided into 3 categories: category A with the algorithms developed in this work; category B with free softwares/libraries; and category C with paid softwares. The main difference between the results of the categories was the time and the consumption of hardware resources. In a qualitative comparison, the algorithms developed in this work achieved a result close to the paid software, only presenting more noise. The best result among all categories was the combination of VisualSFM + MeshRecon + TexRecon, which presented the highest level of details and the shortest time.