|
Abstract:
|
Este trabalho investiga o problema de edição 3D orientada por texto em cenas reconstruídas a partir de múltiplas imagens. O ponto de partida é o DreamCatalyst, método que utiliza modelos de difusão 2D, em particular o InstructPix2Pix, para supervisionar a otimização de uma representação 3D por meio do Delta Denoising Score. Embora essa abordagem permita alterar semanticamente uma cena 3D usando comandos em linguagem natural, ela herda limitações importantes de métodos 2D aplicados vista a vista, como inconsistência entre diferentes ângulos, alterações indesejadas no fundo e dificuldade de localizar a região correta da edição. O objetivo deste trabalho é estender o DreamCatalyst com mecanismos modulares de guidance, localização espacial e preservação. A solução proposta combina TAG adaptativo, STG, máscaras derivadas da diferença entre predições de ruído, máscaras semânticas de Cross-Attention com peso programado ao longo da otimização, source-blended localization entre os scores de fonte e alvo e adaptação por força de edição. A implementação foi realizada sobre Nerfstudio e mantém a compatibilidade com os fluxos de reconstrução por NeRF e 3D Gaussian Splatting. Os experimentos mostram que, na configuração universal proposta (Parte 1, o resultado central do trabalho), há um ganho claro de preservação sem perda de editabilidade: a proposta melhora o SSIM nas oito edições avaliadas e reduz o LPIPS em sete delas (em média, SSIM de 0,825 para 0,854 e LPIPS de 0,272 para 0,247), mantendo uma editabilidade (a eficácia da edição em seguir o comando textual, medida pelo CLIP Direction) equivalente à do DreamCatalyst base. Como investigação complementar (Parte 2), um voxel cache 3D opcional agrega a magnitude de edição observada por cada vista em uma grade de voxels e ataca o modo de falha em que a mesma região física é editada em uma vista e preservada em outra. Sua principal conclusão não é uma melhora de métricas (nas métricas agregadas, em oito edições e n = 3, o módulo é neutro), mas uma mudança no tipo de erro: as falhas residuais deixam de depender do ângulo de observação e tornam-se coerentes entre vistas, propriedade desejável em edição 3D, ainda que edições de recoloração ampla exijam um gate de concordância entre vistas. |
