Geometria Multi-Visão e Reconstrução 3D

A geometria multi-visão estuda as relações entre imagens da mesma cena capturadas de diferentes pontos de vista, e a reconstrução 3D utiliza essas relações para recuperar a estrutura da cena e as posições das câmeras.

Definition

Geometria multi-visão é o estudo das restrições geométricas que relacionam múltiplas imagens de uma cena, e reconstrução 3D é a recuperação da estrutura da cena e das poses da câmera consistentes com essas imagens.

Scope

Este tópico abrange a geometria epipolar e as matrizes fundamental e essencial, estéreo de duas e múltiplas visões para estimativa de profundidade, triangulação, estrutura a partir do movimento que recupera conjuntamente câmeras e pontos, e ajuste de feixe (bundle adjustment) como o refinamento não linear da reconstrução completa.

Core questions

• Que restrições relacionam o mesmo ponto da cena visto em duas imagens?
• Como a profundidade é recuperada a partir da correspondência estéreo?
• Como as poses da câmera e a estrutura da cena são recuperadas simultaneamente?
• Como uma grande reconstrução é refinada para minimizar o erro de reprojeção?

Key concepts

• Geometria epipolar
• Matrizes fundamental e essencial
• Correspondência estéreo
• Triangulação
• Estrutura a partir do movimento
• Ajuste de feixe (Bundle adjustment)

Key theories

Geometria epipolar

Para duas vistas, um ponto em uma imagem restringe sua correspondência a uma linha na outra, codificada pela matriz fundamental, o que reduz a busca por correspondência e fundamenta a estimativa estéreo e de movimento.

Ajuste de feixe (Bundle adjustment)

A reconstrução é refinada otimizando conjuntamente todos os parâmetros da câmera e pontos 3D para minimizar o erro total de reprojeção, um grande problema de mínimos quadrados não lineares esparsos no cerne da estrutura a partir do movimento.

Clinical relevance

A reconstrução multi-visão permite o mapeamento 3D e a fotogrametria, localização e mapeamento simultâneos visuais para robôs e drones, realidade aumentada, digitalização do patrimônio cultural e a geração de modelos 3D a partir de coleções de fotos.

History

Com base na fotogrametria, a formulação projetiva da geometria multi-visão foi consolidada na década de 1990; o ajuste de feixe (bundle adjustment) foi sintetizado em 2000, e sistemas de estrutura a partir do movimento em larga escala reconstruíram cidades a partir de coleções de fotos da internet posteriormente.

Key figures

• Richard Hartley
• Andrew Zisserman
• Bill Triggs

Seminal works

• hartley2004
• triggs2000

Frequently asked questions

Como o 3D pode ser recuperado a partir de imagens planas?

Um ponto visto de dois ou mais pontos de vista conhecidos pode ser triangulado, e a correspondência de muitos pontos entre as vistas restringe tanto a estrutura da cena quanto as posições da câmera o suficiente para reconstruí-los em escala.

O que é estrutura a partir do movimento?

É o processo de pegar um conjunto de imagens sobrepostas, encontrar características correspondentes e resolver simultaneamente onde cada câmera estava e onde os pontos 3D estão, produzindo um modelo 3D esparso e uma trajetória da câmera.