Geometría multivista y reconstrucción 3D
La geometría multivista estudia las relaciones entre imágenes de la misma escena tomadas desde diferentes puntos de vista, y la reconstrucción 3D utiliza estas relaciones para recuperar la estructura de la escena y las posiciones de la cámara.
Definition
La geometría multivista es el estudio de las restricciones geométricas que relacionan múltiples imágenes de una escena, y la reconstrucción 3D es la recuperación de la estructura de la escena y las poses de la cámara consistentes con esas imágenes.
Scope
Este tema abarca la geometría epipolar y las matrices fundamental y esencial, el estéreo de dos y múltiples vistas para la estimación de profundidad, la triangulación, la estructura a partir del movimiento que recupera conjuntamente cámaras y puntos, y el ajuste de haces (bundle adjustment) como el refinamiento no lineal de la reconstrucción completa.
Core questions
- ¿Qué restricciones relacionan el mismo punto de la escena visto en dos imágenes?
- ¿Cómo se recupera la profundidad a partir de la correspondencia estéreo?
- ¿Cómo se recuperan simultáneamente las poses de la cámara y la estructura de la escena?
- ¿Cómo se refina una reconstrucción grande para minimizar el error de reproyección?
Key concepts
- Geometría epipolar
- Matrices fundamental y esencial
- Correspondencia estéreo
- Triangulación
- Estructura a partir del movimiento
- Ajuste de haces
Key theories
- Geometría epipolar
- Para dos vistas, un punto en una imagen restringe su coincidencia a una línea en la otra, codificada por la matriz fundamental, lo que reduce la búsqueda de correspondencia y subyace a la estimación estéreo y de movimiento.
- Ajuste de haces
- La reconstrucción se refina optimizando conjuntamente todos los parámetros de la cámara y los puntos 3D para minimizar el error total de reproyección, un problema de mínimos cuadrados no lineal grande y disperso en el núcleo de la estructura a partir del movimiento.
Clinical relevance
La reconstrucción multivista permite el mapeo 3D y la fotogrametría, la localización y mapeo simultáneos visuales para robots y drones, la realidad aumentada, la digitalización del patrimonio cultural y la generación de modelos 3D a partir de colecciones de fotos.
History
Basándose en la fotogrametría, la formulación proyectiva de la geometría multivista se consolidó en la década de 1990; el ajuste de haces se sintetizó en 2000, y los sistemas de estructura a partir del movimiento a gran escala reconstruyeron posteriormente ciudades a partir de colecciones de fotos de internet.
Key figures
- Richard Hartley
- Andrew Zisserman
- Bill Triggs
Related topics
Seminal works
- hartley2004
- triggs2000
Frequently asked questions
- ¿Cómo se puede recuperar el 3D a partir de imágenes planas?
- Un punto visto desde dos o más puntos de vista conocidos puede ser triangulado, y la coincidencia de muchos puntos entre vistas restringe tanto la estructura de la escena como las posiciones de la cámara lo suficiente como para reconstruirlas a escala.
- ¿Qué es la estructura a partir del movimiento?
- Es el proceso de tomar un conjunto de imágenes superpuestas, encontrar características coincidentes y resolver simultáneamente dónde estaba cada cámara y dónde están los puntos 3D, produciendo un modelo 3D disperso y una trayectoria de la cámara.