Géométrie multi-vues et reconstruction 3D
La géométrie multi-vues étudie les relations entre des images d'une même scène prises depuis différents points de vue, et la reconstruction 3D utilise ces relations pour récupérer la structure de la scène et les positions des caméras.
Definition
La géométrie multi-vues est l'étude des contraintes géométriques reliant plusieurs images d'une scène, et la reconstruction 3D est la récupération de la structure de la scène et des poses de caméra cohérentes avec ces images.
Scope
Ce sujet couvre la géométrie épipolaire et les matrices fondamentale et essentielle, la stéréo bi-vue et multi-vues pour l'estimation de la profondeur, la triangulation, la structure à partir du mouvement (structure from motion) qui récupère conjointement les caméras et les points, et l'ajustement de faisceau (bundle adjustment) comme raffinement non linéaire de la reconstruction complète.
Core questions
- Quelles contraintes relient le même point de scène vu dans deux images ?
- Comment la profondeur est-elle récupérée à partir de la correspondance stéréo ?
- Comment les poses de caméra et la structure de la scène sont-elles récupérées simultanément ?
- Comment une reconstruction de grande envergure est-elle affinée pour minimiser l'erreur de reprojection ?
Key concepts
- Géométrie épipolaire
- Matrices fondamentale et essentielle
- Correspondance stéréo
- Triangulation
- Structure à partir du mouvement (Structure from motion)
- Ajustement de faisceau (Bundle adjustment)
Key theories
- Géométrie épipolaire
- Pour deux vues, un point dans une image contraint sa correspondance à une ligne dans l'autre, encodée par la matrice fondamentale, ce qui réduit la recherche de correspondances et sous-tend l'estimation stéréo et de mouvement.
- Ajustement de faisceau (Bundle adjustment)
- La reconstruction est affinée en optimisant conjointement tous les paramètres de la caméra et les points 3D afin de minimiser l'erreur de reprojection totale, un problème de moindres carrés non linéaire, creux et de grande taille, au cœur de la structure à partir du mouvement (structure from motion).
Clinical relevance
La reconstruction multi-vues permet la cartographie 3D et la photogrammétrie, la localisation et la cartographie simultanées visuelles (visual simultaneous localization and mapping) pour les robots et les drones, la réalité augmentée, la numérisation du patrimoine culturel et la génération de modèles 3D à partir de collections de photos.
History
S'appuyant sur la photogrammétrie, la formulation projective de la géométrie multi-vues a été consolidée dans les années 1990 ; l'ajustement de faisceau (bundle adjustment) a été synthétisé en 2000, et des systèmes de structure à partir du mouvement (structure-from-motion) à grande échelle ont ensuite reconstruit des villes à partir de collections de photos internet.
Key figures
- Richard Hartley
- Andrew Zisserman
- Bill Triggs
Related topics
Seminal works
- hartley2004
- triggs2000
Frequently asked questions
- Comment la 3D peut-elle être récupérée à partir d'images planes ?
- Un point vu depuis deux points de vue connus ou plus peut être triangulé, et la mise en correspondance de nombreux points entre les vues contraint suffisamment la structure de la scène et les positions des caméras pour les reconstruire à l'échelle près.
- Qu'est-ce que la structure à partir du mouvement (structure from motion) ?
- C'est le processus qui consiste à prendre un ensemble d'images qui se chevauchent, à trouver des caractéristiques correspondantes et à résoudre simultanément la position de chaque caméra et celle des points 3D, produisant ainsi un modèle 3D clairsemé et une trajectoire de caméra.