Multi-View Geometrie und 3D-Rekonstruktion

Die Multi-View-Geometrie untersucht die Beziehungen zwischen Bildern derselben Szene, die aus verschiedenen Blickwinkeln aufgenommen wurden, und die 3D-Rekonstruktion nutzt diese Beziehungen, um die Szenenstruktur und Kamerapositionen wiederherzustellen.

Definition

Multi-View-Geometrie ist die Untersuchung geometrischer Beschränkungen, die mehrere Bilder einer Szene miteinander in Beziehung setzen, und 3D-Rekonstruktion ist die Wiederherstellung der Szenenstruktur und Kameraposen, die mit diesen Bildern konsistent sind.

Scope

Dieses Thema umfasst die Epipolar-Geometrie und die Fundamental- und Essentielle Matrix, Zwei-Ansichten- und Multi-Ansichten-Stereo zur Tiefenschätzung, Triangulation, Structure from Motion, die Kameras und Punkte gemeinsam wiederherstellt, sowie Bundle Adjustment als nichtlineare Verfeinerung der vollständigen Rekonstruktion.

Core questions

• Welche Beschränkungen verbinden denselben Szenenpunkt, der in zwei Bildern zu sehen ist?
• Wie wird die Tiefe aus der Stereokorrespondenz wiederhergestellt?
• Wie werden Kameraposen und Szenenstruktur gleichzeitig wiederhergestellt?
• Wie wird eine große Rekonstruktion verfeinert, um den Reprojektionsfehler zu minimieren?

Key concepts

• Epipolar-Geometrie
• Fundamental- und Essentielle Matrix
• Stereokorrespondenz
• Triangulation
• Structure from Motion
• Bundle Adjustment

Key theories

Epipolar-Geometrie

Für zwei Ansichten beschränkt ein Punkt in einem Bild seine Übereinstimmung auf eine Linie im anderen, kodiert durch die Fundamentalmatrix, was die Korrespondenzsuche reduziert und Stereo- und Bewegungsschätzung zugrunde liegt.

Bundle Adjustment

Die Rekonstruktion wird durch die gemeinsame Optimierung aller Kameraparameter und 3D-Punkte verfeinert, um den gesamten Reprojektionsfehler zu minimieren, ein großes, dünn besetztes, nichtlineares Kleinste-Quadrate-Problem im Kern von Structure from Motion.

Clinical relevance

Die Multi-View-Rekonstruktion ermöglicht 3D-Kartierung und Photogrammetrie, visuelle simultane Lokalisierung und Kartierung (SLAM) für Roboter und Drohnen, Augmented Reality, Digitalisierung des Kulturerbes und die Generierung von 3D-Modellen aus Fotosammlungen.

History

Aufbauend auf der Photogrammetrie wurde die projektive Formulierung der Multi-View-Geometrie in den 1990er Jahren konsolidiert; Bundle Adjustment wurde im Jahr 2000 synthetisiert, und groß angelegte Structure-from-Motion-Systeme rekonstruierten später Städte aus Internet-Fotosammlungen.

Key figures

• Richard Hartley
• Andrew Zisserman
• Bill Triggs

Seminal works

• hartley2004
• triggs2000

Frequently asked questions

Wie kann 3D aus flachen Bildern wiederhergestellt werden?

Ein Punkt, der aus zwei oder mehr bekannten Blickwinkeln gesehen wird, kann trianguliert werden, und das Abgleichen vieler Punkte über verschiedene Ansichten hinweg schränkt sowohl die Szenenstruktur als auch die Kamerapositionen ausreichend ein, um sie maßstabsgetreu zu rekonstruieren.

Was ist Structure from Motion?

Es ist der Prozess, bei dem eine Reihe überlappender Bilder aufgenommen, übereinstimmende Merkmale gefunden und gleichzeitig gelöst wird, wo sich jede Kamera befand und wo die 3D-Punkte liegen, wodurch ein spärliches 3D-Modell und eine Kameratrajektorie erzeugt werden.