Bewegung und Optischer Fluss
Die Bewegungsanalyse schätzt, wie sich Objekte und die Kamera zwischen Videobildern bewegen, und der optische Fluss ist das dichte Feld der scheinbaren Pixelbewegung, das dies kodiert.
Definition
Der optische Fluss ist das Feld der scheinbaren Geschwindigkeiten von Helligkeitsmustern in einer Bildsequenz, und die Bewegungsschätzung ist die Wiederherstellung dieses Feldes oder der zugrunde liegenden Objekt- und Kamerabewegung.
Scope
Dieses Thema behandelt die Helligkeitskonstanzannahme und das Aperturproblem, die Verfolgung spärlicher Merkmale mittels der Lucas-Kanade-Methode, den dichten Fluss durch globale Glättungsregularisierung in der Horn-Schunck-Methode, die Grob-zu-Fein-Schätzung für große Bewegungen und die Beziehung des Flusses zur Szenen- und Kamerabewegung.
Core questions
- Wie wird die Bewegung jedes Pixels zwischen den Einzelbildern geschätzt?
- Warum ist die lokale Bewegung entlang von Kanten mehrdeutig?
- Wie werden große Verschiebungen gehandhabt?
- Wie hängt die scheinbare Bildbewegung mit der realen Szenenbewegung zusammen?
Key concepts
- Helligkeitskonstanz
- Aperturproblem
- Lucas-Kanade-Verfolgung
- Horn-Schunck-Dichtefluss
- Grob-zu-Fein-Schätzung
- Bewegungssegmentierung
Key theories
- Helligkeitskonstanz und das Aperturproblem
- Die Annahme, dass ein sich bewegender Punkt seine Helligkeit beibehält, liefert eine Gleichung pro Pixel für zwei unbekannte Bewegungskomponenten, sodass die Bewegung nur über Gradienten bestimmt wird, was sie entlang von Kanten mehrdeutig lässt – das Aperturproblem.
- Lokale versus globale Flussschätzung
- Die Lucas-Kanade-Methode löst Mehrdeutigkeiten auf, indem sie eine konstante Bewegung in einem lokalen Fenster annimmt, während die Horn-Schunck-Methode eine globale Glättungsbeschränkung auferlegt, was die beiden klassischen Strategien für den dichten Fluss darstellt.
Clinical relevance
Bewegung und optischer Fluss sind die Grundlage für Videostabilisierung und -kompression, Aktionserkennung, Objektverfolgung, Wahrnehmung autonomer Fahrzeuge und die visuelle Odometrie, die von Robotern und Drohnen verwendet wird.
History
Die Lucas-Kanade- und Horn-Schunck-Formulierungen von 1981 etablierten den spärlichen und dichten optischen Fluss; variationelle Verfeinerungen folgten über Jahrzehnte, und tiefe Netzwerke lernten später den Fluss direkt aus Daten, wodurch die Genauigkeit bei anspruchsvollen Bewegungen verbessert wurde.
Key figures
- Berthold Horn
- Brian Schunck
- Takeo Kanade
Related topics
Seminal works
- hornschunck1981
- lucaskanade1981
Frequently asked questions
- Was ist das Aperturproblem?
- Betrachtet man eine sich bewegende Kante durch ein kleines Fenster, kann man erkennen, wie sie sich über die Kante, aber nicht entlang dieser bewegt, sodass die lokale Bewegung mehrdeutig ist; ihre Auflösung erfordert die Kombination von Informationen aus Ecken oder breiteren Regionen.
- Wofür wird der optische Fluss verwendet?
- Er gibt an, wie sich jedes Pixel zwischen den Einzelbildern bewegt, was die Verfolgung von Objekten, die Stabilisierung und Komprimierung von Videos, die Schätzung der Kamerabewegung und die Erkennung von Aktionen unterstützt.