Mouvement et flux optique

L'analyse du mouvement estime la manière dont les objets et la caméra se déplacent entre les images vidéo, et le flux optique est le champ dense du mouvement apparent des pixels qui encode cette information.

Definition

Le flux optique est le champ des vitesses apparentes des motifs de luminosité dans une séquence d'images, et l'estimation du mouvement est la récupération de ce champ ou du mouvement sous-jacent de l'objet et de la caméra.

Scope

Ce sujet aborde l'hypothèse de constance de la luminosité et le problème de l'ouverture, le suivi de caractéristiques clairsemées par la méthode de Lucas-Kanade, le flux dense par régularisation de la douceur globale dans la méthode de Horn-Schunck, l'estimation multi-échelle (coarse-to-fine) pour les grands mouvements, et la relation entre le flux et le mouvement de la scène et de la caméra.

Core questions

• Comment le mouvement de chaque pixel entre les images est-il estimé ?
• Pourquoi le mouvement local est-il ambigu le long des contours ?
• Comment les grands déplacements sont-ils gérés ?
• Comment le mouvement apparent de l'image est-il lié au mouvement réel de la scène ?

Key concepts

• Constance de la luminosité
• Problème de l'ouverture
• Suivi de Lucas-Kanade
• Flux dense de Horn-Schunck
• Estimation multi-échelle (coarse-to-fine)
• Segmentation du mouvement

Key theories

Constance de la luminosité et problème de l'ouverture

L'hypothèse qu'un point en mouvement conserve sa luminosité fournit une équation par pixel pour deux composantes de mouvement inconnues ; le mouvement n'est donc déterminé qu'à travers les gradients, ce qui le rend ambigu le long des contours – c'est le problème de l'ouverture.

Estimation du flux local versus global

La méthode de Lucas-Kanade résout l'ambiguïté en supposant un mouvement constant dans une fenêtre locale, tandis que la méthode de Horn-Schunck impose une contrainte de douceur globale, représentant les deux stratégies classiques pour le flux dense.

Clinical relevance

Le mouvement et le flux optique sont à la base de la stabilisation et de la compression vidéo, de la reconnaissance d'actions, du suivi d'objets, de la perception des véhicules autonomes et de l'odométrie visuelle utilisée par les robots et les drones.

History

Les formulations de Lucas-Kanade et Horn-Schunck de 1981 ont établi le flux optique clairsemé et dense ; des raffinements variationnels ont suivi pendant des décennies, et les réseaux profonds ont ensuite appris le flux directement à partir des données, améliorant la précision sur les mouvements complexes.

Key figures

• Berthold Horn
• Brian Schunck
• Takeo Kanade

Seminal works

• hornschunck1981
• lucaskanade1981

Frequently asked questions

Qu'est-ce que le problème de l'ouverture ?

En observant un contour en mouvement à travers une petite fenêtre, on peut déterminer son déplacement perpendiculairement au contour, mais pas le long de celui-ci ; le mouvement local est donc ambigu. Pour le résoudre, il est nécessaire de combiner des informations provenant des coins ou de régions plus larges.

À quoi sert le flux optique ?

Il indique comment chaque pixel se déplace entre les images, ce qui permet le suivi d'objets, la stabilisation et la compression vidéo, l'estimation du mouvement d'une caméra et la reconnaissance d'actions.