Движение и оптический поток

Анализ движения оценивает, как объекты и камера перемещаются между кадрами видео, а оптический поток — это плотное поле кажущегося движения пикселей, которое кодирует это движение.

Definition

Оптический поток — это поле кажущихся скоростей паттернов яркости в последовательности изображений, а оценка движения — это восстановление этого поля или лежащего в его основе движения объекта и камеры.

Scope

Эта тема охватывает допущение постоянства яркости и проблему апертуры, отслеживание разреженных признаков методом Лукаса-Канаде, плотный поток с помощью глобальной регуляризации гладкости в методе Хорна-Шунка, оценку от грубого к тонкому для больших движений и связь потока с движением сцены и камеры.

Core questions

• Как оценивается движение каждого пикселя между кадрами?
• Почему локальное движение неоднозначно вдоль границ?
• Как обрабатываются большие смещения?
• Как кажущееся движение изображения связано с реальным движением сцены?

Key concepts

• Постоянство яркости
• Проблема апертуры
• Отслеживание Лукаса-Канаде
• Плотный поток Хорна-Шунка
• Оценка от грубого к тонкому
• Сегментация движения

Key theories

Постоянство яркости и проблема апертуры

Предположение, что движущаяся точка сохраняет свою яркость, дает одно уравнение на пиксель для двух неизвестных компонент движения, поэтому движение определяется только по градиентам, оставляя его неоднозначным вдоль границ — проблема апертуры.

Локальная против глобальной оценки потока

Метод Лукаса-Канаде разрешает неоднозначность, предполагая постоянное движение в локальном окне, в то время как метод Хорна-Шунка накладывает глобальное ограничение гладкости, представляя две классические стратегии для плотного потока.

Clinical relevance

Движение и оптический поток используются для стабилизации и сжатия видео, распознавания действий, отслеживания объектов, восприятия автономными транспортными средствами и визуальной одометрии, используемой роботами и дронами.

History

Формулировки Лукаса-Канаде и Хорна-Шунка 1981 года заложили основы разреженного и плотного оптического потока; вариационные уточнения следовали десятилетиями, а глубокие сети позже научились потоку непосредственно из данных, улучшая точность при сложных движениях.

Key figures

• Berthold Horn
• Brian Schunck
• Takeo Kanade

Seminal works

• hornschunck1981
• lucaskanade1981

Frequently asked questions

Что такое проблема апертуры?

Наблюдая за движущимся краем через небольшое окно, можно определить, как он движется поперек края, но не вдоль него, поэтому локальное движение неоднозначно; для его разрешения требуется объединение информации из углов или более широких областей.

Для чего используется оптический поток?

Он показывает, как каждый пиксель перемещается между кадрами, что поддерживает отслеживание объектов, стабилизацию и сжатие видео, оценку движения камеры и распознавание действий.