运动与光流
运动分析估计视频帧之间物体和摄像机的运动方式，而光流是编码这种运动的视在像素运动的密集场。
用 PaperMind 寻找选题即将推出Find papers & topics
Tools & resources
Learn & explore
视频即将推出
Definition
光流是图像序列中亮度模式的视在速度场，而运动估计是恢复该场或潜在物体和摄像机运动的过程。
Scope
本主题涵盖亮度恒定性假设和孔径问题，通过Lucas-Kanade方法进行的稀疏特征跟踪，通过Horn-Schunck方法中的全局平滑正则化进行的密集流，用于大运动的从粗到精估计，以及流与场景和摄像机运动的关系。
Core questions
- 如何估计帧之间每个像素的运动？
- 为什么局部运动在边缘处是模糊的？
- 如何处理大位移？
- 视在图像运动与真实场景运动有何关系？
Key concepts
- 亮度恒定性
- 孔径问题
- Lucas-Kanade跟踪
- Horn-Schunck密集流
- 从粗到精估计
- 运动分割
Key theories
- 亮度恒定性与孔径问题
- 假设一个移动点保持其亮度，每个像素给出两个未知运动分量的一个方程，因此运动仅在梯度方向上确定，在边缘方向上则模糊不清——这就是孔径问题。
- 局部与全局流估计
- Lucas-Kanade方法通过假设局部窗口内的恒定运动来解决模糊性，而Horn-Schunck方法则施加全局平滑约束，代表了密集流的两种经典策略。
Clinical relevance
运动和光流驱动视频稳定和压缩、动作识别、物体跟踪、自动驾驶汽车感知以及机器人和无人机使用的视觉里程计。
History
1981年的Lucas-Kanade和Horn-Schunck公式确立了稀疏和密集光流；变分改进持续了数十年，后来深度网络直接从数据中学习光流，提高了在挑战性运动上的准确性。
Key figures
- Berthold Horn
- Brian Schunck
- Takeo Kanade
Related topics
Seminal works
- hornschunck1981
- lucaskanade1981
Frequently asked questions
- 什么是孔径问题？
- 通过一个小窗口观察移动的边缘时，你可以判断它如何横向移动，但无法判断它如何沿边缘移动，因此局部运动是模糊的；解决这个问题需要结合来自角点或更广阔区域的信息。
- 光流有什么用？
- 它告诉我们每个像素在帧之间如何移动，这有助于跟踪物体、稳定和压缩视频、估计摄像机运动以及识别动作。