多视角几何与三维重建

多视角几何研究从不同视角拍摄的同一场景图像之间的关系，而三维重建则利用这些关系来恢复场景结构和相机位置。

Definition

多视角几何是研究场景多幅图像之间几何约束的学科，三维重建是恢复与这些图像一致的场景结构和相机姿态的过程。

Scope

本主题涵盖了对极几何、基础矩阵和本质矩阵、用于深度估计的双目和多目立体视觉、三角测量、联合恢复相机和点的运动恢复结构，以及作为完整重建非线性优化的光束法平差。

Core questions

• 在两幅图像中看到的同一场景点之间存在哪些约束？
• 如何从立体对应中恢复深度？
• 如何同时恢复相机姿态和场景结构？
• 如何优化大型重建以最小化重投影误差？

Key concepts

• 对极几何
• 基础矩阵和本质矩阵
• 立体对应
• 三角测量
• 运动恢复结构
• 光束法平差

Key theories

对极几何

对于两个视图，一个图像中的点将其匹配约束到另一个图像中的一条线，由基础矩阵编码，这减少了对应搜索并构成了立体和运动估计的基础。

光束法平差

通过联合优化所有相机参数和三维点以最小化总重投影误差来优化重建，这是一个大型稀疏非线性最小二乘问题，是运动恢复结构的核心。

Clinical relevance

多视角重建可实现三维测绘和摄影测量、机器人和无人机的视觉同步定位与建图、增强现实、文化遗产数字化以及从照片集生成三维模型。

History

在摄影测量的基础上，多视角几何的投影公式于20世纪90年代得到巩固；光束法平差于2000年被综合，后来大规模的运动恢复结构系统从互联网照片集中重建了城市。

Key figures

• Richard Hartley
• Andrew Zisserman
• Bill Triggs

Seminal works

• hartley2004
• triggs2000

Frequently asked questions

如何从平面图像中恢复三维信息？

从两个或更多已知视角看到的点可以进行三角测量，并且在多个视图之间匹配许多点足以约束场景结构和相机位置，从而在一定尺度上重建它们。

什么是运动恢复结构？

它是获取一组重叠图像、查找匹配特征并同时求解每个相机的位置和三维点位置的过程，从而生成稀疏三维模型和相机轨迹。