多視点幾何学と3D再構成

多視点幾何学は、異なる視点から撮影された同一シーンの画像間の関係を研究し、3D再構成はこれらの関係を用いてシーン構造とカメラ位置を復元します。

Definition

多視点幾何学は、シーンの複数の画像に関連する幾何学的制約を研究するものであり、3D再構成は、それらの画像と整合するシーン構造とカメラポーズを復元することです。

Scope

このトピックでは、エピポーラ幾何学、基礎行列と基本行列、深度推定のための2視点および多視点ステレオ、三角測量、カメラと点を同時に復元するStructure from Motion、そして完全な再構成の非線形最適化としてのバンドル調整について扱います。

Core questions

• 2つの画像で同じシーン点を見た場合、どのような制約が関係しますか？
• ステレオ対応から深度はどのように復元されますか？
• カメラポーズとシーン構造はどのように同時に復元されますか？
• 大規模な再構成は、再投影誤差を最小化するためにどのように最適化されますか？

Key concepts

• エピポーラ幾何学
• 基礎行列と基本行列
• ステレオ対応
• 三角測量
• Structure from Motion
• バンドル調整

Key theories

エピポーラ幾何学

2つの視点の場合、一方の画像内の点は、他方の画像内の線にその対応点を制約します。これは基礎行列によって符号化され、対応探索を減らし、ステレオおよび運動推定の基礎となります。

バンドル調整

再構成は、すべてのカメラパラメータと3D点を共同で最適化し、総再投影誤差を最小化することによって洗練されます。これは、Structure from Motionの中核をなす大規模な疎な非線形最小二乗問題です。

Clinical relevance

多視点再構成は、3Dマッピングと写真測量、ロボットやドローン向けの視覚的自己位置推定とマッピング（SLAM）、拡張現実、文化遺産のデジタル化、写真コレクションからの3Dモデル生成などを可能にします。

History

写真測量に基づいて、多視点幾何学の射影定式化は1990年代に確立されました。バンドル調整は2000年に統合され、その後、大規模なStructure from Motionシステムはインターネットの写真コレクションから都市を再構成しました。

Key figures

• Richard Hartley
• Andrew Zisserman
• Bill Triggs

Seminal works

• hartley2004
• triggs2000

Frequently asked questions

平面画像から3Dをどのように復元できますか？

2つ以上の既知の視点から見られた点は三角測量によって決定でき、複数の視点間で多くの点を対応させることで、シーン構造とカメラ位置の両方がスケールを除いて再構成できる程度に制約されます。

Structure from Motionとは何ですか？

これは、重なり合う一連の画像を取り込み、一致する特徴を見つけ、各カメラがどこにあったか、そして3D点がどこにあるかを同時に解くプロセスであり、疎な3Dモデルとカメラ軌跡を生成します。