Многоракурсная геометрия и 3D-реконструкция

Многоракурсная геометрия изучает взаимосвязи между изображениями одной и той же сцены, снятыми с разных точек обзора, а 3D-реконструкция использует эти взаимосвязи для восстановления структуры сцены и положений камер.

Definition

Многоракурсная геометрия — это изучение геометрических ограничений, связывающих несколько изображений сцены, а 3D-реконструкция — это восстановление структуры сцены и положений камер, соответствующих этим изображениям.

Scope

Эта тема охватывает эпиполярную геометрию и фундаментальную и существенную матрицы, двух- и многоракурсное стерео для оценки глубины, триангуляцию, структуру из движения, которая совместно восстанавливает камеры и точки, а также пакетную юстировку как нелинейное уточнение полной реконструкции.

Core questions

• Какие ограничения связывают одну и ту же точку сцены, видимую на двух изображениях?
• Как восстанавливается глубина по стереосоответствию?
• Как одновременно восстанавливаются положения камер и структура сцены?
• Как уточняется крупномасштабная реконструкция для минимизации ошибки репроекции?

Key concepts

• Эпиполярная геометрия
• Фундаментальная и существенная матрицы
• Стереосоответствие
• Триангуляция
• Структура из движения
• Пакетная юстировка

Key theories

Эпиполярная геометрия

Для двух ракурсов точка на одном изображении ограничивает свое соответствие линией на другом, что кодируется фундаментальной матрицей, которая сокращает поиск соответствий и лежит в основе оценки стерео и движения.

Пакетная юстировка

Реконструкция уточняется путем совместной оптимизации всех параметров камеры и 3D-точек для минимизации общей ошибки репроекции, что является большой разреженной нелинейной задачей наименьших квадратов, лежащей в основе метода «структура из движения».

Clinical relevance

Многоракурсная реконструкция обеспечивает 3D-картографирование и фотограмметрию, визуальную одновременную локализацию и картирование для роботов и дронов, дополненную реальность, оцифровку культурного наследия и создание 3D-моделей из коллекций фотографий.

History

Опираясь на фотограмметрию, проективная формулировка многоракурсной геометрии была консолидирована в 1990-х годах; пакетная юстировка была синтезирована в 2000 году, а крупномасштабные системы «структура из движения» позднее реконструировали города по интернет-коллекциям фотографий.

Key figures

• Richard Hartley
• Andrew Zisserman
• Bill Triggs

Seminal works

• hartley2004
• triggs2000

Frequently asked questions

Как можно восстановить 3D из плоских изображений?

Точка, видимая с двух или более известных точек обзора, может быть триангулирована, а сопоставление множества точек между ракурсами достаточно ограничивает как структуру сцены, так и положения камер для их реконструкции с точностью до масштаба.

Что такое структура из движения?

Это процесс, при котором берется набор перекрывающихся изображений, находятся соответствующие признаки и одновременно решается задача определения положения каждой камеры и 3D-точек, что приводит к созданию разреженной 3D-модели и траектории камеры.