Hình học đa góc nhìn và Tái tạo 3D

Hình học đa góc nhìn nghiên cứu mối quan hệ giữa các hình ảnh của cùng một cảnh được chụp từ các góc nhìn khác nhau, và tái tạo 3D sử dụng các mối quan hệ này để phục hồi cấu trúc cảnh và vị trí máy ảnh.

Definition

Hình học đa góc nhìn là nghiên cứu về các ràng buộc hình học liên quan đến nhiều hình ảnh của một cảnh, và tái tạo 3D là quá trình phục hồi cấu trúc cảnh và tư thế máy ảnh (camera poses) phù hợp với những hình ảnh đó.

Scope

Chủ đề này bao gồm hình học epipolar và các ma trận cơ bản (fundamental) và thiết yếu (essential), stereo hai góc nhìn và đa góc nhìn để ước tính độ sâu, phép tam giác hóa (triangulation), cấu trúc từ chuyển động (structure from motion) để phục hồi đồng thời máy ảnh và các điểm, và điều chỉnh bó (bundle adjustment) như là sự tinh chỉnh phi tuyến tính của toàn bộ quá trình tái tạo.

Core questions

• Những ràng buộc nào liên hệ cùng một điểm cảnh được nhìn thấy trong hai hình ảnh?
• Độ sâu được phục hồi như thế nào từ sự tương ứng stereo?
• Tư thế máy ảnh và cấu trúc cảnh được phục hồi đồng thời như thế nào?
• Một quá trình tái tạo lớn được tinh chỉnh như thế nào để giảm thiểu lỗi chiếu lại (reprojection error)?

Key concepts

• Hình học epipolar
• Ma trận cơ bản và thiết yếu
• Tương ứng stereo
• Phép tam giác hóa
• Cấu trúc từ chuyển động
• Điều chỉnh bó

Key theories

Hình học epipolar

Đối với hai góc nhìn, một điểm trong một hình ảnh ràng buộc sự khớp nối của nó với một đường thẳng trong hình ảnh kia, được mã hóa bởi ma trận cơ bản, giúp giảm tìm kiếm sự tương ứng và là nền tảng của ước tính stereo và chuyển động.

Điều chỉnh bó

Quá trình tái tạo được tinh chỉnh bằng cách tối ưu hóa đồng thời tất cả các tham số máy ảnh và các điểm 3D để giảm thiểu tổng lỗi chiếu lại, một bài toán bình phương tối thiểu phi tuyến tính thưa thớt lớn là cốt lõi của cấu trúc từ chuyển động.

Clinical relevance

Tái tạo đa góc nhìn cho phép lập bản đồ 3D và đo ảnh (photogrammetry), định vị và lập bản đồ đồng thời bằng hình ảnh (visual simultaneous localization and mapping) cho robot và máy bay không người lái, thực tế tăng cường (augmented reality), số hóa di sản văn hóa, và tạo ra các mô hình 3D từ các bộ sưu tập ảnh.

History

Dựa trên đo ảnh, công thức chiếu của hình học đa góc nhìn đã được củng cố vào những năm 1990; điều chỉnh bó được tổng hợp vào năm 2000, và các hệ thống cấu trúc từ chuyển động quy mô lớn sau đó đã tái tạo các thành phố từ các bộ sưu tập ảnh trên internet.

Key figures

• Richard Hartley
• Andrew Zisserman
• Bill Triggs

Seminal works

• hartley2004
• triggs2000

Frequently asked questions

Làm thế nào để phục hồi 3D từ các hình ảnh phẳng?

Một điểm được nhìn thấy từ hai hoặc nhiều góc nhìn đã biết có thể được tam giác hóa, và việc khớp nhiều điểm giữa các góc nhìn sẽ ràng buộc cả cấu trúc cảnh và vị trí máy ảnh đủ để tái tạo chúng theo tỷ lệ.

Cấu trúc từ chuyển động là gì?

Đây là quá trình lấy một tập hợp các hình ảnh chồng chéo, tìm các đặc điểm khớp nối, và giải đồng thời vị trí của mỗi máy ảnh và vị trí của các điểm 3D, tạo ra một mô hình 3D thưa thớt và quỹ đạo máy ảnh.