เรขาคณิตหลายมุมมองและการสร้างแบบจำลอง 3 มิติ

เรขาคณิตหลายมุมมองศึกษาความสัมพันธ์ระหว่างภาพของฉากเดียวกันที่ถ่ายจากมุมมองที่แตกต่างกัน และการสร้างแบบจำลอง 3 มิติใช้ความสัมพันธ์เหล่านี้เพื่อกู้คืนโครงสร้างของฉากและตำแหน่งของกล้อง

Definition

เรขาคณิตหลายมุมมองคือการศึกษาข้อจำกัดทางเรขาคณิตที่เชื่อมโยงภาพหลายภาพของฉากหนึ่ง และการสร้างแบบจำลอง 3 มิติคือการกู้คืนโครงสร้างของฉากและท่าทางของกล้องที่สอดคล้องกับภาพเหล่านั้น

Scope

หัวข้อนี้ครอบคลุมเรขาคณิตเอพิโพลาร์และเมทริกซ์พื้นฐานและเมทริกซ์สำคัญ (fundamental and essential matrices) การมองเห็นเชิงลึกแบบสองมุมมองและหลายมุมมอง (two-view and multi-view stereo) สำหรับการประมาณความลึก การสร้างสามเหลี่ยม (triangulation) โครงสร้างจากความเคลื่อนไหว (structure from motion) ที่กู้คืนตำแหน่งกล้องและจุดพร้อมกัน และการปรับกลุ่ม (bundle adjustment) ซึ่งเป็นการปรับแต่งแบบไม่เชิงเส้นของการสร้างแบบจำลองทั้งหมด

Core questions

• ข้อจำกัดใดที่เชื่อมโยงจุดเดียวกันในฉากที่เห็นในสองภาพ?
• ความลึกถูกกู้คืนจากการจับคู่สเตอริโอได้อย่างไร?
• ท่าทางของกล้องและโครงสร้างของฉากถูกกู้คืนพร้อมกันได้อย่างไร?
• การสร้างแบบจำลองขนาดใหญ่ได้รับการปรับแต่งเพื่อลดข้อผิดพลาดในการฉายภาพซ้ำได้อย่างไร?

Key concepts

• เรขาคณิตเอพิโพลาร์
• เมทริกซ์พื้นฐานและเมทริกซ์สำคัญ
• การจับคู่สเตอริโอ
• การสร้างสามเหลี่ยม
• โครงสร้างจากความเคลื่อนไหว
• การปรับกลุ่ม

Key theories

เรขาคณิตเอพิโพลาร์

สำหรับสองมุมมอง จุดในภาพหนึ่งจะจำกัดการจับคู่ของมันให้อยู่บนเส้นในอีกภาพหนึ่ง ซึ่งถูกเข้ารหัสโดยเมทริกซ์พื้นฐาน ซึ่งช่วยลดการค้นหาการจับคู่และเป็นพื้นฐานของการประมาณค่าสเตอริโอและการเคลื่อนไหว

การปรับกลุ่ม

การสร้างแบบจำลองได้รับการปรับแต่งโดยการปรับพารามิเตอร์กล้องและจุด 3 มิติทั้งหมดพร้อมกันเพื่อลดข้อผิดพลาดในการฉายภาพซ้ำทั้งหมด ซึ่งเป็นปัญหาการถดถอยกำลังสองน้อยที่สุดแบบไม่เชิงเส้นขนาดใหญ่และกระจัดกระจาย ซึ่งเป็นหัวใจสำคัญของโครงสร้างจากความเคลื่อนไหว

Clinical relevance

การสร้างแบบจำลองหลายมุมมองช่วยให้สามารถทำแผนที่ 3 มิติและการทำแผนที่ภาพถ่าย (photogrammetry) การระบุตำแหน่งและการทำแผนที่พร้อมกันด้วยภาพ (visual simultaneous localization and mapping) สำหรับหุ่นยนต์และโดรน ความเป็นจริงเสริม (augmented reality) การแปลงมรดกทางวัฒนธรรมให้เป็นดิจิทัล และการสร้างแบบจำลอง 3 มิติจากชุดภาพถ่าย

History

จากการต่อยอดจากโฟโตแกรมเมตรี การกำหนดรูปแบบเชิงโปรเจกทีฟของเรขาคณิตหลายมุมมองได้ถูกรวบรวมขึ้นในทศวรรษ 1990; การปรับกลุ่ม (bundle adjustment) ได้รับการสังเคราะห์ในปี 2000 และระบบโครงสร้างจากความเคลื่อนไหวขนาดใหญ่ในภายหลังได้สร้างแบบจำลองเมืองจากชุดภาพถ่ายบนอินเทอร์เน็ต

Key figures

• Richard Hartley
• Andrew Zisserman
• Bill Triggs

Seminal works

• hartley2004
• triggs2000

Frequently asked questions

จะกู้คืน 3 มิติจากภาพแบนได้อย่างไร?

จุดที่มองเห็นจากมุมมองที่ทราบสองมุมมองขึ้นไปสามารถสร้างสามเหลี่ยมได้ และการจับคู่จุดจำนวนมากในมุมมองต่างๆ จะจำกัดทั้งโครงสร้างของฉากและตำแหน่งของกล้องมากพอที่จะสร้างแบบจำลองขึ้นมาใหม่ได้ตามสัดส่วน

โครงสร้างจากความเคลื่อนไหวคืออะไร?

เป็นกระบวนการที่นำชุดภาพที่ทับซ้อนกันมาค้นหาคุณสมบัติที่ตรงกัน และแก้ปัญหาพร้อมกันว่ากล้องแต่ละตัวอยู่ที่ใดและจุด 3 มิติอยู่ที่ใด ซึ่งจะสร้างแบบจำลอง 3 มิติแบบกระจัดกระจายและวิถีการเคลื่อนที่ของกล้อง