Gerakan dan Aliran Optik

Analisis gerakan memperkirakan bagaimana objek dan kamera bergerak di antara bingkai video, dan aliran optik adalah bidang padat dari gerakan piksel yang tampak yang mengkodekannya.

Definition

Aliran optik adalah bidang kecepatan semu pola kecerahan dalam urutan gambar, dan estimasi gerakan adalah pemulihan bidang ini atau gerakan objek dan kamera yang mendasarinya.

Scope

Topik ini mencakup asumsi konstansi kecerahan dan masalah apertur, pelacakan fitur jarang dengan metode Lucas-Kanade, aliran padat dengan regularisasi kehalusan global dalam metode Horn-Schunck, estimasi kasar-ke-halus untuk gerakan besar, dan hubungan aliran dengan gerakan adegan dan kamera.

Core questions

• Bagaimana gerakan setiap piksel antar bingkai diperkirakan?
• Mengapa gerakan lokal ambigu di sepanjang tepi?
• Bagaimana perpindahan besar ditangani?
• Bagaimana gerakan gambar yang tampak berhubungan dengan gerakan adegan yang sebenarnya?

Key concepts

• Konstansi kecerahan
• Masalah apertur
• Pelacakan Lucas-Kanade
• Aliran padat Horn-Schunck
• Estimasi kasar-ke-halus
• Segmentasi gerakan

Key theories

Konstansi kecerahan dan masalah apertur

Mengasumsikan titik bergerak mempertahankan kecerahannya memberikan satu persamaan per piksel untuk dua komponen gerakan yang tidak diketahui, sehingga gerakan hanya ditentukan melintasi gradien, membuatnya ambigu di sepanjang tepi - masalah apertur.

Estimasi aliran lokal versus global

Metode Lucas-Kanade menyelesaikan ambiguitas dengan mengasumsikan gerakan konstan dalam jendela lokal, sementara metode Horn-Schunck memberlakukan batasan kehalusan global, mewakili dua strategi klasik untuk aliran padat.

Clinical relevance

Gerakan dan aliran optik mendorong stabilisasi dan kompresi video, pengenalan tindakan, pelacakan objek, persepsi kendaraan otonom, dan odometri visual yang digunakan oleh robot dan drone.

History

Formulasi Lucas-Kanade dan Horn-Schunck tahun 1981 menetapkan aliran optik jarang dan padat; penyempurnaan variasi menyusul selama beberapa dekade, dan jaringan dalam kemudian mempelajari aliran langsung dari data, meningkatkan akurasi pada gerakan yang menantang.

Key figures

• Berthold Horn
• Brian Schunck
• Takeo Kanade

Seminal works

• hornschunck1981
• lucaskanade1981

Frequently asked questions

Apa itu masalah apertur?

Melihat tepi yang bergerak melalui jendela kecil, Anda dapat mengetahui bagaimana ia bergerak melintasi tepi tetapi tidak di sepanjang tepi, sehingga gerakan lokal ambigu; menyelesaikannya membutuhkan penggabungan informasi dari sudut atau wilayah yang lebih luas.

Untuk apa aliran optik digunakan?

Ini memberi tahu bagaimana setiap piksel bergerak antar bingkai, yang mendukung pelacakan objek, menstabilkan dan mengompresi video, memperkirakan gerakan kamera, dan mengenali tindakan.