Chuyển động và dòng chảy quang học

Phân tích chuyển động ước tính cách các đối tượng và camera di chuyển giữa các khung hình video, và dòng chảy quang học là trường dày đặc của chuyển động điểm ảnh biểu kiến mã hóa điều này.

Definition

Dòng chảy quang học là trường vận tốc biểu kiến của các mẫu độ sáng trong một chuỗi hình ảnh, và ước tính chuyển động là việc phục hồi trường này hoặc chuyển động của đối tượng và camera cơ bản.

Scope

Chủ đề này bao gồm giả định độ sáng không đổi và vấn đề khẩu độ, theo dõi đặc trưng thưa thớt bằng phương pháp Lucas-Kanade, dòng chảy dày đặc bằng cách điều hòa độ mịn toàn cục trong phương pháp Horn-Schunck, ước tính từ thô đến tinh cho các chuyển động lớn, và mối quan hệ của dòng chảy với chuyển động cảnh và camera.

Core questions

• Chuyển động của mỗi điểm ảnh giữa các khung hình được ước tính như thế nào?
• Tại sao chuyển động cục bộ lại mơ hồ dọc theo các cạnh?
• Các dịch chuyển lớn được xử lý như thế nào?
• Chuyển động hình ảnh biểu kiến liên quan đến chuyển động cảnh thực như thế nào?

Key concepts

• Độ sáng không đổi
• Vấn đề khẩu độ
• Theo dõi Lucas-Kanade
• Dòng chảy dày đặc Horn-Schunck
• Ước tính từ thô đến tinh
• Phân đoạn chuyển động

Key theories

Độ sáng không đổi và vấn đề khẩu độ

Giả định một điểm di chuyển giữ độ sáng của nó cung cấp một phương trình cho mỗi điểm ảnh cho hai thành phần chuyển động chưa biết, do đó chuyển động chỉ được xác định trên các gradient, khiến nó mơ hồ dọc theo các cạnh - vấn đề khẩu độ.

Ước tính dòng chảy cục bộ so với toàn cục

Phương pháp Lucas-Kanade giải quyết sự mơ hồ bằng cách giả định chuyển động không đổi trong một cửa sổ cục bộ, trong khi phương pháp Horn-Schunck áp đặt một ràng buộc độ mịn toàn cục, đại diện cho hai chiến lược cổ điển cho dòng chảy dày đặc.

Clinical relevance

Chuyển động và dòng chảy quang học thúc đẩy ổn định và nén video, nhận dạng hành động, theo dõi đối tượng, nhận thức của phương tiện tự hành và đo lường quán tính thị giác được sử dụng bởi robot và máy bay không người lái.

History

Các công thức Lucas-Kanade và Horn-Schunck năm 1981 đã thiết lập dòng chảy quang học thưa thớt và dày đặc; các cải tiến biến phân đã được thực hiện trong nhiều thập kỷ sau đó, và các mạng sâu sau này đã học dòng chảy trực tiếp từ dữ liệu, cải thiện độ chính xác trên các chuyển động khó.

Key figures

• Berthold Horn
• Brian Schunck
• Takeo Kanade

Seminal works

• hornschunck1981
• lucaskanade1981

Frequently asked questions

Vấn đề khẩu độ là gì?

Khi nhìn vào một cạnh di chuyển qua một cửa sổ nhỏ, bạn có thể biết nó di chuyển như thế nào qua cạnh nhưng không thể biết dọc theo cạnh, do đó chuyển động cục bộ là mơ hồ; để giải quyết nó cần kết hợp thông tin từ các góc hoặc các vùng rộng hơn.

Dòng chảy quang học được sử dụng để làm gì?

Nó cho biết mỗi điểm ảnh di chuyển như thế nào giữa các khung hình, hỗ trợ theo dõi đối tượng, ổn định và nén video, ước tính chuyển động của camera và nhận dạng hành động.