Phân đoạn ảnh

Phân đoạn ảnh phân chia một hình ảnh thành các vùng tương ứng với các đối tượng hoặc các phần có ý nghĩa, gán mỗi pixel vào một phân đoạn.

Definition

Phân đoạn ảnh là việc gán mỗi pixel vào một trong một tập hợp các vùng hoặc lớp sao cho các pixel trong một vùng có tính nhất quán và các vùng tương ứng với các cấu trúc cảnh riêng biệt.

Scope

Chủ đề này bao gồm ngưỡng hóa và phát triển vùng, phân cụm pixel trong không gian màu và đặc trưng, các phương pháp dựa trên đồ thị như cắt chuẩn hóa, các công thức tối thiểu hóa năng lượng và đường bao hoạt động, cũng như phân đoạn ngữ nghĩa và thể hiện hiện đại gán nhãn cho mọi pixel bằng một lớp đối tượng.

Core questions

• Các pixel được nhóm thành các vùng nhất quán như thế nào?
• Tiêu chí nào phân biệt một phân đoạn tốt với một phân đoạn kém?
• Làm thế nào để cấu trúc vùng toàn cục có thể được tối ưu hóa thay vì quyết định từng pixel một?
• Phân đoạn được mở rộng để gán nhãn pixel với các danh mục đối tượng như thế nào?

Key concepts

• Ngưỡng hóa và phát triển vùng
• Phân cụm trong không gian đặc trưng
• Cắt chuẩn hóa
• Tối thiểu hóa năng lượng và cắt đồ thị
• Đường bao hoạt động
• Phân đoạn ngữ nghĩa và thể hiện

Key theories

Phân đoạn dựa trên đồ thị

Xem xét các pixel như các nút đồ thị với các cạnh được trọng số hóa theo độ tương đồng, tiêu chí cắt chuẩn hóa phân chia hình ảnh để tối đa hóa tính nhất quán trong vùng so với sự khác biệt giữa các vùng, mang lại các phân đoạn cân bằng toàn cục.

Tối thiểu hóa năng lượng để gán nhãn

Phân đoạn có thể được coi là việc tối thiểu hóa một năng lượng thưởng cho việc gán các pixel vào các vùng phù hợp trong khi phạt các thay đổi nhãn giữa các lân cận tương tự, có thể giải quyết hiệu quả bằng cách cắt đồ thị và tối ưu hóa liên quan.

Clinical relevance

Phân đoạn là trọng tâm trong phân tích hình ảnh y tế như phác thảo các cơ quan và khối u, trong hiểu cảnh trong lái xe tự hành, trong lập bản đồ lớp phủ đất từ xa, và trong chỉnh sửa hình ảnh và trích xuất đối tượng.

History

Phân đoạn ban đầu dựa vào ngưỡng hóa và hợp nhất vùng; các phương pháp dựa trên đồ thị như cắt chuẩn hóa vào năm 2000 và các phương pháp tối thiểu hóa năng lượng đã thúc đẩy lĩnh vực này, và các mạng tích chập sâu sau đó đã đạt được phân đoạn ngữ nghĩa và thể hiện dày đặc.

Key figures

• Jianbo Shi
• Jitendra Malik

Seminal works

• shi2000
• szeliski2022

Frequently asked questions

Sự khác biệt giữa phân đoạn ngữ nghĩa và phân đoạn thể hiện là gì?

Phân đoạn ngữ nghĩa gán nhãn cho mọi pixel bằng một lớp như đường hoặc người nhưng không tách biệt các cá thể, trong khi phân đoạn thể hiện còn phân biệt từng đối tượng riêng biệt, do đó hai người sẽ nhận được các nhãn khác nhau.

Tại sao phân đoạn được coi là khó?

Điều gì được coi là một vùng phụ thuộc vào nhiệm vụ và thường không rõ ràng, và hình ảnh tự nhiên có kết cấu, đổ bóng và che khuất làm mờ ranh giới giữa các đối tượng, vì vậy hiếm khi có một câu trả lời đúng duy nhất.