图像分割

图像分割将图像划分为对应于对象或有意义部分的区域，并将每个像素分配给一个片段。

Definition

图像分割是将每个像素分配给一组区域或类别中的一个，使得区域内的像素具有一致性，并且区域对应于不同的场景结构。

Scope

本主题涵盖阈值处理和区域增长、颜色和特征空间中的像素聚类、基于图的方法（如归一化割）、能量最小化和主动轮廓公式，以及将每个像素标记为对象类别的现代语义和实例分割。

Core questions

• 像素是如何被分组到连贯区域的？
• 区分良好分割和不良分割的标准是什么？
• 如何优化全局区域结构，而不是逐像素决定？
• 分割如何扩展到用对象类别标记像素？

Key concepts

• 阈值处理和区域增长
• 特征空间中的聚类
• 归一化割
• 能量最小化和图割
• 主动轮廓
• 语义分割和实例分割

Key theories

基于图的分割

将像素视为图节点，边权重由相似性决定，归一化割准则通过最大化区域内一致性相对于区域间不相似性来分割图像，从而产生全局平衡的分割。

用于标记的能量最小化

分割可以看作是最小化一个能量函数，该函数奖励将像素分配给合适的区域，同时惩罚相似邻居之间的标签变化，这可以通过图割和相关优化有效地解决。

Clinical relevance

分割在医学图像分析（如器官和肿瘤的描绘）、自动驾驶中的场景理解、遥感土地覆盖测绘以及图像编辑和对象提取中至关重要。

History

早期的分割依赖于阈值处理和区域合并；2000年的归一化割等基于图的方法和能量最小化方法推动了该领域的发展，随后深度卷积网络实现了密集的语义和实例分割。

Key figures

• Jianbo Shi
• Jitendra Malik

Seminal works

• shi2000
• szeliski2022

Frequently asked questions

语义分割和实例分割有什么区别？

语义分割用道路或人物等类别标记每个像素，但不区分个体，而实例分割则额外区分每个单独的对象，因此两个人会得到不同的标签。

为什么分割被认为是困难的？

什么算作一个区域取决于任务，并且通常是模糊的，自然图像具有纹理、阴影和遮挡，这些会模糊对象之间的边界，因此很少有单一的正确答案。