Сегментация изображений

Сегментация изображений разделяет изображение на области, соответствующие объектам или значимым частям, присваивая каждому пикселю сегмент.

Definition

Сегментация изображения — это присвоение каждого пикселя одной из совокупности областей или классов таким образом, чтобы пиксели внутри области были когерентными, а области соответствовали отдельным структурам сцены.

Scope

Эта тема охватывает пороговую обработку и наращивание областей, кластеризацию пикселей в цветовом пространстве и пространстве признаков, графовые методы, такие как нормализованные разрезы, формулировки минимизации энергии и активных контуров, а также современную семантическую и экземплярующую сегментацию, которая маркирует каждый пиксель классом объекта.

Core questions

• Как пиксели группируются в когерентные области?
• Какой критерий отличает хорошую сегментацию от плохой?
• Как можно оптимизировать глобальную структуру области, а не принимать решения попиксельно?
• Как сегментация расширяется для маркировки пикселей категориями объектов?

Key concepts

• Пороговая обработка и наращивание областей
• Кластеризация в пространстве признаков
• Нормализованные разрезы
• Минимизация энергии и разрезы графа
• Активные контуры
• Семантическая и экземплярующая сегментация

Key theories

Графовая сегментация

Рассматривая пиксели как узлы графа с ребрами, взвешенными по сходству, критерий нормализованного разреза разделяет изображение для максимизации когерентности внутри области относительно несходства между областями, что приводит к глобально сбалансированным сегментациям.

Минимизация энергии для маркировки

Сегментация может быть представлена как минимизация энергии, которая поощряет присвоение пикселей подходящим областям, одновременно наказывая за изменения меток между похожими соседями, что эффективно решается с помощью разрезов графа и связанной оптимизации.

Clinical relevance

Сегментация занимает центральное место в анализе медицинских изображений, таких как разграничение органов и опухолей, в понимании сцены при автономном вождении, в картировании землепользования с помощью дистанционного зондирования, а также в редактировании изображений и извлечении объектов.

History

Ранняя сегментация основывалась на пороговой обработке и слиянии областей; графовые методы, такие как нормализованные разрезы в 2000 году, и подходы к минимизации энергии продвинули эту область, а глубокие сверточные сети позже достигли плотной семантической и экземплярующей сегментации.

Key figures

• Jianbo Shi
• Jitendra Malik

Seminal works

• shi2000
• szeliski2022

Frequently asked questions

В чем разница между семантической и экземплярующей сегментацией?

Семантическая сегментация маркирует каждый пиксель классом, таким как дорога или человек, но не разделяет отдельных индивидуумов, в то время как экземплярующая сегментация дополнительно различает каждый отдельный объект, так что два человека получают разные метки.

Почему сегментация считается сложной задачей?

То, что считается одной областью, зависит от задачи и часто неоднозначно, а естественные изображения имеют текстуру, затенение и окклюзию, которые размывают границы между объектами, поэтому редко существует единственно правильный ответ.