Segmentation d'images

La segmentation d'images partitionne une image en régions qui correspondent à des objets ou à des parties significatives, en attribuant chaque pixel à un segment.

Definition

La segmentation d'images est l'attribution de chaque pixel à l'une d'un ensemble de régions ou de classes, de sorte que les pixels au sein d'une région soient cohérents et que les régions correspondent à des structures de scène distinctes.

Scope

Ce sujet couvre le seuillage et la croissance de régions, le regroupement de pixels dans l'espace couleur et l'espace des caractéristiques, les méthodes basées sur les graphes telles que les coupes normalisées, les formulations de minimisation d'énergie et de contours actifs, ainsi que la segmentation sémantique et d'instance moderne qui étiquette chaque pixel avec une classe d'objet.

Core questions

• Comment les pixels sont-ils regroupés en régions cohérentes ?
• Quel critère distingue une bonne segmentation d'une mauvaise ?
• Comment la structure globale des régions peut-elle être optimisée plutôt que décidée pixel par pixel ?
• Comment la segmentation est-elle étendue pour étiqueter les pixels avec des catégories d'objets ?

Key concepts

• Seuillage et croissance de régions
• Regroupement dans l'espace des caractéristiques
• Coupes normalisées
• Minimisation d'énergie et coupes de graphes
• Contours actifs
• Segmentation sémantique et d'instance

Key theories

Segmentation basée sur les graphes

En traitant les pixels comme des nœuds de graphe avec des arêtes pondérées par la similarité, le critère de coupe normalisée partitionne l'image pour maximiser la cohérence intra-région par rapport à la dissemblance inter-régions, produisant des segmentations globalement équilibrées.

Minimisation d'énergie pour l'étiquetage

La segmentation peut être formulée comme la minimisation d'une énergie qui récompense l'attribution de pixels à des régions appropriées tout en pénalisant les changements d'étiquette entre des voisins similaires, résoluble efficacement par des coupes de graphes et des optimisations connexes.

Clinical relevance

La segmentation est essentielle à l'analyse d'images médicales, telle que la délimitation d'organes et de tumeurs, à la compréhension de scènes dans la conduite autonome, à la cartographie de l'occupation des sols par télédétection, et à l'édition d'images et à l'extraction d'objets.

History

Les premières méthodes de segmentation reposaient sur le seuillage et la fusion de régions ; les méthodes basées sur les graphes, telles que les coupes normalisées en 2000, et les approches de minimisation d'énergie ont fait progresser le domaine, et les réseaux neuronaux convolutifs profonds ont ensuite permis une segmentation sémantique et d'instance dense.

Key figures

• Jianbo Shi
• Jitendra Malik

Seminal works

• shi2000
• szeliski2022

Frequently asked questions

Quelle est la différence entre la segmentation sémantique et la segmentation d'instance ?

La segmentation sémantique étiquette chaque pixel avec une classe, telle que route ou personne, mais ne sépare pas les individus, tandis que la segmentation d'instance distingue en outre chaque objet séparé, de sorte que deux personnes reçoivent des étiquettes différentes.

Pourquoi la segmentation est-elle considérée comme difficile ?

Ce qui constitue une région dépend de la tâche et est souvent ambigu, et les images naturelles présentent de la texture, de l'ombrage et de l'occlusion qui estompent les limites entre les objets, de sorte qu'il y a rarement une seule bonne réponse.