Bildsegmentierung

Die Bildsegmentierung unterteilt ein Bild in Regionen, die Objekten oder bedeutungsvollen Teilen entsprechen, wobei jedem Pixel ein Segment zugewiesen wird.

Definition

Bildsegmentierung ist die Zuweisung jedes Pixels zu einer von mehreren Regionen oder Klassen, sodass Pixel innerhalb einer Region kohärent sind und Regionen unterschiedlichen Szenenstrukturen entsprechen.

Scope

Dieses Thema umfasst Schwellenwertverfahren und Regionenwachstum, die Clusterbildung von Pixeln im Farb- und Merkmalsraum, graphenbasierte Methoden wie normalisierte Schnitte, Energie-Minimierungs- und aktive Konturformulierungen sowie moderne semantische und Instanzsegmentierung, die jedes Pixel mit einer Objektklasse kennzeichnen.

Core questions

• Wie werden Pixel zu kohärenten Regionen gruppiert?
• Welches Kriterium unterscheidet eine gute von einer schlechten Segmentierung?
• Wie kann die globale Regionsstruktur optimiert werden, anstatt pixelweise entschieden zu werden?
• Wie wird die Segmentierung erweitert, um Pixel mit Objektkategorien zu kennzeichnen?

Key concepts

• Schwellenwertverfahren und Regionenwachstum
• Clusterbildung im Merkmalsraum
• Normalisierte Schnitte
• Energieminimierung und Graph-Schnitte
• Aktive Konturen
• Semantische und Instanzsegmentierung

Key theories

Graphenbasierte Segmentierung

Indem Pixel als Graphknoten mit nach Ähnlichkeit gewichteten Kanten behandelt werden, unterteilt das Kriterium des normalisierten Schnitts das Bild, um die Kohärenz innerhalb der Regionen relativ zur Unähnlichkeit zwischen den Regionen zu maximieren, was zu global ausgewogenen Segmentierungen führt.

Energieminimierung zur Kennzeichnung

Die Segmentierung kann als Minimierung einer Energie formuliert werden, die die Zuweisung von Pixeln zu passenden Regionen belohnt, während sie Labeländerungen zwischen ähnlichen Nachbarn bestraft, was effizient durch Graph-Schnitte und verwandte Optimierungsverfahren lösbar ist.

Clinical relevance

Die Segmentierung ist zentral für die medizinische Bildanalyse, wie die Abgrenzung von Organen und Tumoren, für das Szenenverständnis beim autonomen Fahren, für die Fernerkundungskartierung der Landbedeckung sowie für die Bildbearbeitung und Objektextraktion.

History

Frühe Segmentierungen basierten auf Schwellenwertverfahren und Regionenverschmelzung; graphenbasierte Methoden wie normalisierte Schnitte im Jahr 2000 und Energie-Minimierungsansätze förderten das Feld, und tiefe Faltungsnetzwerke erreichten später eine dichte semantische und Instanzsegmentierung.

Key figures

• Jianbo Shi
• Jitendra Malik

Seminal works

• shi2000
• szeliski2022

Frequently asked questions

Was ist der Unterschied zwischen semantischer und Instanzsegmentierung?

Die semantische Segmentierung kennzeichnet jedes Pixel mit einer Klasse wie Straße oder Person, trennt aber keine Individuen, während die Instanzsegmentierung zusätzlich jedes einzelne Objekt unterscheidet, sodass zwei Personen unterschiedliche Labels erhalten.

Warum gilt Segmentierung als schwierig?

Was als eine Region zählt, hängt von der Aufgabe ab und ist oft mehrdeutig, und natürliche Bilder weisen Textur, Schattierung und Verdeckung auf, die die Grenzen zwischen Objekten verwischen, sodass es selten eine einzige korrekte Antwort gibt.