Visuelle Salienz und Aufmerksamkeit

Visuelle Salienz und Aufmerksamkeit befassen sich damit, wohin Menschen in einem Bild am ehesten schauen, und Computermodelle prognostizieren dies, um Grafik, Bildverarbeitung und Interface-Design zu steuern.

Definition

Visuelle Salienz ist die Eigenschaft, die bestimmte Bildbereiche hervorstechen lässt und den Blick anzieht, und Salienzmodellierung ist die computergestützte Vorhersage, wohin Aufmerksamkeit und Fixationen gerichtet sein werden.

Scope

Dieses Thema umfasst die Bottom-up-Salienz, die durch Kontrast in Merkmalen wie Intensität, Farbe und Orientierung bestimmt wird, die Top-down-Aufmerksamkeit, die durch Aufgaben und Ziele geleitet wird, die Vorhersage menschlicher Blickbewegungen und Fixationen sowie Anwendungen, die Rendering, Kompression und Design auf die beachteten Regionen ausrichten.

Core questions

• Was lässt einen Bereich eines Bildes Aufmerksamkeit erregen?
• Wie werden Bottom-up- und Top-down-Einflüsse auf die Aufmerksamkeit kombiniert?
• Wie genau kann der menschliche Blick aus einem Bild vorhergesagt werden?
• Wie kann Salienz Grafik- und Bildverarbeitungssysteme leiten?

Key concepts

• Salienzkarten
• Zentrum-Umfeld-Kontrast
• Merkmalsintegration
• Bottom-up- und Top-down-Aufmerksamkeit
• Fixations- und Blickvorhersage
• Aufmerksamkeits-Benchmarks

Key theories

Merkmalsintegrations-Salienzmodell

Salienz wird berechnet, indem Merkmalskarten für Intensität, Farbe und Orientierung extrahiert, der lokale Zentrum-Umfeld-Kontrast in jeder Karte erkannt und diese zu einer Masterkarte kombiniert werden, deren Spitzen vorhersagen, wohin die Aufmerksamkeit gelenkt wird.

Bottom-up- versus Top-down-Aufmerksamkeit

Aufmerksamkeit wird sowohl durch stimulusgesteuerte Salienz als auch durch aufgabenbezogene Ziele gesteuert, und Computermodelle integrieren zunehmend beides, eine Unterscheidung, die für die Bewertung und Verbesserung der Blickvorhersage zentral ist.

Clinical relevance

Salienzmodelle leiten wahrnehmungsgesteuertes Rendering und Kompression, die den Aufwand auf beachtete Regionen verteilen, informieren das Design von Benutzeroberflächen und Werbung, unterstützen die automatische Bildzuschnitt und -neuausrichtung und tragen zur Robotik und assistiven Bildverarbeitung bei.

History

Basierend auf psychologischen Aufmerksamkeitstheorien lieferte das Itti-Koch-Niebur-Modell von 1998 eine einflussreiche computergestützte Darstellung der Bottom-up-Salienz; Benchmarks und Übersichtsstudien konsolidierten das Feld, und tiefe neuronale Netze verbesserten später die Blickvorhersage erheblich.

Key figures

• Laurent Itti
• Christof Koch
• Ali Borji

Seminal works

• itti1998
• borji2013

Frequently asked questions

Was ist eine Salienzkarte?

Es ist eine bildgroße Karte, die bewertet, wie wahrscheinlich jeder Ort den Blick eines Betrachters anzieht, wobei helle Punkte die Regionen markieren, die voraussichtlich am stärksten hervorstechen.

Warum ist die Vorhersage von Aufmerksamkeit nützlich?

Das Wissen, wohin Menschen schauen, ermöglicht es Systemen, Rendering-Qualität, Kompressionsbits oder Designschwerpunkte auf die für den Betrachter wichtigsten Regionen zu konzentrieren und so Aufwand zu sparen, wo die Aufmerksamkeit unwahrscheinlich ist.