Saillance visuelle et attention

La saillance visuelle et l'attention s'intéressent aux zones d'une image que les personnes sont le plus susceptibles de regarder, et des modèles computationnels prédisent ces zones pour guider la conception graphique, la vision par ordinateur et la conception d'interfaces.

Definition

La saillance visuelle est la propriété qui fait que certaines régions d'une image se distinguent et attirent le regard, et la modélisation de la saillance est la prédiction computationnelle des endroits où l'attention et les fixations se porteront.

Scope

Ce domaine aborde la saillance ascendante (bottom-up) déterminée par le contraste de caractéristiques telles que l'intensité, la couleur et l'orientation, l'attention descendante (top-down) guidée par des tâches et des objectifs, la prédiction du regard humain et des fixations oculaires, ainsi que les applications qui orientent le rendu, la compression et la conception vers les régions attentives.

Core questions

• Qu'est-ce qui fait qu'une région d'une image attire l'attention ?
• Comment les influences ascendantes (bottom-up) et descendantes (top-down) sur l'attention sont-elles combinées ?
• Avec quelle précision le regard humain peut-il être prédit à partir d'une image ?
• Comment la saillance peut-elle guider les systèmes graphiques et de vision ?

Key concepts

• Cartes de saillance
• Contraste centre-périphérie
• Intégration des caractéristiques
• Attention ascendante (bottom-up) et descendante (top-down)
• Prédiction des fixations et du regard
• Bancs d'essai de l'attention

Key theories

Modèle de saillance par intégration des caractéristiques

La saillance est calculée en extrayant des cartes de caractéristiques pour l'intensité, la couleur et l'orientation, en détectant le contraste local centre-périphérie dans chacune, et en les combinant en une carte maîtresse dont les pics prédisent où l'attention est attirée.

Attention ascendante (bottom-up) versus attention descendante (top-down)

L'attention est dirigée à la fois par la saillance induite par le stimulus et par des objectifs liés à la tâche, et les modèles computationnels intègrent de plus en plus les deux, une distinction centrale pour l'évaluation et l'amélioration de la prédiction du regard.

Clinical relevance

Les modèles de saillance guident le rendu et la compression basés sur la perception qui allouent l'effort aux régions attentives, éclairent la conception d'interfaces utilisateur et de publicités, soutiennent le recadrage et le reciblage automatiques d'images, et contribuent à la robotique et à la vision assistée.

History

Ancré dans les théories psychologiques de l'attention, le modèle Itti-Koch-Niebur de 1998 a fourni une explication computationnelle influente de la saillance ascendante (bottom-up) ; des bancs d'essai et des études ont consolidé le domaine, et les réseaux de neurones profonds ont ensuite considérablement amélioré la prédiction du regard.

Key figures

• Laurent Itti
• Christof Koch
• Ali Borji

Seminal works

• itti1998
• borji2013

Frequently asked questions

Qu'est-ce qu'une carte de saillance ?

C'est une carte de la taille d'une image qui évalue la probabilité que chaque emplacement attire le regard d'un observateur, les points lumineux marquant les régions prédites comme étant les plus saillantes.

Pourquoi la prédiction de l'attention est-elle utile ?

Savoir où les gens regardent permet aux systèmes de concentrer la qualité de rendu, les bits de compression ou l'accent de la conception sur les régions qui importent le plus aux observateurs, économisant ainsi l'effort là où l'attention est peu susceptible de se porter.