Визуальная заметность и внимание

Визуальная заметность и внимание касаются того, на какие области изображения люди с наибольшей вероятностью обратят внимание, а вычислительные модели предсказывают это для руководства в графике, компьютерном зрении и дизайне интерфейсов.

Definition

Визуальная заметность — это свойство, благодаря которому некоторые области изображения выделяются и привлекают взгляд, а моделирование заметности — это вычислительное предсказание того, куда будет направлено внимание и фиксации.

Scope

Эта тема охватывает восходящую заметность, обусловленную контрастом таких признаков, как интенсивность, цвет и ориентация, нисходящее внимание, направляемое задачами и целями, предсказание человеческого взгляда и фиксаций, а также приложения, которые направляют рендеринг, сжатие и дизайн на области, привлекающие внимание.

Core questions

• Что заставляет область изображения привлекать внимание?
• Как сочетаются восходящие и нисходящие влияния на внимание?
• Насколько точно можно предсказать человеческий взгляд по изображению?
• Как заметность может направлять графические системы и системы компьютерного зрения?

Key concepts

• Карты заметности
• Контраст центр-окружение
• Интеграция признаков
• Восходящее и нисходящее внимание
• Предсказание фиксации и взгляда
• Бенчмарки внимания

Key theories

Модель заметности на основе интеграции признаков

Заметность вычисляется путем извлечения карт признаков для интенсивности, цвета и ориентации, обнаружения локального контраста центр-окружение в каждой из них и объединения их в общую карту, пики которой предсказывают, куда будет направлено внимание.

Восходящее против нисходящего внимания

Внимание направляется как заметностью, обусловленной стимулами, так и целями, обусловленными задачами, и вычислительные модели все чаще интегрируют оба этих аспекта, что является центральным отличием для оценки и улучшения предсказания взгляда.

Clinical relevance

Модели заметности направляют перцептивно-ориентированный рендеринг и сжатие, которые распределяют усилия на области, привлекающие внимание, информируют дизайн пользовательских интерфейсов и рекламы, поддерживают автоматическую обрезку и ретаргетинг изображений, а также вносят вклад в робототехнику и вспомогательное зрение.

History

Основанная на психологических теориях внимания, модель Итти-Коха-Нибура 1998 года представила влиятельное вычислительное описание восходящей заметности; бенчмарки и обзоры консолидировали эту область, а глубокие сети впоследствии значительно улучшили предсказание взгляда.

Key figures

• Laurent Itti
• Christof Koch
• Ali Borji

Seminal works

• itti1998
• borji2013

Frequently asked questions

Что такое карта заметности?

Это карта размером с изображение, которая оценивает вероятность того, что каждое местоположение привлечет взгляд зрителя, при этом яркие пятна отмечают области, которые, как предполагается, будут выделяться больше всего.

Почему предсказание внимания полезно?

Знание того, куда смотрят люди, позволяет системам концентрировать качество рендеринга, биты сжатия или акцент дизайна на областях, наиболее важных для зрителей, экономя усилия там, где внимание вряд ли будет направлено.