시각적 현저성 및 주의

시각적 현저성 및 주의는 사람들이 이미지의 어느 부분을 가장 많이 보게 될지에 대한 것으로, 계산 모델은 그래픽, 비전 및 인터페이스 설계를 안내하기 위해 이를 예측합니다.

Definition

시각적 현저성(visual saliency)은 일부 이미지 영역이 두드러져 시선을 끄는 특성이며, 현저성 모델링(saliency modeling)은 주의와 주시점이 어디에 위치할지 계산적으로 예측하는 것입니다.

Scope

이 주제는 강도, 색상 및 방향과 같은 특징의 대비에 의해 유도되는 상향식 현저성(bottom-up saliency), 작업 및 목표에 의해 안내되는 하향식 주의(top-down attention), 인간의 시선 및 주시점 예측, 그리고 렌더링, 압축 및 디자인을 주의 영역으로 유도하는 응용 프로그램을 다룹니다.

Core questions

• 이미지의 어떤 영역이 주의를 끄는가?
• 주의에 대한 상향식 및 하향식 영향은 어떻게 결합되는가?
• 이미지로부터 인간의 시선을 얼마나 정확하게 예측할 수 있는가?
• 현저성은 그래픽 및 비전 시스템을 어떻게 안내할 수 있는가?

Key concepts

• 현저성 지도(Saliency maps)
• 중심-주변 대비(Center-surround contrast)
• 특징 통합(Feature integration)
• 상향식 및 하향식 주의(Bottom-up and top-down attention)
• 주시점 및 시선 예측(Fixation and gaze prediction)
• 주의 벤치마크(Attention benchmarks)

Key theories

특징 통합 현저성 모델(Feature-integration saliency model)

현저성은 강도, 색상 및 방향에 대한 특징 지도를 추출하고, 각 지도에서 국부적인 중심-주변 대비를 감지하며, 이를 통합하여 주의가 끌리는 곳을 예측하는 마스터 지도를 생성함으로써 계산됩니다.

상향식 대 하향식 주의(Bottom-up versus top-down attention)

주의는 자극에 의해 유도되는 현저성(stimulus-driven salience)과 작업에 의해 유도되는 목표(task-driven goals) 모두에 의해 조절되며, 계산 모델은 이 둘을 점점 더 통합하고 있습니다. 이는 시선 예측을 평가하고 개선하는 데 중요한 구분점입니다.

Clinical relevance

현저성 모델은 주의 영역에 노력을 할당하는 지각 기반 렌더링 및 압축을 안내하고, 사용자 인터페이스 및 광고 디자인에 정보를 제공하며, 자동 이미지 자르기 및 리타겟팅을 지원하고, 로봇 공학 및 보조 시각(assistive vision)에 기여합니다.

History

주의에 대한 심리학적 이론에 기반을 둔 1998년 Itti-Koch-Niebur 모델은 상향식 현저성에 대한 영향력 있는 계산적 설명을 제공했습니다. 벤치마크와 조사는 이 분야를 통합했으며, 이후 딥 네트워크는 시선 예측을 상당히 개선했습니다.

Key figures

• Laurent Itti
• Christof Koch
• Ali Borji

Seminal works

• itti1998
• borji2013

Frequently asked questions

현저성 지도(saliency map)란 무엇인가요?

이는 각 위치가 시청자의 시선을 끌 가능성을 점수화한 이미지 크기의 지도로, 밝은 점은 가장 두드러질 것으로 예측되는 영역을 나타냅니다.

주의를 예측하는 것이 왜 유용한가요?

사람들이 어디를 보는지 알면 시스템은 렌더링 품질, 압축 비트 또는 디자인 강조를 시청자에게 가장 중요한 영역에 집중할 수 있어, 주의가 끌릴 가능성이 낮은 영역에서는 노력을 절약할 수 있습니다.