보상 및 의사결정

보상 처리 및 가치 기반 의사결정은 뇌가 결과의 가치를 어떻게 나타내고, 행동의 결과로부터 학습하며, 여러 선택지 중에서 어떻게 선택하는지에 관한 것입니다. 중뇌 도파민 뉴런은 예상된 보상과 실제 받은 보상 간의 불일치를 신호화하며, 선조체, 안와전두엽, 복내측 전전두엽 피질을 포함하는 네트워크는 행동을 안내하기 위해 선택의 가치를 계산하고 비교합니다.

Definition

보상 및 의사결정은 뇌가 결과에 가치를 할당하고, 예측 오차를 통해 기대를 업데이트하며, 이러한 가치 표현을 사용하여 경쟁하는 행동 중에서 선택하는 방법을 연구하는 학문입니다.

Scope

이 주제는 인지 신경과학의 참고 자료로서 보상 및 가치 기반 의사결정의 신경과학을 다룹니다. 보상 예측 오차 신호, 뇌의 가치 평가 시스템, 강화 학습 프레임워크, 그리고 이러한 회로가 동기 부여 및 보상 관련 장애에 미치는 관련성을 소개합니다. 이는 메커니즘과 증거를 설명하며 임상 지침이 아닙니다.

Core questions

• 뇌는 다양한 결과와 선택지의 가치를 어떻게 나타내는가?
• 도파민 신호와 강화 학습 메커니즘은 뇌가 보상과 처벌로부터 학습하도록 어떻게 허용하는가?
• 의사결정 과정에서 어떤 영역이 가치를 계산하고, 비교하며, 그에 따라 행동하는가?

Key concepts

• 보상 예측 오차
• 위상성 도파민 신호
• 강화 학습 및 시간차 학습
• 주관적 및 기대 가치
• 안와전두엽 및 복내측 전전두엽 가치 평가
• 선조체 및 행동 가치
• 탐색 대 활용
• 보상 관련 장애

Key theories

도파민의 보상 예측 오차 가설

중뇌 도파민 뉴런의 위상성 활동은 받은 보상과 예상된 보상 간의 차이인 보상 예측 오차를 인코딩하며, 이는 가치 추정치를 업데이트하기 위해 시간차 강화 학습에서 사용되는 종류의 학습 신호를 제공합니다.

가치 기반 의사결정 프레임워크

선택은 선택지 표현, 가치 평가, 행동 선택, 결과 평가, 학습의 단계로 분해되며, 이는 의사결정을 단일 과정으로 취급하기보다는 각 계산 단계에 대해 별개의 신경 시스템을 매핑할 수 있도록 합니다.

Mechanisms

중심 메커니즘은 보상 예측 오차입니다. 중뇌 도파민 뉴런은 결과가 예상보다 좋을 때 발화율을 증가시키고, 예상보다 나쁠 때 발화율을 감소시키는데, 이는 시간차 강화 학습(temporal-difference reinforcement learning)의 학습 신호와 일치하는 패턴입니다(Schultz et al., 1997). 이러한 신호는 목표 영역, 특히 선조체에서 가치 표현을 업데이트하는 것으로 생각되며, 선조체에서는 뉴런 활동이 사용 가능한 행동의 가치를 반영합니다(Samejima et al., 2005). 안와전두엽과 복내측 전전두엽 피질은 상품과 선택지의 가치를 공통된 척도로 나타내어 선택 간의 비교를 가능하게 합니다(Wallis, 2007). 의사결정은 표현, 가치 평가, 선택, 학습이라는 계산 단계의 순서로 분석될 수 있으며, 각 단계는 부분적으로 구별되는 회로에 의해 지원됩니다(Rangel et al., 2008).

Clinical relevance

보상 및 가치 평가 회로는 연구자와 임상의가 동기 부여와 중독, 우울증, 도파민성 질환 및 치료의 영향 등 다양한 상태를 이해하는 방식과 관련이 있으며, 파킨슨병에서 강화 학습의 변화를 통해 나타납니다(Frank et al., 2004). 이 항목은 보상 및 의사결정 메커니즘에 대한 교육적 참고 자료이며, 개인을 진단하거나 치료하기 위한 근거가 아닙니다.

Evidence & guidelines

이 설명은 동물 단일 단위 기록, 인간 신경 영상, 계산 모델링, 도파민성 장애 환자 연구(Schultz et al., 1997; Samejima et al., 2005; Frank et al., 2004)에서 얻은 수렴적 증거에 기반하며, 가치 평가 및 선택에 대한 주요 검토(Rangel et al., 2008; Wallis, 2007)에서 종합되었습니다.

History

1950년대 초기의 전기적 자가 자극 실험은 동물이 얻기 위해 노력하는 뇌 영역을 식별하여 보상 시스템의 개념을 확립했습니다. 1980년대와 1990년대에 걸쳐 Schultz와 동료들이 중뇌 도파민 뉴런을 기록하고, Sutton과 Barto가 개발하고 Montague와 Dayan이 적용한 강화 학습 이론으로 해석하면서 도파민은 쾌락 신호라기보다는 예측 오차 신호로 재해석되었습니다. 이후 신경경제학의 등장은 가치에 대한 경제 이론과 신경과학을 통합하여 뇌가 선택 과정에서 가치를 어떻게 계산하고 비교하는지 연구했습니다.

Debates

도파민은 정확히 무엇을 인코딩하는가?

예측 오차 설명은 영향력이 크지만, 위상성 도파민 신호가 엄밀히 보상 예측 오차만을 나타내는지, 아니면 현저성, 새로움, 동기 부여적 활력도 전달하는지, 그리고 강장성(tonic) 신호와 위상성(phasic) 신호가 기능적으로 어떻게 다른지에 대한 논쟁이 계속되고 있습니다.

Key figures

• Wolfram Schultz
• Peter Dayan
• P. Read Montague
• Antonio Rangel
• Michael Frank

Seminal works

• schultz-1997
• rangel-2008
• wallis-2007

Frequently asked questions

보상 예측 오차란 무엇인가?

이는 결과가 제공하는 보상과 예상했던 보상 간의 차이입니다. 중뇌 도파민 뉴런은 이 차이를 신호화하며, 예상보다 좋은 결과에 대해서는 더 많이 발화하고 예상보다 나쁜 결과에 대해서는 더 적게 발화하여, 미래 기대를 업데이트하는 학습 신호를 제공합니다.

도파민은 뇌의 '쾌락 화학 물질'인가?

이러한 대중적인 설명은 오해의 소지가 있습니다. 많은 증거는 위상성 도파민 신호가 주로 학습 및 보상 예측과 관련이 있으며, 쾌락 경험 자체와는 관련이 적고, 쾌락 경험은 다른 시스템을 포함하는 것으로 보인다는 것을 나타냅니다.