통계 및 신경망 자연어 처리

현대 계산 언어학의 데이터 기반 핵심: 통계 분류기와 단어 임베딩부터 트랜스포머 기반 신경망 및 대규모 언어 모델에 이르기까지 텍스트로부터 학습하는 기계 학습 방법.

Definition

통계 및 신경망 자연어 처리는 수작업으로 작성된 규칙보다는 데이터로부터 언어 처리 능력을 추론하는 기계 학습 방법론입니다.

Scope

현대 자연어 처리를 지배하는 학습 기반 방법들을 다룹니다. 지도 텍스트 분류, 분산 단어 표현 및 신경망 언어 모델, 시퀀스-투-시퀀스 및 트랜스포머 아키텍처, 그리고 대표적인 응용 분야인 기계 번역을 포함합니다. 1990년대의 통계 혁명과 2010년대의 신경망 혁명을 연속적인 궤적으로 설명합니다. 언어학적 표현과 응용 분야는 인접 영역에서 다룹니다.

Sub-topics

• Machine Translation
• Neural Language Models and Word Embeddings
• Sequence-to-Sequence Models and Transformers
• Text Classification and Sentiment Analysis

Core questions

• 언어 작업은 어떻게 지도 학습 문제로 구성되는가?
• 분산 표현은 단어와 문장의 의미를 어떻게 포착하는가?
• 트랜스포머 아키텍처가 언어에 그렇게 효과적이었던 이유는 무엇인가?
• 통계적 방법과 신경망 방법이 어떻게 이 분야를 지배하게 되었는가?

Key concepts

• 지도 학습
• 특징 표현
• 단어 임베딩
• 신경망
• 자기 주의
• 트랜스포머
• 전이 학습
• 대규모 언어 모델

Key theories

분포 표현 학습

대규모 코퍼스에서 동시 발생을 통해 학습된 밀집 벡터로 단어와 텍스트를 표현하여, 의미론적 유사성이 기하학적 근접성이 되도록 합니다.

자기 주의 및 트랜스포머

주의(attention)를 통해 시퀀스 내 모든 토큰 간의 관계를 모델링하는 아키텍처로, 고도로 병렬적인 훈련을 가능하게 하며 현대 대규모 언어 모델의 기반이 됩니다.

History

1990년대의 통계 혁명은 수작업으로 구축된 규칙을 코퍼스에서 추정된 확률 모델로 대체했습니다. 2010년대 초의 단어 임베딩과 순환 신경망, 이어서 2017년의 트랜스포머와 대규모 사전 학습 모델은 거의 모든 작업에서 빠른 성능 향상을 가져왔고, 학습된 표현을 중심으로 학문 분야를 재편했습니다.

Debates

신경망 모델은 언어를 이해하는가?

대규모 신경망 모델이 진정한 언어 능력과 의미를 포착하는지 아니면 표면적인 통계적 특성을 이용하는지에 대한 논쟁으로, 해석 가능성 및 평가에 대한 지속적인 연구를 촉진합니다.

Key figures

• Christopher Manning
• Yoshua Bengio
• Ashish Vaswani
• Tomas Mikolov

Seminal works

• manning1999
• vaswani2017
• jurafsky2025

Frequently asked questions

신경망 모델이 등장했으니 통계적 자연어 처리는 이제 구식인가요?

아닙니다. 신경망 자연어 처리는 확률, 추정, 평가와 같은 동일한 통계적 기반 위에 놓여 있으며, 스무딩, 분류, 언어 모델링과 같은 많은 아이디어들이 신경망 환경으로 직접 이어집니다.