품사 태깅 및 순차 레이블링

은닉 마르코프 모델 및 조건부 무작위 필드와 같은 확률적 순차 모델을 사용하여 문장의 각 토큰에 품사, 개체명 유형 또는 청크 태그와 같은 레이블을 할당하는 것입니다.

Definition

순차 레이블링은 입력 순차의 각 요소에 범주형 레이블을 할당하는 작업이며, 품사 태깅이 그 전형적인 예시입니다.

Scope

품사 태깅, 개체명 인식, 청킹 등 얕은 분석의 핵심인 순차 레이블링 작업을 다룹니다. 여기에는 표준 모델인 은닉 마르코프 모델, 최대 엔트로피 마르코프 모델, 조건부 무작위 필드, 신경 순차 태거와 Penn Treebank 및 Universal POS와 같은 태그셋이 포함됩니다. 완전 구문 분석은 관련 주제에서 다룹니다.

Core questions

• 은닉 마르코프 모델은 가장 가능성 높은 태그 순차를 어떻게 할당하는가?
• 조건부 무작위 필드가 국소적으로 정규화된 모델보다 우수한 이유는 무엇인가?
• 태그셋은 어떻게 설계되고 언어 전반에 걸쳐 표준화되는가?
• 순차 레이블링은 다운스트림 구문 분석 및 추출을 어떻게 지원하는가?

Key concepts

• 품사 태그
• 은닉 마르코프 모델
• 비터비 알고리즘
• 조건부 무작위 필드
• 개체명 인식
• 청킹
• 태그셋
• BIO 인코딩

Key theories

은닉 마르코프 모델 태깅

태그 순차를 관찰된 단어를 방출하는 마르코프 연쇄로 모델링하고, 비터비 알고리즘을 통해 가장 확률 높은 태그 순차를 효율적으로 복구합니다.

조건부 무작위 필드

전체 입력에 조건을 부여하고 국소적으로 정규화된 모델의 레이블 편향을 피하는 순차 레이블링을 위한 전역적으로 정규화된 판별 모델입니다.

History

품사 태깅은 Penn Treebank(1993)가 대규모 주석 데이터를 제공하면서 통계적 자연어 처리(NLP)의 초기 성공 사례가 되었습니다. 은닉 마르코프 모델 태거는 2001년경 판별적 최대 엔트로피 및 조건부 무작위 필드 모델로 대체되었고, 이들은 2010년대에 신경 순차 레이블러에 흡수되었습니다.

Debates

생성적 순차 모델 대 판별적 순차 모델

단어와 태그의 결합 분포를 모델링할 것인지(HMM), 아니면 입력에 직접 레이블을 조건화할 것인지(CRF)에 대한 논쟁; 풍부한 특징을 사용할 수 있을 때 판별 모델이 일반적으로 정확도에서 우위를 보입니다.

Key figures

• Mitchell Marcus
• John Lafferty
• Andrew McCallum
• Fernando Pereira

Seminal works

• marcus1993
• lafferty2001

Frequently asked questions

품사 태깅이 사소한 문제가 아닌 이유는 무엇인가?

많은 단어는 모호합니다. 예를 들어 'book'은 명사 또는 동사가 될 수 있으므로 올바른 태그는 문맥에 따라 달라집니다. 순차 모델은 주변 단어와 태그를 함께 고려하여 이를 해결합니다.