品詞タグ付けと系列ラベリング

隠れマルコフモデルや条件付き確率場などの確率的系列モデルを用いて、文中の各トークンにその品詞、固有表現タイプ、チャンクタグなどのラベルを割り当てること。

Definition

系列ラベリングとは、入力系列の各要素にカテゴリカルなラベルを割り当てるタスクであり、品詞タグ付けがその典型的な例です。

Scope

品詞タグ付け、固有表現認識、チャンキングなど、浅い解析の中心となる系列ラベリングタスクを対象としています。隠れマルコフモデル、最大エントロピーマルコフモデル、条件付き確率場、ニューラル系列タガーなどの標準的なモデルと、Penn TreebankやUniversal POSなどのタグセットが含まれます。完全な構文解析は関連トピックで扱われます。

Core questions

• 隠れマルコフモデルはどのようにして最も可能性の高いタグ系列を割り当てるのでしょうか？
• 条件付き確率場が局所的に正規化されたモデルよりも優れているのはなぜですか？
• タグセットはどのように設計され、言語間で標準化されているのでしょうか？
• 系列ラベリングは、下流の構文解析や情報抽出をどのようにサポートするのでしょうか？

Key concepts

• 品詞タグ
• 隠れマルコフモデル
• ビタビアルゴリズム
• 条件付き確率場
• 固有表現認識
• チャンキング
• タグセット
• BIOエンコーディング

Key theories

隠れマルコフモデルによるタグ付け

タグ系列を観測された単語を出力するマルコフ連鎖としてモデル化し、ビタビアルゴリズムによって最も確率の高いタグ系列を効率的に復元する。

条件付き確率場

系列ラベリングのための大域的に正規化された識別モデルであり、入力全体を条件とし、局所的に正規化されたモデルのラベルバイアスを回避する。

History

品詞タグ付けは、Penn Treebank (1993) が大規模なアノテーション付きデータを提供したことで、統計的自然言語処理の初期の成功例となりました。隠れマルコフモデルのタガーは、2001年頃に識別的な最大エントロピーモデルや条件付き確率場モデルに取って代わられ、これらは2010年代にはニューラル系列ラベラーに吸収されていきました。

Debates

生成モデルと識別系列モデル

単語とタグの同時分布をモデル化するか（HMMs）、それとも入力に直接ラベルを条件付けるか（CRFs）という問題。豊富な特徴が利用可能な場合、識別モデルは一般的に精度で優位に立つ傾向があります。

Key figures

• Mitchell Marcus
• John Lafferty
• Andrew McCallum
• Fernando Pereira

Seminal works

• marcus1993
• lafferty2001

Frequently asked questions

品詞タグ付けが自明ではないのはなぜですか？

多くの単語は曖昧であり、「book」は名詞にも動詞にもなり得るため、正しいタグは文脈に依存します。系列モデルは、周囲の単語とタグを同時に考慮することで、この問題を解決します。