構文解析

構文解析とは、文の文法構造を回復し、単語がどのように結合し関連するかを示す構成木または依存構造を割り当てるタスクです。

Definition

構文解析は、文をその文法構造の表現にマッピングするものです。これは通常、文法またはアノテーション付きデータから学習されたモデルに従って、構成素（句構造）木または依存関係グラフとして表現されます。

Scope

このトピックでは、文構造の分析について扱います。具体的には、文脈自由文法およびより豊かな文法、構成素解析（句構造木）と依存関係解析（主従関係）、CKYやEarleyなどの古典的なチャート解析アルゴリズム、ツリーバンクで学習された確率的およびデータ駆動型解析などです。また、構文的曖昧さがどのように表現され、解決されるかについても論じます。構文構造を下流で意味計算に利用することについては、計算意味論の項目で扱います。

Core questions

• 文の文法構造は、構成素として、あるいは依存関係として、どのように表現されるのでしょうか？
• チャート解析アルゴリズムは、文の多くの可能な分析をどのように効率的に探索するのでしょうか？
• 構文的曖昧さはどのように処理され、確率モデルは解析の中からどのように選択するのでしょうか？
• アノテーション付きコーパス（ツリーバンク）を使用して、パーサーはどのように訓練され、評価されるのでしょうか？

Key concepts

• 構成素（句構造）木
• 依存構造
• 文脈自由文法
• CKYおよびEarley解析
• 確率的文脈自由文法
• 構文的曖昧さ
• ツリーバンク
• 品詞タグ

Key theories

文脈自由文法とチャート解析

文脈自由文法は句構造をモデル化し、CKYやEarleyアルゴリズムなどの動的計画法チャートパーサーは、部分スパンの解析を再利用することで、すべての有効な解析を多項式時間で回復します。

確率的解析

文法規則に確率を割り当てること（確率的文脈自由文法のように）により、パーサーは競合する分析をランク付けし、最も可能性の高い構造を選択することができます。これにより、自然言語構文に遍在する曖昧さに対処します。

ツリーバンクとデータ駆動型解析

ペンツリーバンクのような大規模なアノテーション付きコーパスは、解析をデータ駆動型タスクに変える訓練データと評価データを提供し、人間がアノテーションを付けた構造から学習する統計的および後のニューラルパーサーを可能にしました。

Clinical relevance

構文解析は、単語がどのようにグループ化され、関連するかを明らかにすることで、文法チェック、情報抽出、質問応答、機械翻訳を支援します。特に依存構造は、下流のセマンティックシステムや抽出システムへの入力として広く利用されています。

History

解析はチョムスキーの形式文法に基づいて構築されました。CKY（1960年代）およびEarley（1970年）アルゴリズムは、効率的な文脈自由解析を提供しました。ペンツリーバンク（1993年）は統計的解析を促進し、確率的、そして後にニューラルパーサーが、実際のテキストにおける精度と堅牢性を段階的に向上させました。

Key figures

• Noam Chomsky
• Tadao Kasami
• Jay Earley
• Mitchell P. Marcus
• Christopher D. Manning

Seminal works

• marcus1993
• jurafsky2023

Frequently asked questions

構成素解析と依存関係解析の違いは何ですか？

構成素解析は、単語を入れ子になった句（名詞句や動詞句など）にグループ化し、構成素の木を生成します。一方、依存関係解析は、各単語をそれが依存する単語（そのヘッド）にリンクさせ、文法関係のグラフを生成します。どちらも構文構造を捉えますが、異なる側面に焦点を当てています。

文法が明確に定義されているにもかかわらず、解析が難しいのはなぜですか？

自然言語の文は非常に曖昧です。単一の文が多くの文法的に有効な構造を持つことがあり、その数は文の長さに応じて急速に増加する可能性があります。意図された分析を選択するには、文法だけでなく、統計的または学習された選好が必要であり、それが解析を困難にしています。