構文解析と文法形式

機械による文の文法構造の復元：合法的な構造を記述する文法形式と、構成木から依存関係グラフまで、それらを計算するアルゴリズム。

Definition

構文解析とは、文法に従って入力文字列に文法構造を計算的に割り当てることであり、文法形式とは、どの構造が合法であるかを指定するために使用されるシステムである。

Scope

計算言語学における統語解析を対象とする。具体的には、文脈自由構成解析とその確率的およびチャートベースのアルゴリズム、依存関係解析、単純な文脈自由文法を超える主要な文法形式、および構文解析に先行する系列ラベリングタスク（品詞タグ付けなど）を含む。意味解釈（計算意味論で扱われる）と、基礎となるオートマトン理論（基礎論で扱われる）は含まない。

Sub-topics

• Constituency and Context-Free Parsing
• Dependency Parsing
• Grammar Formalisms
• Part-of-Speech Tagging and Sequence Labeling

Core questions

• 文に統語木または依存関係グラフを効率的に割り当てるにはどうすればよいか？
• どのような文法形式が自然言語の統語を適切に捉えるか？
• 多くの可能な解析の中から、確率が曖昧さを解消するのにどのように役立つか？
• タグ付けとチャンキングは、完全な構文解析をどのようにサポートするか？

Key concepts

• 構成解析
• 依存関係解析
• 文脈自由文法
• チャート構文解析
• 確率文法
• 品詞タグ付け
• ツリーバンク
• 構造的曖昧性

Key theories

チャート構文解析

CKYやEarleyなどの動的計画法アルゴリズムで、共有される部分解析を再利用することで、多項式時間で文の可能なすべての解析を計算する。

確率的文脈自由文法

文法規則に確率を付与することで、最も可能性の高い解析を選択できるようにし、自然言語に広く存在する構造的曖昧性に対処する。

History

初期の構文解析は、手作業で構築された文法と網羅的探索に依存していたが、CKYおよびEarleyアルゴリズムによって文脈自由構文解析が効率化された。1990年代のツリーバンクの公開によりデータ駆動型確率的構文解析が可能になり、2000年代には、その言語横断的な堅牢性から依存関係解析が注目を集め、後にニューラルパーサーに取って代わられた。

Debates

構成表現と依存関係表現

統語が入れ子になった句として、またはラベル付けされた主従関係として最もよく表現されるか。どちらも広く使用されており、自由語順言語や下流タスクでは依存関係が好まれる傾向にある。

Key figures

• Jay Earley
• Joakim Nivre
• Christopher Manning
• Mitchell Marcus

Seminal works

• manning1999
• kubler2009
• jurafsky2025

Frequently asked questions

文法規則が既知であるにもかかわらず、構文解析が難しいのはなぜか？

自然文は非常に曖昧であり、単一の文字列が多くの合法的な構造を持つ可能性がある。したがって、構文解析は構造を見つけるだけでなく、それらをランク付けする必要があり、これが確率的モデルや学習モデルが不可欠である理由である。