句法分析与语法形式化

通过机器恢复句子的语法结构：描述合法结构的语法形式化以及计算这些结构的算法，从成分句法树到依存图。

Definition

句法分析是根据语法对输入字符串进行计算性语法结构分配；语法形式化是用于指定哪些结构合法的系统。

Scope

涵盖计算语言学中的句法分析——上下文无关成分句法分析及其概率和图表算法、依存句法分析、超越普通上下文无关语法的主要语法形式化，以及为句法分析提供输入的序列标注任务（如词性标注）。它不包括语义解释（这在计算语义学中处理）和底层的自动机理论（这在基础理论中涵盖）。

Sub-topics

• 成分句法与上下文无关分析
• 依存句法分析
• 语法形式体系
• 词性标注与序列标注

Core questions

• 如何高效地为句子分配句法树或依存图？
• 哪些语法形式化能充分捕捉自然语言的句法？
• 概率如何帮助消除许多可能分析中的歧义？
• 标注和分块如何支持完整的句法分析？

Key concepts

• 成分句法分析
• 依存句法分析
• 上下文无关语法
• 图表句法分析
• 概率语法
• 词性标注
• 树库
• 结构歧义

Key theories

图表句法分析

CKY和Earley等动态规划算法，通过重用共享的子分析，在多项式时间内计算句子所有可能的分析。

概率上下文无关语法

为语法规则附加概率，以便选择最可能的分析，从而解决自然语言普遍存在的结构歧义问题。

History

早期的句法分析依赖于手工构建的语法和穷举搜索；CKY和Earley算法使上下文无关句法分析变得高效。20世纪90年代语料库的发布使得数据驱动的概率句法分析成为可能，21世纪以来，依存句法分析因其跨语言的鲁棒性而日益受到重视，后来被神经网络句法分析器所取代。

Debates

成分表示与依存表示

句法是最好表示为嵌套短语还是标记化的主从关系；两者都被广泛使用，其中依存句法分析因其在自由词序语言和下游任务中的优势而更受青睐。

Key figures

• Jay Earley
• Joakim Nivre
• Christopher Manning
• Mitchell Marcus

Seminal works

• manning1999
• kubler2009
• jurafsky2025

Frequently asked questions

如果语法规则已知，为什么句法分析仍然很困难？

自然语言句子具有极大的歧义性：一个单一的字符串可以有许多合法的结构。因此，句法分析不仅要找到结构，还要对其进行排序，这就是为什么概率模型和学习模型至关重要。