ScholarGate
助手

句法分析

句法分析的任务是恢复句子的语法结构,为其分配一个成分树或依存结构,以显示词语如何组合和关联。

用 PaperMind 寻找选题即将推出Find papers & topics
Tools & resources
下载幻灯片
Learn & explore
视频即将推出

Definition

句法分析根据语法或从标注数据中学习的模型,将句子映射到其语法结构的表示——通常是成分(短语结构)树或依存图。

Scope

本主题涵盖句子结构分析:上下文无关语法和更丰富的语法、成分句法分析(短语结构树)和依存句法分析(中心词-依存词关系)、经典的图表分析算法(如CKY和Earley),以及在树库上训练的概率和数据驱动的句法分析器。它探讨了句法歧义的表示和解决方式。利用句法结构计算意义的下游应用在计算语义学中讨论。

Core questions

  • 句子的语法结构是如何表示的,是作为成分还是作为依存关系?
  • 图表分析算法如何有效地探索句子的许多可能分析?
  • 句法歧义如何处理,概率模型如何从多个分析中进行选择?
  • 句法分析器如何使用标注语料库(树库)进行训练和评估?

Key concepts

  • 成分(短语结构)树
  • 依存结构
  • 上下文无关语法
  • CKY和Earley句法分析
  • 概率上下文无关语法
  • 句法歧义
  • 树库
  • 词性标注

Key theories

上下文无关语法和图表分析
上下文无关语法对短语结构进行建模,而动态规划图表分析器(如CKY和Earley算法)通过重用子跨度的分析,在多项式时间内恢复所有有效的分析。
概率句法分析
为语法规则分配概率(如在概率上下文无关语法中)使得句法分析器能够对相互竞争的分析进行排序,并选择最可能的结构,从而解决自然语言句法中普遍存在的歧义问题。
树库和数据驱动句法分析
大型标注语料库(如宾州树库)提供了训练和评估数据,将句法分析转变为数据驱动的任务,从而实现了从人工标注结构中学习的统计和后来的神经网络句法分析器。

Clinical relevance

句法分析通过揭示词语如何分组和关联,支持语法检查、信息提取、问答和机器翻译;特别是依存结构被广泛用作下游语义和提取系统的输入。

History

句法分析建立在乔姆斯基的形式语法之上;CKY(1960年代)和Earley(1970年)算法提供了高效的上下文无关句法分析。宾州树库(1993年)催生了统计句法分析,概率句法分析器以及后来的神经网络句法分析器逐步提高了在真实文本上的准确性和鲁棒性。

Key figures

  • Noam Chomsky
  • Tadao Kasami
  • Jay Earley
  • Mitchell P. Marcus
  • Christopher D. Manning

Related topics

Seminal works

  • marcus1993
  • jurafsky2023

Frequently asked questions

成分句法分析和依存句法分析有什么区别?
成分句法分析将词语分组为嵌套的短语(如名词短语和动词短语),生成一个成分树。依存句法分析则将每个词与其所依赖的词(其中心词)连接起来,生成一个语法关系图。两者都捕捉句法结构,但侧重点不同。
尽管语法定义明确,为什么句法分析仍然很困难?
自然语言句子具有高度歧义性:一个句子可以有许多语法上有效的结构,并且随着句子长度的增加,数量会迅速增长。选择预期的分析需要统计或学习到的偏好,而不仅仅是语法,这使得句法分析具有挑战性。

Methods for this concept

Related concepts