Синтаксический анализ зависимостей

Анализ структуры предложения как размеченных отношений «главное слово — зависимое слово» между словами, с использованием алгоритмов, основанных на переходах и на графах, все чаще в соответствии с кросс-лингвистическим стандартом Universal Dependencies.

Definition

Синтаксический анализ зависимостей присваивает предложению ориентированный граф, в котором каждое слово связано со своим синтаксическим центром размеченным грамматическим отношением.

Scope

Охватывает представления синтаксиса зависимостей, синтаксический анализ, основанный на переходах (сдвиг-свертка с оракулом), синтаксический анализ, основанный на графах (максимальное остовное дерево), проективность и схему аннотации Universal Dependencies, которая обеспечивает согласованные кросс-лингвистические корпусы деревьев. Рассматривается оценка по показателю присоединения (attachment score). Синтаксический анализ составляющих и более широкие формализмы рассматриваются в смежных темах.

Core questions

• Как парсеры, основанные на переходах, инкрементально строят дерево зависимостей?
• Как синтаксический анализ, основанный на графах, находит оптимальное дерево как максимальное остовное дерево?
• Что такое проективность и почему она усложняет синтаксический анализ?
• Как Universal Dependencies делает аннотации сопоставимыми между языками?

Key concepts

• отношение зависимости
• главное и зависимое слово
• синтаксический анализ, основанный на переходах
• синтаксический анализ, основанный на графах
• проективность
• максимальное остовное дерево
• Universal Dependencies
• показатель присоединения

Key theories

Синтаксический анализ зависимостей, основанный на переходах

Построение дерева зависимостей путем последовательности операций сдвига и свертки, выбранных обученным классификатором, что обеспечивает синтаксический анализ за линейное время.

Universal Dependencies

Кросс-лингвистически согласованный набор отношений зависимостей и правил аннотации, который позволяет сравнивать и переносить корпусы деревьев и парсеры между языками.

History

Грамматика зависимостей восходит к работе Тесньера середины 20-го века, но ее вычислительная форма сформировалась в 2000-х годах с появлением парсеров, основанных на переходах, Нивре и парсеров, основанных на графах, Макдональда. Проект Universal Dependencies, запущенный в середине 2010-х годов, унифицировал аннотации для более чем ста языков.

Debates

Синтаксический анализ, основанный на переходах, против синтаксического анализа, основанного на графах

Парсеры, основанные на переходах, быстры, но могут совершать локальные ошибки, в то время как парсеры, основанные на графах, оптимизируют глобально с более высокими затратами; нейронные методы сузили, но не устранили этот компромисс.

Key figures

• Joakim Nivre
• Ryan McDonald
• Marie-Catherine de Marneffe
• Lucien Tesnière

Seminal works

• nivre2008
• demarneffe2021
• kubler2009

Frequently asked questions

Что означает проективность?

Дерево зависимостей является проективным, когда его дуги могут быть нарисованы над предложением без пересечений. Непроективные структуры, распространенные в языках со свободным порядком слов, требуют алгоритмов синтаксического анализа, которые допускают пересекающиеся зависимости.