Análisis sintáctico

El análisis sintáctico es la tarea de recuperar la estructura gramatical de una oración, asignándole un árbol de constituyentes o una estructura de dependencia que muestra cómo las palabras se combinan y se relacionan.

Definition

El análisis sintáctico mapea una oración a una representación de su estructura gramatical —típicamente un árbol de constituyentes (estructura de frase) o un grafo de dependencias— de acuerdo con una gramática o un modelo aprendido a partir de datos anotados.

Scope

Este tema cubre el análisis de la estructura de las oraciones: gramáticas libres de contexto y más ricas, análisis de constituyentes (árboles de estructura de frase) y análisis de dependencias (relaciones cabeza-dependiente), algoritmos clásicos de análisis de gráficos como CKY y Earley, y análisis probabilístico y basado en datos entrenado en "treebanks". Aborda cómo se representa y resuelve la ambigüedad sintáctica. El uso posterior de la estructura sintáctica para calcular el significado se cubre en semántica computacional.

Core questions

• ¿Cómo se representa la estructura gramatical de una oración, como constituyentes o como dependencias?
• ¿Cómo exploran eficientemente los algoritmos de análisis de gráficos las muchas posibles análisis de una oración?
• ¿Cómo se maneja la ambigüedad sintáctica y cómo eligen los modelos probabilísticos entre los análisis?
• ¿Cómo se entrenan y evalúan los analizadores utilizando corpus anotados ("treebanks")?

Key concepts

• árboles de constituyentes (estructura de frase)
• estructuras de dependencia
• gramática libre de contexto
• análisis CKY y Earley
• gramática probabilística libre de contexto
• ambigüedad sintáctica
• treebanks
• etiquetas de parte de la oración

Key theories

Gramáticas libres de contexto y análisis de gráficos

Las gramáticas libres de contexto modelan la estructura de las frases, y los analizadores de gráficos de programación dinámica, como los algoritmos CKY y Earley, recuperan todos los análisis válidos en tiempo polinómico al reutilizar los análisis de subsegmentos.

Análisis probabilístico

La asignación de probabilidades a las reglas gramaticales (como en las gramáticas probabilísticas libres de contexto) permite que un analizador clasifique los análisis en competencia y seleccione la estructura más probable, abordando la ambigüedad generalizada de la sintaxis del lenguaje natural.

Treebanks y análisis basado en datos

Grandes corpus anotados como el Penn Treebank proporcionaron los datos de entrenamiento y evaluación que convirtieron el análisis en una tarea basada en datos, lo que permitió el desarrollo de analizadores estadísticos y, posteriormente, neuronales aprendidos a partir de estructuras anotadas por humanos.

Clinical relevance

El análisis sintáctico apoya la verificación gramatical, la extracción de información, la respuesta a preguntas y la traducción automática, al exponer cómo se agrupan y relacionan las palabras; la estructura de dependencia, en particular, se utiliza ampliamente como entrada para sistemas semánticos y de extracción posteriores.

History

El análisis se basó en las gramáticas formales de Chomsky; los algoritmos CKY (década de 1960) y Earley (1970) proporcionaron un análisis eficiente libre de contexto. El Penn Treebank (1993) catalizó el análisis estadístico, y los analizadores probabilísticos y, posteriormente, neuronales mejoraron progresivamente la precisión y la robustez en textos reales.

Key figures

• Noam Chomsky
• Tadao Kasami
• Jay Earley
• Mitchell P. Marcus
• Christopher D. Manning

Seminal works

• marcus1993
• jurafsky2023

Frequently asked questions

¿Cuál es la diferencia entre el análisis de constituyentes y el análisis de dependencias?

El análisis de constituyentes agrupa palabras en frases anidadas (como frases nominales y frases verbales), produciendo un árbol de constituyentes. El análisis de dependencias, en cambio, vincula cada palabra con la palabra de la que depende (su "cabeza"), produciendo un grafo de relaciones gramaticales. Ambos capturan la estructura sintáctica, pero enfatizan diferentes aspectos.

¿Por qué el análisis es difícil a pesar de que las gramáticas están bien definidas?

Las oraciones del lenguaje natural son altamente ambiguas: una sola oración puede tener muchas estructuras gramaticalmente válidas, y el número puede crecer rápidamente con la longitud de la oración. Elegir el análisis deseado requiere preferencias estadísticas o aprendidas, no solo una gramática, lo que hace que el análisis sea un desafío.