Morfología Computacional

Modelado de la estructura interna de las palabras mediante máquinas — análisis, generación, derivación (stemming), lematización y segmentación de subpalabras — desde la morfología de estados finitos hasta la codificación de pares de bytes utilizada por los sistemas neuronales modernos.

Definition

La morfología computacional es el análisis algorítmico y la generación de formas de palabras en términos de sus morfemas constituyentes y características morfológicas.

Scope

Cubre el tratamiento computacional de la estructura de las palabras: análisis y generación morfológica con transductores de estados finitos, morfología de dos niveles, derivación (stemming) y lematización, y segmentación de subpalabras basada en datos, como la codificación de pares de bytes. Aborda la inflexión, la derivación y la composición en lenguas tipológicamente diversas. La maquinaria subyacente de estados finitos se detalla en el área de fundamentos.

Core questions

• ¿Cómo se modelan las alternancias morfológicas con transductores de estados finitos?
• ¿Cuál es la diferencia entre derivación (stemming) y lematización?
• ¿Cómo maneja la segmentación de subpalabras las palabras raras e inéditas en los modelos neuronales?
• ¿Por qué la morfología es más difícil para las lenguas aglutinantes y templáticas?

Key concepts

• morfema
• inflexión y derivación
• morfología de dos niveles
• transductor de estados finitos
• derivación (stemming)
• lematización
• codificación de pares de bytes
• aglutinación

Key theories

Morfología de dos niveles

El modelo de Koskenniemi que relaciona las formas de palabras superficiales y léxicas a través de reglas paralelas de estados finitos, lo que permite que una sola gramática analice y genere formas.

Segmentación de subpalabras basada en datos

Aprendizaje de un vocabulario de secuencias de caracteres frecuentes, como en la codificación de pares de bytes, para que los modelos neuronales puedan representar cualquier palabra como una secuencia de unidades de subpalabras.

History

La morfología de dos niveles de Koskenniemi de 1983 estableció los métodos de estados finitos como el estándar para el procesamiento morfológico, consolidado en el manual de Beesley y Karttunen. A medida que surgieron los modelos neuronales, los analizadores morfológicos construidos manualmente se complementaron con la segmentación de subpalabras aprendida, como la codificación de pares de bytes, que elude la morfología explícita al tiempo que maneja palabras raras.

Debates

Morfología explícita versus unidades de subpalabras

Si los sistemas neuronales necesitan un análisis morfológico lingüísticamente informado o si la segmentación estadística de subpalabras es suficiente; la respuesta parece depender del tipo de idioma y la escala de los datos.

Key figures

• Kimmo Koskenniemi
• Lauri Karttunen
• Kenneth Beesley
• Rico Sennrich

Seminal works

• koskenniemi1983
• beesley2003
• sennrich2016

Frequently asked questions

¿Cuál es la diferencia entre derivación (stemming) y lematización?

La derivación (stemming) corta toscamente los afijos a una raíz común (por ejemplo, 'studies' a 'studi'), mientras que la lematización mapea una palabra a su forma de diccionario utilizando el conocimiento morfológico (por ejemplo, 'studies' a 'study').