Clasificación de Textos y Análisis de Sentimientos

Asignación de categorías a textos —temas, idiomas, spam o sentimientos— utilizando clasificadores probabilísticos y neuronales, la familia de técnicas de PNL más ampliamente desplegada.

Definition

La clasificación de textos es la asignación supervisada de una o más etiquetas de categoría predefinidas a un fragmento de texto, siendo el análisis de sentimientos una aplicación principal.

Scope

Cubre la clasificación supervisada de documentos y textos más cortos: representaciones de características como la bolsa de palabras y los embeddings, modelos clásicos como el naive Bayes y la regresión logística, clasificadores neuronales y la aplicación prominente del análisis de sentimientos y opiniones. Aborda la evaluación, el desequilibrio de clases y el diseño de características. El aprendizaje de representaciones en sí mismo se cubre en un tema relacionado.

Core questions

• ¿Cómo se representa el texto como características para un clasificador?
• ¿Cuándo son apropiados los modelos naive Bayes, de regresión logística o neuronales?
• ¿Cómo aborda el análisis de sentimientos la negación, el sarcasmo y el contexto?
• ¿Cómo se mide de manera justa el rendimiento del clasificador bajo desequilibrio de clases?

Key concepts

• bolsa de palabras
• naive Bayes
• regresión logística
• ingeniería de características
• análisis de sentimientos
• detección de subjetividad
• desequilibrio de clases
• precisión y recuperación

Key theories

Clasificación de bolsa de palabras

Representar un documento como el recuento de sus palabras y clasificarlo con modelos como naive Bayes o regresión logística, una línea base simple pero sólida.

Análisis de sentimientos consciente de la subjetividad

Mejorar la clasificación de sentimientos separando primero el contenido subjetivo del objetivo, como en el enfoque de corte mínimo de Pang y Lee.

History

La clasificación de textos fue una de las primeras tareas de PNL en volverse completamente estadística, con el naive Bayes y, posteriormente, las máquinas de vectores de soporte dominando en las décadas de 1990 y 2000. El análisis de sentimientos, popularizado por Pang y Lee a principios de la década de 2000, se convirtió en un subcampo importante; los clasificadores neuronales y los modelos preentrenados aumentaron posteriormente la precisión en todos los ámbitos.

Debates

Características simples versus representaciones profundas

Las sólidas líneas base de bolsa de palabras a menudo rivalizan con los modelos neuronales en tareas cortas y temáticas, lo que provoca un debate sobre cuándo se justifica la complejidad adicional de las representaciones profundas.

Key figures

• Bo Pang
• Lillian Lee
• Christopher Manning

Seminal works

• pang2004
• manning1999

Frequently asked questions

¿Por qué el análisis de sentimientos es más difícil que la clasificación de temas?

El sentimiento depende de señales sutiles como la negación, la comparación y el sarcasmo, y las mismas palabras pueden expresar polaridades opuestas en diferentes contextos, por lo que los recuentos de palabras superficiales por sí solos a menudo son insuficientes.