Приложения для обработки речи и языка
Прикладная сторона вычислительной лингвистики: преобразование речи в текст и обратно, извлечение структурированной информации из документов и создание систем, которые отвечают на вопросы и ведут диалог.
Definition
Приложения для обработки речи и языка — это конечные пользовательские системы, которые воспринимают, понимают или производят человеческий язык, построенные путем композиции методов вычислительной лингвистики.
Scope
Охватывает основные области применения речевых и языковых технологий — автоматическое распознавание речи, синтез речи, извлечение информации, а также системы ответов на вопросы и диалоговые системы. Эти задачи рассматриваются как интегративные, объединяющие основы данной области, синтаксический анализ, семантику и методы обучения. Компонентные методы рассматриваются в соответствующих разделах.
Sub-topics
Core questions
- Как устная речь преобразуется в текст и обратно?
- Как структурированная информация извлекается из неструктурированных документов?
- Как системы отвечают на вопросы на естественном языке и поддерживают диалог?
- Как оцениваются прикладные системы для использования в реальном мире?
Key concepts
- автоматическое распознавание речи
- синтез речи
- извлечение информации
- распознавание именованных сущностей
- ответы на вопросы
- диалоговая система
- акустическая модель
- оценка
Key theories
- Распознавание речи по зашумленному каналу
- Формулирование распознавания как восстановления наиболее вероятной последовательности слов по акустическому сигналу путем объединения акустической модели и языковой модели.
- Конвейер понимания языка
- Приложения компонуют токенизацию, синтаксический анализ, семантику и извлечение в конвейеры или сквозные модели, которые сопоставляют ввод пользователя с полезными ответами.
History
Распознавание речи стимулировало большую часть ранних статистических методов обработки естественного языка (NLP), при этом общие корпусы, такие как коллекция Wall Street Journal, обеспечивали строгое сравнение. Извлечение информации и ответы на вопросы развивались благодаря оценочным кампаниям в 1990-х и 2000-х годах, а диалоговые системы стали потребительскими продуктами по мере развития нейронных методов и больших языковых моделей.
Debates
- Конвейеры против сквозных систем
- Строить ли приложения из модульных лингвистических компонентов или обучать сквозные нейронные системы; сквозные подходы доминируют там, где данных много, но предлагают меньшую интерпретируемость.
Key figures
- Daniel Jurafsky
- James H. Martin
- Frederick Jelinek
- Janet Baker
Related topics
Seminal works
- paul1992
- manning1999
- jurafsky2025
Frequently asked questions
- Почему приложения для обработки речи и текста группируются вместе?
- Они имеют общие вероятностные и нейронные основы — языковые модели, моделирование последовательностей и оценку — поэтому методы, разработанные для одного, такие как языковое моделирование в распознавании речи, легко переносятся на другое.