Синтез речи

Генерация естественной речи из текста, сочетающая лингвистический анализ внешнего интерфейса — нормализацию, произношение и просодию — с генерацией формы волны от конкатенативных до нейронных методов.

Definition

Синтез речи, или преобразование текста в речь, — это компьютерная генерация разборчивого и естественного речевого сигнала из входного текста.

Scope

Охватывает синтез речи из текста: внешний интерфейс, который нормализует текст и предсказывает произношение и просодию, и внутренний интерфейс, который производит форму волны, охватывая конкатенативные, параметрические и нейронные подходы. Рассматривается преобразование графем в фонемы и просодическое моделирование. Распознавание речи рассматривается в родственной теме.

Core questions

• Как нормализуется письменный текст и преобразуется в произношение?
• Как предсказывается и воспроизводится просодия — ритм, ударение и интонация?
• Чем отличаются конкатенативный, параметрический и нейронный синтез?
• Как оценивается синтезированная речь на разборчивость и естественность?

Key concepts

• нормализация текста
• преобразование графем в фонемы
• просодия
• конкатенативный синтез
• параметрический синтез
• нейронный вокодер
• разборчивость
• естественность

Key theories

Лингвистическая обработка внешнего интерфейса

Преобразование необработанного текста в лингвистическую спецификацию посредством нормализации, преобразования графем в фонемы и предсказания просодии до генерации какой-либо формы волны.

Парадигмы генерации формы волны

Производство аудио путем конкатенации записанных единиц, с помощью статистических параметрических моделей или нейронных сетей, которые генерируют форму волны напрямую для достижения высокой естественности.

History

Ранний синтез использовал основанные на правилах формантные, а затем конкатенативные методы, которые сшивали записанные единицы, что подробно описано Тейлором. Статистический параметрический синтез улучшил гибкость в 2000-х годах, а нейронные модели формы волны в конце 2010-х годов произвели речь, приближающуюся к человеческой естественности.

Debates

Естественность против управляемости

Нейронный синтез очень естественен, но его может быть труднее контролировать для конкретной просодии или характеристик диктора, чем более ранние параметрические методы, что создает компромисс для выразительных приложений.

Key figures

• Paul Taylor
• Daniel Jurafsky
• James H. Martin

Seminal works

• taylor2009
• jurafsky2025

Frequently asked questions

Что такое преобразование графем в фонемы?

Это шаг, который предсказывает, как произносятся написанные слова, сопоставляя буквы с фонетическими символами. Это важно, потому что орфография является несовершенным руководством к произношению, особенно для имен и незнакомых слов.