Как озвучить аудиокнигу с помощью нейросетей

Озвучить аудиокнигу с помощью ИИ на первый взгляд кажется простой задачей: взять текст, загрузить его в нейросеть и получить готовое аудио. На практике всё немного сложнее. Чтобы книга нормально звучала, её нужно подготовить, разбить на части, обработать текст, сгенерировать аудио, проверить результат и собрать всё в удобный формат для прослушивания.

AIaudiobooks.org как раз построен вокруг такого процесса. Это не ручная начитка диктором, а автоматизированный пайплайн, который превращает текстовую книгу в аудиокнигу с помощью технологий синтеза речи.

В этой статье мы поделимся своим опытом создания такого TTS пайплайна. С чего вам стоит начать?

Первый шаг — получить текст книги в нормальном виде. Это может быть TXT, EPUB, FB2, DOCX или другой текстовый формат.

Важно, чтобы текст был пригоден для обработки: без мусора, сломанных переносов, лишних символов, повторяющихся заголовков, технических страниц и других проблем, которые часто встречаются в электронных книгах.

Люди часто используют для скачивания книг rutracker и flibusta.

Текст, который удобно читать глазами, не всегда удобно слушать.

Например, человек легко понимает такие фрагменты:

в 1991 г. 12 кг т. е. XX век 5% А. С. Пушкин

Но TTS-модель может прочитать их неестественно или неправильно. Поэтому перед озвучкой такие элементы нужно раскрывать в нормальную устную форму.

Например:

в 1991 г. → в тысяча девятьсот девяносто первом году 12 кг → двенадцать килограммов т. е. → то есть XX век → двадцатый век

В AIaudiobooks для этого используется нормализация текста. Один из инструментов пайплайна — ru-normalizr, который помогает приводить русский текст к виду, более удобному для TTS: обрабатывать числа, даты, сокращения, инициалы, символы и другие конструкции.

По сути, ru-normalizr это единственное адекватное решение для нормализации текста для TTS, доступное в интернете. Он значительно превосходит, ruNorm и других конкурентов.Вы можете скачать программу ru-normalizr для Windows тут.

Для русского языка ударения — отдельная проблема. Одно и то же слово может читаться по-разному в зависимости от контекста.

Например:

замок — зáмок или замóк; мука — мýка или мукá; атлас — áтлас или атлáс.

Поэтому для большинства моделей необходимо предобрабатывать текст, проставляя в нём правильные ударения, чтоб получить хороший результат.

В AIaudiobooks используется автоматическая расстановка ударений через Silero Stress.

Хорошая альтернатива — RuAccent. Он иногда лучше ставит ударения и ёфицирует, но в то же время ошибается в других местах и чаще ломает форматирование и пунктуацию.Вы можете скачать программы RuAccent и Silero Stress для Windows тут.

Обе модели неидеальны, так что ошибки неизбежны, но этот этап необходим для большинства TTS моделей.

Следующий шаг — сама озвучка. Для этого нужна TTS-модель, то есть система синтеза речи.

В AIaudiobooks используется F5-TTS. Это модель, которая позволяет генерировать речь по тексту и использовать голосовой референс, чтобы получить более естественное звучание.

Это одна из самых лучших моделей на русском языке на данный момент. Вы можете скачать удобную программу для генерации книг с помощью Ф5 от azimutspb на 4PDA.

Преимущества F5 TTS в очень хорошей натуральности голоса при среднем потреблении ресурсов — запустить его можно уже на среднем ПК.

Если вы таким не обладаете, то на 4PDA я советую вам обратить внимание на одну из неплохих альтернатив F5 TTS — Silero TTS.

F5 TTS выдаёт более качественный, актёрский результат, но требует большого количества времени и ресурсов, а также может генерировать различного рода артефакты и ошибки.

Silero TTS — невероятно лёгкий движок, который можно запустить где угодно. И работает он просто молниеносно и невероятно стабильно. Но расплачиваться за это приходится очень монотонным результатом..

На 4PDA вы можете найти обсуждение и других моделей, но с нашей точки зрения они не заслуживают особого внимания.

Синтез речи пока не равен профессиональной студийной начитке. В аудиокнигах могут встречаться ошибки:

неправильные ударения;

странная интонация;

неудачные паузы;

ошибки произношения;

неестественное чтение отдельных фраз;

проблемы на диалогах;

ошибки в структуре глав.

Поэтому важно честно указывать, что аудиокниги созданы с помощью синтеза речи. Это другой формат, не замена профессиональному диктору во всех случаях.

Но у ИИ-озвучки есть сильная сторона: масштаб. Она позволяет озвучивать тексты, которые иначе могли бы вообще никогда не получить аудиоверсию — например, на одном из сайтов уже загружено более 2500 ИИ аудиокниг, большинство из которых были опубликованы в аудио впервые.

И вы тоже можете проделать весь путь к созданию аудиокниги своими руками, используя программы, перечисленные выше