Нейросеть Яндекса переводит и озвучивает видео с английского (и не только) на русский

В прошлом посте я запустил опрос о том, какой же движок взять для 2D проекта и по результатам победил Godot. Одной из ключевых проблем при изучении движка является сравнительно малое количество обучающей информации на русском языке.

Может это бич нашего поколения и мы правда разучились внятно воспринимать текстовую информацию, а может авторы туториалов не могут доходчиво объяснить некоторые детали. Факт в том, что по видео обучаться (лично мне уж точно) в разы проще. Однако видео на русском языке по Godot не шибко много...

Они есть и при желании там можно наткнуться на что-то интересное, но большая часть из того что попадается - краткий гайд по настройке базового платформера. Зато зарубежный ютуб радует куда более подробным и сложным контентом.

Именно тут на помощь приходит новая нейросеть от Яндекса, которая переводит и озвучивает видео в режиме онлайн.

При просмотре видео через Яндекс Браузер у вас появится вот такая вундервафля

Как это работает?

Для начала вам нужен Яндекс Браузер, через него включаем желаемое видео и нажимаем на появившуюся кнопку перевода.

- Сначала система распознает речь и проводит транскрибацию (перевод из видео/аудио в текст);

- Далее весь этот текстовый жмых скармливается другой нейронке - она делает его более читаемым и понятным;

- Следующая нейронка создает по данному тексту озвучку, сверяя паузы и скорость с оригиналом на видео;

Перевод происходит меньше чем за минуту, хотя тут все зависит от длинны видеоролика.

Первые впечатления

Я не шибко фанатею от зарубежного контента, да и смотреть какое либо развлекательное видео в озвучке робота - такое себе удовольствие. Но когда дело касается не развлечений, а поиска полезной информации - потенциал становится виден невооруженным глазом.

Конечно, нейросеть иногда допускает погрешности в переводе, но они не так критичны и ты интуитивно понимаешь, что она хотела сказать на самом деле. Команда Яндекса не зря приложила столько сил для разработки этой нейронки.

На данный момент доступен перевод с шести языков: английского, испанского, французского, итальянского, немецкого и китайского. Всем советую попробовать данную нейронку и расширить границы доступного контента!

P.S.

Через расширение можно использовать не только в ЯБ, но и на других браузерах: https://github.com/ilyhalight/voice-over-translation