«Яндекс» представил прототип технологии машинного перевода видео и закадровой озвучки в реальном времени

Он станет доступен для всех пользователей «Яндекс.Браузера».

«Яндекс» представил прототип технологии машинного перевода видео и закадровой озвучки в реальном времени
  • Цель разработчиков из «Яндекса» — позволить людям смотреть любые видеоролики озвученными на удобном им языке, независимо от исходного языка, на котором снято видео.
  • Прототип будет работать только с роликами на английском. На данный момент опробовать его можно лишь в специальном плейлисте на YouTube через десктопный «Яндекс.Браузер».
Обращение Дэвида Талбота, руководителя направления обработки естественного языка в «Яндексе»
  • Вокруг ролика должна появиться специальная рамка с предложением перевести его — функцию можно включать и отключать по желанию.
  • Технология уже способна подстраиваться под темп речи, делать смысловые паузы, а также определять пол говорящего и подбирать подходящий голос.
  • Пока что машинный перевод не справляется со многими интонациями, поэтому некоторые фразы звучат «плоско», однако в «Яндексе» планируют со временем дорабатывать систему.
Пример работы машинного перевода видео
  • В «Яндексе» утверждают, что их система, совмещающая распознавание и синтез речи, биометрию и машинный перевод, не имеет аналогов в мире.
  • Позже разработчики планируют открыть возможность переводить любые ролики с английского, а в перспективе — добавлять поддержку других языков.

В интернете очень много полезного контента, который недоступен людям из-за языкового барьера. И мы близки к тому, чтобы окончательно стереть все границы.

«Яндекс.Браузер» давно умеет переводить тексты, в этом году стал переводить изображения, перевод видео — следующий этап. Это большая сложная задача, которую никто в мире еще не решил. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше.

Дэвид Талбот
323
169 комментариев