«Яндекс» добавил синхронный перевод прямых трансляций в «Браузере» — пока для нескольких YouTube-каналов
Можно будет смотреть презентации Apple, вебинары и конференции TED сразу на русском языке.
- Компания добавила технологию автоматического закадрового перевода прямых трансляций на YouTube в свой браузер, рассказали в «Яндексе». Пока она работает в режиме открытого бета-тестирования для нескольких каналов из списка, в том числе Apple, Google, TechCrunch, SpaceX, TED и других.
- Технология позволяет переводить стримы с пяти языков — английского, немецкого, испанского, итальянского и французского. В ближайшее время компания планирует начать тестировать азиатские пары языков, но когда они будут доступны всем пользователям, не говорит.
Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и, например, в Twitch. Мы научили нейросети переводить трансляции на английском, немецком, французском, итальянском и испанском. Далее мы добавим новые пары европейских языков, а также китайский, японский и другие.
- Запуск перевода стримов на Twitch требует много времени, отметили vc.ru в «Яндексе» — вероятно, это произойдет не раньше 2023 года.
- Для запуска перевода стримов разработчикам пришлось перестроить всю архитектуру закадрового перевода видео, отметили в компании. При записанном ролике нейросеть получает аудиодорожку целиком, а значит, обладает полным контекстом, что облегчает задачу.
- При прямой трансляции одна нейросеть распознает аудио и превращает его в текст, другая — определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль. Их забирает ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.
- «Яндекс» добавил автоматический закадровый перевод любых англоязычных видео в YouTube и других сервисах в «Браузере» в сентябре 2021 года, а в ноябре — закадровый перевод видео на французском, испанском и немецком. Ограничения действуют на лицензионный контент — например, сериал Netflix сервис не переведёт.
Пример работы закадрового перевода «Яндекса»
19K19K открытий
33 репоста
Это мы одобряем
А эти "мы" сейчас с тобой в одной комнате?
Функция топ, вообще перевод видео у Яндекса очень достойный!
Функция и впрямь топ, но перевод если чесно ужасный. Даже пол говорящего у меня часто определяется не верно, уж про промтовое качество молчу. Но вектор выбран верный - допилят.
Перевод у яндекса говно, если с англ на русский еще более менее читабально, то с рус на англ вообще мусор.
Комментарий недоступен
Такой смотришь и думаешь: "Как сука какие-то большие компании не дошли до такого?". Особенно какой-нибудь Гугл. Только он почему-то уже с год тестирует офлайн субтитры на английском языке, а какой-то Яндекс (если сравнивать с Гуглом) делает переводы и озвучку трансляций.