Невозможно поверить, настолько качественно эта нейросеть делает перевод видео и мемов!⁠⁠

Друзья, всем привет! Вот скажите, вы в шоке от скорости развития современных технологий?
Я честно да, у меня уже ощущение что мы живем в научно-фантастическом фильме. Да он пока не дотягивает по удобству и комфорту до того, что нам обещали фантасты, но, в общем и целом, да.

Вот два видео, первое оригинал, второе я прогнал через сервис HeyGen Labs Video Translate, чтобы автоматически перевести его на английский язык и синхронизировать перевод на видео с движением губ.

Мне особенно понравилось, что качество сырого видео после хайгена стало даже лучше чем было изначально, огромный простор для блогинга, ютуба, просветительской деятельности.

Попробовать сервис можете и вы, регистрацию из РФ разрешает, при регистрации у вас будет 1 кредит, этого хватит на минуту перевода. Интерфейс очень простой, просто кидаете ролик в окошко и выбираете язык.

Невозможно поверить, настолько качественно эта нейросеть делает перевод видео и мемов!⁠⁠

Очень много мемов так перевели, вы уже наверняка видели. А если нет, то вот вам лучшие:

Не знаю как вам, а меня это действительно впечатляет и пугает, особенно с собственным голосом. Но поговорим о плюсах и минусах.

Плюсы

1. Офигеть, это реально работает, нормально работает!

Минусы

1. Я ждал генерацию видео с переводом 2 дня на бесплатном тарифе

2. Ограничение по длине в 5 минут (20 на бизнес тарифе)

3. 1.5-2 бакса за минуту перевода

Пока минусов больше, но сам факт, что такое возможно и работает в автоматическом режиме – срывает мне башню.

Ждем подобное локальное решение, ведь технологии в принципе известные и понятные там и вав2лип и языковые мультимодальные модели от меты и китайский клонер голоса по 3 секундам записи, и наверняка кодформер чтобы сгладить ширховатости, конечно изрядно допиленные, но все же открытые технологии.

А вы что об этом думаете? Скоро вообще не надо будет языки учить? Будут переводчики говорящие голосом собеседника прямо в ухе?

А если уже видели локальный прототип такого софта, то обязательно пишите в комменты, потестим вместе.

Если интересуетесь темой нейросетей и их использования, то посмотрите мой YouTube канал и в телеграме тоже интересно.

99
7 комментариев

Лица переводчиков имаджинировали?

5

Комментарий недоступен

1

Надеюсь до гугла дойдет, что надо этот функционал воткнуть в ютуб по умолчанию. Чтобы всегда можно было любое видео посмотреть сразу на своем языке.

А вообще конечно нас ждет интересное будующее.))

До Яндекса уже дошло. Хоть и не на таком уровне качества (голос, дубляж и липсинг).

А теперь господа, кто хорошо знаком с SD, сколько у вас уйдет времени перевести минутный говор? А то подзаебали уже эти высокие технологии за полтора бакса без конкретики.

Есть еще подобные сервисы с липсингом?
Подскажите, будем благодарны :)