Новые нейросети для генерации видео по уровню качества Sora. Мой личный топ и как генерировать видео лучшего качества.

На рынке видеогенерации происходит интенсивная движуха, сравнимая с февралем этого года, когда Open AI показали Sora и ее возможности. Так как было раньше, уже не будет.

Китай активно допилил свои нейросети, похожие по уровню качества на Sora, типа Open-sora или Kling. Последний, кстати, очень похож на Sora, но рассчитан на внутренний рынок, во всех смыслах - все на китайском, требуется китайская сим-карта и местное приложение, к тому же ходит слух, что европейцев она сгенерировать не сможет.

Энтузиаст из X (бывший Twitter) выложил гайд.

— Устанавливаем приложение KwaiCut - для IOS , для Android;

— Нажимаем кнопку "AI creation" и "apply for experience", чтобы подать заявку;

— Далее понадобится китайский номер телефона, можно взять здесь бесплатно;

— Также нужен Kuaishou ID, чтобы его получить регистрируемся в приложении - для IOS, для Android - приложения нет в playmarket, отсюда качаем на свой страх и риск;

— Далее вы получите смс или push-уведомление, если вам дадут доступ.

На всё уходит около часа. Если у вас есть WeChat и вы в нем зарегистрированы, тогда вы через него можете авторизоваться. Но все на китайском.

Больше полезного в моем телеграм канале, присоединяйтесь)

Luma выпустила Dream Machine, свой обзор, видео, которые получились у меня и советы по генерации я изложила в этой статье.

Пока мой топ. Вот официальное видео:

Для получения лучших генераций от Dream Machine есть специальный гайд, который учит:

• Генерация видео с текста: как описывать сцены, действия персов и камеры, изменение текстур и других объектов.

• Оживление изображений: движение камеры, раскадровка.

• Правильное использование Enhance prompt — улучшатель запроса.

Там описано даже как можно следить за героем с помощью Tracking shot.

Для удобства, есть GPTs бот для Dream Machine. Суть - загружаете изображение и бот генерирует промт, который Dream Machine использует для оживления картинки.

Нейросеть уже обновилась и генерирует непрерывные видео до 60 секунд!

А скоро можно будет редактировать каждую генерацию — менять задний фон, главного героя и анимации. Появится библиотека генераций для вдохновения, а у платных подписчиков не будет вотермарок.

Записаться в ранний доступ тут.

Непонятно, кто кого опередил - либо Dream Machine первым выкатил обновление, либо Runway захотел нанести ответный удар и представил Gen-3 Alpha, а Luma в ответ обновила Dream Machine. В интернете завирусилось сравнение двух нейросетей:

Факт, что прошлая и эта - прям недели видеогенераторов. Было логично, что Runway срочно что-то придумают. В прошлом они были лучшие в своем деле очень долго.

Заявлено, что модель GEN-3 генерирует ультра-реалистичные видео в два раза дольше до 10 секунд, чем его предшественник GEN-2. К тому же, в видео будет высокая детализация, более плавные и креативные переходы, и фотореалистичная генерация людей. К тому же, обещают, что появится обучение на своих стилях. Больше видео примеров работ GEN-3 на их сайте - посмотрите, не разочаруетесь.

Доступ обещают дать в скором времени

Видео можно будет генерировать по тексту, так и используя изображения, а в будущем добавят инструменты для точечного контроля кадра - более сложные смены сцен.

Dream Machine - пока мой топ, подробнее про него в этой статье

Haiper - на втором месте, если загрузить изображение хорошего качества, получается очень реалистично. Подробнее про него и примеры моих генераций в этой статье

Stable Video - на третьем месте из-за того, что бесплатный, в этой статье видео -пример того, что я сгенерировала. Подробнее про него в этой статье

Kaiber - хорошо подходит для мультяшных видео в стиле аниме, генерирует всегда годноту, хорошо переделывает видео в разные стили, но платный, без бесплатного периода. Подробнее про него здесь, про обновления здесь.

Pika - раньше был бесплатный, сейчас платный, в нем много фишек - можно загрузить аудио и нейросеть подстроит липсинк так, что персонаж будет разговаривать как настоящий. Еще можно "растягивать" видео в разные стороны, и сервис сам дополнит пустые места - подробнее тут и заменит объекты на видео в реальном времени - подробнее тут. Но по уровню генерации далеко до Sora и Dream Machine, ждем серьезного обновления от Pika, ведь еще недавно они перегнали Runway GEN-2 и были лучшим видеогенератором, а Runway уже выкатил GEN-3. Так что счет идет на дни.

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.