SmallKino

Я завязал с рисованием. Анимацию нейронкой интереснее пилить

Сэмплер (та штука что делает денойз) в ComfyUI принимает на вход латентное изображение (латент). Когда мы генерим видео с нуля этот латент просто пустой, но нам ничего не мешает взять готовое видео, прегнать его в латент и отправить в сэмплер. Ещё можно к любому латенту прикреплять маску, чтобы изменялась только часть внутри маски. При этом то, что находится за пределами маски хоть и не меняется, но при этом оказывает влияние на сам процесс денойза, то есть изменения внутри маски будут согласованы с тем, что у неё снаружи, и не будут заметны на финальном результате. Правда, тут всё ещё усложняется тем, что лучше отправлять не весь клип в латент целиком, а только кусок, которы должен правильно совпасть по измерениям с тем что допускает MiniMax. Короче, нормального процесса нет, всё приходится вручную собирать пока.

Через "Add Guide To MiniMax H3"
Всё равно цвета сползают, так что можно лишь 2 клипа соединить - дальше слишком качество падает.

Исходник вот такой

Да хз что там за эстетика

Должно сработать. Вообще цель этого эксперимента добиться эффекта "существующий видеоклип, но сснятый с другого точно подобранного ракурса". Облёт камеры тут нужен, чтобы поймать нужный фрейм, но дальше там уже сложнее.

Это интерфейс ComfyUI так выглядит - основная программа для всего генеративного сейчас. Видео, изображения, можно использовать готовые "шаблоны", можно (нужно) настроить процесс генерации под себя.

Всякими тутораиалами Ютуб полнится: https://www.youtube.com/watch?v=JoNp2U1PviA

16+ GB для комфортного использования. 8 GB для особо упорных.

Это всё же не рендер, а нейрофильтр скорее. 3D-модель тут просто сырьё для анимации движения камеры.