Отрендерил и покрасил знаменитый 'Bad Apple!!' при помощи новой технологии ControlNet в Stable Diffusion Deforum

ControlNet позволяет влиять на процесс диффузии, напрямую встраивая в главный блок сети ещё одну нейронную сеть, которая следит за тем, чтобы её выход соответствовал заданным требованиям: глубине, контурам, позам персонажей, картам нормалей и так далее.

В этом видео я использовал модель Anything v4.5, было два прохода: первый — выделение границ и обрисовка при помощи scribble-варианта ControlNet в гибридном (3D+video) режиме Дефорума, на этом этапе получились чёрно-белые трёхмерные фигуры персонажей; второй прогон был уже через сохраняющую больше деталей hed-модель того же самого ControlNet, она и придала видео окраску. Эти два нововведения: ControlNet и OpticalFlow гибридного режима — помогли значительно повысить плавность переходов по сравнению с наивным обрисовыванием каждого кадра, но всё равно есть значительный простор для улучшений