Как я использовал нейросети для создания анимированного персонажа

Привет. Я увлекаюсь digital art уже несколько лет. Недавно я начал экспериментировать с нейросетями и их применением в создании анимации. Благодаря этому, я начал оживлять персонажей, и это было невероятно круто! Мечты про непотный путь к хорошей анимации кажется начинают воплощаться в жизнь. В этом мне помогли нейросети. Опишу как это было.

Процесс

В первую очередь, для работы над проектом я использовал stable diffusion и google collab. Stable diffusion - это открытый исходный код, позволяющий применять методы глубокого обучения для решения задач обработки изображений и видео. Google collab - это бесплатная облачная платформа, позволяющая запускать и разрабатывать проекты на Python в браузере. Я решил использовать их в сочетании, чтобы получить высокую скорость обработки и удобство работы. Так как мой собственный компьютер не отвечает требованиям для того чтобы заниматься "нейро-анимацией".

Далее я нашел модель, натренированную на аниме, которую я использовал для создания анимации. В моем случае, я выбрал модель Meinamix с сайта civitai. Она показала хорошие результаты и мне понравилась ее точность. Она не такая тяжелая как RevAnimated, которую я до этого пытался использовать. И более креативная. Имхо.

Затем я использовал расширение для stable diffusion под названием giftogif. Это позволило мне использовать любую gif как основу для создания анимации. Я выбрал gif, на сайте tenor.com. Она подходила под пропорции и стиль персонажа моей подруги, которого я давно хотел подвигать. База есть.

Далее я создал хороший prompt, который был ключевым для получения желаемых результатов. Это дело я собирал по всему интернету, и дополнял своими предпочтениями и видением автора персонажа. Prompt дело тонкое, и должен быть четким , чтобы модель могла понимать, что я хочу получить.

И, наконец, я нашел стабильный seed, который приближался к тому, как я хотел видеть своего персонажа. Это было важно, потому что seed является основой для генерации новых изображений. Seed я вычленил пропуская первый кадр gif через нейронку. (можно и без него но будет больше рандома при анимации).

Далее ChatGpt мне помогла с описанием шагов к конечной анимации

Описание процесса создания анимации шаг за шагом:

Шаг 1: Установите stable diffusion на ваш компьютер и загрузите необходимые модели. Один из хороших источников моделей - сайт Civitai. Модели на Civitai доступны для бесплатного скачивания и установки.

Шаг 2: Найдите и установите расширение для stable diffusion под названием "giftogif". Это расширение позволяет использовать gif-файлы в качестве подложки для создания анимации.

Шаг 3: Подготовьте gif-файл с персонажем, которого вы хотите оживить. Это может быть любой gif-файл, который вы найдете в Интернете, либо gif-файл, который вы сами создали.

Шаг 4: Откройте google collab и создайте новый ноутбук. В нем вы будете использовать stable diffusion для создания анимации.

Шаг 5: Загрузите модель, которую вы выбрали на Civitai в свой google collab.

Шаг 6: Создайте "prompt" - это текстовое описание того, как вы хотите, чтобы выглядела анимация вашего персонажа. Например, "Я хочу, чтобы мой персонаж улыбался и мигал глазами".

Шаг 7: Запустите stable diffusion с помощью модели и вашего prompt. Результатом будет новый gif-файл, созданный с использованием нейросети.

Шаг 8: Повторите шаги 6-7, изменяя prompt каждый раз, чтобы создать анимацию вашего персонажа в разных позах и с разными выражениями лица.

Шаг 9: Сохраните полученную анимацию в желаемом формате и используйте ее в социальных сетях, на сайтах или в других приложениях.

Это всего лишь краткое описание процесса создания анимации с помощью stable diffusion и моделей нейросетей. Но если вы следуете этим шагам, вы сможете создать свою собственную анимацию персонажа.

Надеюсь этот пост был полезен.