Эмбединги для управления эмоциями в Stable Diffusion, учим роботов плакать и смеяться в два клика⁠⁠

Друзья, всем привет, давненько не было крутых гайдов, самое время — это исправить.
Сегодня я расскажу вам как заставить робота плакать и смеяться буквально в два клика. Помогут нам в этом эмбединги для эмоций.

Что нам понадобится:

  • Stable Diffusion в интерфейсе Automatic 1111 актуальной версии, локально или в облаке.
  • Эмбединги для эмоций отсюда.
  • Промпт с которым мы будем играться.

Для начала скачаем архив с эмбедингами эмоций, всего в папке 9 эмоций. Папку вынимаем из архива и кладем сюда - stable-diffusion-webui\embeddings\

Открываем интерфейс Stable Diffusion, кликаем на кнопку Show extra networks, в раскрывшемся баре жмем на Refresh.

Эмбединги для управления эмоциями в Stable Diffusion, учим роботов плакать и смеяться в два клика⁠⁠

Если мы все сделали правильно, то у нас появилась папочка EMOTIONS, а внутри неё эмбединги.

Эмбединги для управления эмоциями в Stable Diffusion, учим роботов плакать и смеяться в два клика⁠⁠

Все готово к работе, берем какой-нибудь промпт, я беру промпт от плачущих роботов, где как раз и использовал эти эмбединги.

Для активации эмбединга кликните в текстовое поле ввода промпта, затем кликните на желаемый эмбединг с эмоцией и он добавится в промптв виде имени этого эмбединга, затем просто скопируйте его и вставьте перед описанием объекта о котором идет речь. Например если вы делаете портрет девушки то промпт должен выглядеть так Portrait of EMOTIONS 1girl... где EMOTIONS один из эмбедингов эмоций.

Всего у нас в наборе следующие эмоции - Счастливый, злой, ухмылка, шок, нервный, улыбка, неповиновение, смех, грусть.

Эмбединги для управления эмоциями в Stable Diffusion, учим роботов плакать и смеяться в два клика⁠⁠

Из минусов такого подхода - то, что эмбединги эмоций все же немного будут менять внешний вид вашего персонажа, но вы всегда можете уменьшить их вес. Кроме того они меняют композицию, не смотря на фиксированный сид некоторые эмбединги заставили персонажа изменить местоположение.

Хотите научиться создавать такой арт с помощью нейросетей? Пройдите созданный мной онлайн интенсив по Stable Diffusion и всего за два дня освойте новое перспективное ремесло, которое станет вашей профессией на много лет.

Вот пример с изменением веса эмбединга angry512 с 0.8 до 1.8. А записывается вес следующим образом - (angry512:0.8), конечно чем выше мы делаем вес эмбединга тем страшнее получаем картинку. На весе 0.8 наш андроид лишь немного расстроен, а на весе 1.8 это уже прямо кибер-психоз.

Эмбединги для управления эмоциями в Stable Diffusion, учим роботов плакать и смеяться в два клика⁠⁠

А вот огромным плюсом эмбедингво является то, что вы можете миксовать их с лорами, моделями и другими эмбедингами и получать совершенно невообразимый результат.

Вот пример с лисенком, на которого тоже прекрасно действуют человеческие эмоции, хоть влияние их и не такое заметное, потому что нет мимических морщин.

Ну и фиаско случилось на слезках, потому что лисы не плачут и лучшее что наш автоматик смог создать - плачущую лисо-девочку.

Эмбединги для управления эмоциями в Stable Diffusion, учим роботов плакать и смеяться в два клика⁠⁠

Отличный пример применения экстрасети, а какие эмбединги используете вы?

Приходите показать что получается с использованием эмбедингов в наш чатик нейро-операторов, где уже более 700 человек.

Подписывайтесь на мой канал в Телеграм, чтобы быть в курсе важных новостей и читать гайды в день выпуска.

9595
15 комментариев

SD потихоньку превращается в Скайрим, апдейтить и дополнять его становится интереснее чем что-то делать в нём)

10

Скрина не будет, но у меня 500Гб ССД уже красным светит. Специально под СД покупал.

2

Скорее из "пейнта" становится "фотошопом"

Прикольно)

3

у меня уже отдельный SSD для него )))

1