Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения

Друзья, ControlNet творит чудеса. И сегодня я научу вас как творить чудеса с освещением и эффектами, и включать несколько слоев ControlNet одновременно, это даст нам огромный простор для творчества, а еще очень понравится фотографам.

Вы научитесь делать так же
Вы научитесь делать так же

Что нам потребуется:
1. Актуальный Automatic 1111 с установленным и активированным ControlNet в коллабе или локально.
2. Изображение на котором мы будем менять свет, у меня Бунтарка, у вас может быть что угодно.
3. Пресеты для света бесплатно выложены на Бусти, просто нажми скачать. Можешь нажать "отслеживать" чтобы не пропустить мои новые стримы и видео 😜

По всему интернету для вас собирал мои пирожочки
По всему интернету для вас собирал мои пирожочки

Первым делом нам понадобится сгенерировать то, с чем мы будем играться, я взял Бунтарку вот из этого сета.

Бунтарка - обученная на синтетическом дата-сете текстовая инверсия.
Бунтарка - обученная на синтетическом дата-сете текстовая инверсия.
Вот что у меня получилось.
Вот что у меня получилось.

Теперь отправляем все кнопкой в img2img, чтобы перенести настройки и промпт. И тут мы делаем непривычное - загружаем не ту фотографию с которой будем работать, а маску для света из пака выше.

Я уже по-генерил, но у вас тут фоток справа не будет.
Я уже по-генерил, но у вас тут фоток справа не будет.

Затем опускаетесь в ControlNet, тут нам надо нажать галку Enable, для активации, выбрать препроцессор depth_leres и модель depth, разрешение анотатора LeReS Resolution ставьте такого же размера по самой большой стороне как и ваша фотография, у меня 768. И собственно загружаем нашу фото основу.

Знаете ли вы, что с помощью настройки Remove Background % можно очень хорошо вырезать персонажа с фона? Теперь знаете, поиграйтесь.
Знаете ли вы, что с помощью настройки Remove Background % можно очень хорошо вырезать персонажа с фона? Теперь знаете, поиграйтесь.

Задаем наши любимые параметры генерации, у меня это будет 2м Карась, выставляем размеры равные размеру нашего изображения загруженного в ControlNet. Denoising strength ставим на 0.90.

Настройки генерации вполне стандартные
Настройки генерации вполне стандартные

Теперь генерируем несколько вариаций с дефолтным светом и выбираем ту с которой будем играться, у меня будет вот эта

Включаем свет
Включаем свет

Подготовка завершена. Теперь у нас есть отправная точка, фиксируем сид. И настраиваем свет, для этого надо нажать на карандашик рядом с крестиком.

Тыкаем на карандашик
Тыкаем на карандашик
Хватаем сетку за краюшек и двигаем куда хочется, мне хочется в лево.
Хватаем сетку за краюшек и двигаем куда хочется, мне хочется в лево.

Генерируем, теперь свет у нас с другой стороны.

Электричество кончилось
Электричество кончилось
А теперь сделаем источник света уже и обрежем.
А теперь сделаем источник света уже и обрежем.
Как будто-то свет из окна
Как будто-то свет из окна

Еще раз меняем конфигурацию света, чтобы получить полностью совещенный кадр.

Включаем свет
Включаем свет
Теперь все освещено.
Теперь все освещено.

И если снова захотим выключить свет, то можем просто сдвинуть квадратик на черную область.

Тащим в темный угол
Тащим в темный угол

И света снова нет.

Кто балуется с выключателем?
Кто балуется с выключателем?

А еще мы можем загрузить совсем другие карты освещения, например в виде сердечек и в один клик получить потрясающий эффект на фото. Настройки ControlNet даже не меняем.

Просто меняем картинку уменьшаем деноизинг, чтобы сердечки проступали на фото
Просто меняем картинку уменьшаем деноизинг, чтобы сердечки проступали на фото
Милота и как мы любим в один клик
Милота и как мы любим в один клик

Или можем например сделать луну из окна и свет свечи сбоку, надо просто выбрать карту освещения по интереснее, я сейчас как раз собираю пак разных карт, эффектов и фонов для ControlNet и тоже залью на бусти, так что подпишись, чтобы не пропустить.

Собрал уже более сотни различных текстур и эффектов для ControlNet, скоро выложу
Собрал уже более сотни различных текстур и эффектов для ControlNet, скоро выложу
Луна сверху, свеча сбоку, как на карте.
Луна сверху, свеча сбоку, как на карте.

Что мы еще можем сделать, например можем загрузить текстуру огня и устроить пожар.

Этот и другие эффекты скоро тоже выложу
Этот и другие эффекты скоро тоже выложу
Очень мягкий и уютный свет, как на закате
Очень мягкий и уютный свет, как на закате

А если уменьшим деноизинг еще сильнее, до 0.5, то буквально сожжем Бунтарку, как Жанну Д`арк

Гори, гори ясно
Гори, гори ясно

С учетом возможности включения многослойного ControlNet, это дает нам неограниченные возможности. Как вы не знали, что можно включить несколько слоев?

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения

Сейчас расскажу, все очень просто. Идем в Settings, находим слева ControlNet, находим ползунок Multi ControlNet: Max models amount (requires restart), сдвигаем на сколько нам надо (помните что каждый слой это время и ресурсы видеокарты), мне пока хватает двух, но можно включить до 10 и комбинировать различные модели и препроцессоры. Для активация потребуется перезапуск web-ui.bat.

Что мы можем с этим сделать, а давайте включим еще один ControlNet, я возьму картинку из будущего пака с фонами, текстура листиков и открою её вместе с моделью depth и препроцессором depth_leres, уменьшу вес модели, выкручу вырезание фона у листиков.

Это уже второй слой, вон сверху написано
Это уже второй слой, вон сверху написано

И в качестве результата у меня будет свет загруженный в img2img, персонаж вытащенный картой глубины с первого СontrolNet и листики со второго.

Легко и просто правда
Легко и просто правда

А на этом у меня все друзья, скидывайте примеры ваших работ и ваши кейсы использования различных слоев ControlNet, возможности его применения просто поражают воображение, думаю мы еще долго будем открывать новые не стандартные методы применения ControlNet и различных вариаций препроцессоров и моделей. Увидимся на стримах.

----

Вот мой список полезных ресурсов:

  • Арт-нейросети от Neural Dreaming основной канал по нейросетям - подпишитесь, чтобы быть в курсе всего!
  • Neural Dreaming на YouTube тут проводятся стримы и выкладываются гайды - подпишитесь!
  • Neural Dreaming на Boosty - записи всех стримов, ххх сеты, ассеты и секретные гайды только для подписчиков, и доступ в чат для самых продвинутых.
  • ДЕНЬГИ - чат, где мы учимся зарабатывать на наших нейро-талантах вместе с настоящими профи.
  • ЧЕЛЛЕНДЖИ - группа с новыми нейро-челенджами каждый день - участвуй!
  • СКЛАД - все, что нужно для вашей нейросети: лоры, модели, эмбединги - осторожно, там нет цензуры.
  • АДМИНСКАЯ - группа для администраторов нейро-каналов, добавьте свой канал в био, прежде чем подавать заявку.
  • Чат нейро-операторов - общайтесь, задавайте вопросы, делитесь опытом с более чем 500 нейро-операторами
189189
75 комментариев

Комментарий недоступен

8
Ответить

Тебе как начинающему 3д аниматору срочно надо вкатываться в нейронки, потому что это такой ебейший геймчейнджер, я просто в ахуе сижу вместе с вами два месяца как увлекся нейронками)))

10
Ответить

Ну я бы поспорил. Я себе аватарку генерировал в нейросети. Несложная, просто череп в виде этакой глючной голограммы. Даже без навыков рисования закитбашить в фотошопе такое довольно просто.
Так вот, генерировал я даже такой простенький рисунок довольно долго и всё равно не удовлетворился результатом. Midjourney, конечно, улавливал мои требования, но он складывал всё в какой-то дженерик арт. Так что не всё сетям подвластно.
Вот реально проблема сеток в том, что чем больше они материала усваивают, тем более их арт становится усредненным, стилистически нейтральным. Будто весь диджитал арт с артстейшена закинули в блендер и смешали в смузи. Да, можно выбирать стилистику и всё такое, но иногда думаешь, что быстрее бы сам справился, чем по сотому разу генерировать варианты.

3
Ответить

нет, просто ты теперь не начинающий, а сразу мидл

1
Ответить

Заканчивай давай! начинающий...

1
Ответить

Комментарий недоступен

Ответить

Рано хоронить что художников, что 3D.
3D нейросетке пока даётся очень сложно, если вообще сможет.

Ответить