Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения
Друзья, ControlNet творит чудеса. И сегодня я научу вас как творить чудеса с освещением и эффектами, и включать несколько слоев ControlNet одновременно, это даст нам огромный простор для творчества, а еще очень понравится фотографам.
Что нам потребуется:
1. Актуальный Automatic 1111 с установленным и активированным ControlNet в коллабе или локально.
2. Изображение на котором мы будем менять свет, у меня Бунтарка, у вас может быть что угодно.
3. Пресеты для света бесплатно выложены на Бусти, просто нажми скачать. Можешь нажать "отслеживать" чтобы не пропустить мои новые стримы и видео 😜
Первым делом нам понадобится сгенерировать то, с чем мы будем играться, я взял Бунтарку вот из этого сета.
Теперь отправляем все кнопкой в img2img, чтобы перенести настройки и промпт. И тут мы делаем непривычное - загружаем не ту фотографию с которой будем работать, а маску для света из пака выше.
Затем опускаетесь в ControlNet, тут нам надо нажать галку Enable, для активации, выбрать препроцессор depth_leres и модель depth, разрешение анотатора LeReS Resolution ставьте такого же размера по самой большой стороне как и ваша фотография, у меня 768. И собственно загружаем нашу фото основу.
Задаем наши любимые параметры генерации, у меня это будет 2м Карась, выставляем размеры равные размеру нашего изображения загруженного в ControlNet. Denoising strength ставим на 0.90.
Теперь генерируем несколько вариаций с дефолтным светом и выбираем ту с которой будем играться, у меня будет вот эта
Подготовка завершена. Теперь у нас есть отправная точка, фиксируем сид. И настраиваем свет, для этого надо нажать на карандашик рядом с крестиком.
Генерируем, теперь свет у нас с другой стороны.
Еще раз меняем конфигурацию света, чтобы получить полностью совещенный кадр.
И если снова захотим выключить свет, то можем просто сдвинуть квадратик на черную область.
И света снова нет.
А еще мы можем загрузить совсем другие карты освещения, например в виде сердечек и в один клик получить потрясающий эффект на фото. Настройки ControlNet даже не меняем.
Или можем например сделать луну из окна и свет свечи сбоку, надо просто выбрать карту освещения по интереснее, я сейчас как раз собираю пак разных карт, эффектов и фонов для ControlNet и тоже залью на бусти, так что подпишись, чтобы не пропустить.
Что мы еще можем сделать, например можем загрузить текстуру огня и устроить пожар.
А если уменьшим деноизинг еще сильнее, до 0.5, то буквально сожжем Бунтарку, как Жанну Д`арк
С учетом возможности включения многослойного ControlNet, это дает нам неограниченные возможности. Как вы не знали, что можно включить несколько слоев?
Сейчас расскажу, все очень просто. Идем в Settings, находим слева ControlNet, находим ползунок Multi ControlNet: Max models amount (requires restart), сдвигаем на сколько нам надо (помните что каждый слой это время и ресурсы видеокарты), мне пока хватает двух, но можно включить до 10 и комбинировать различные модели и препроцессоры. Для активация потребуется перезапуск web-ui.bat.
Что мы можем с этим сделать, а давайте включим еще один ControlNet, я возьму картинку из будущего пака с фонами, текстура листиков и открою её вместе с моделью depth и препроцессором depth_leres, уменьшу вес модели, выкручу вырезание фона у листиков.
И в качестве результата у меня будет свет загруженный в img2img, персонаж вытащенный картой глубины с первого СontrolNet и листики со второго.
А на этом у меня все друзья, скидывайте примеры ваших работ и ваши кейсы использования различных слоев ControlNet, возможности его применения просто поражают воображение, думаю мы еще долго будем открывать новые не стандартные методы применения ControlNet и различных вариаций препроцессоров и моделей. Увидимся на стримах.
----
Вот мой список полезных ресурсов:
- Арт-нейросети от Neural Dreaming основной канал по нейросетям - подпишитесь, чтобы быть в курсе всего!
- Neural Dreaming на YouTube тут проводятся стримы и выкладываются гайды - подпишитесь!
- Neural Dreaming на Boosty - записи всех стримов, ххх сеты, ассеты и секретные гайды только для подписчиков, и доступ в чат для самых продвинутых.
- ДЕНЬГИ - чат, где мы учимся зарабатывать на наших нейро-талантах вместе с настоящими профи.
- ЧЕЛЛЕНДЖИ - группа с новыми нейро-челенджами каждый день - участвуй!
- СКЛАД - все, что нужно для вашей нейросети: лоры, модели, эмбединги - осторожно, там нет цензуры.
- АДМИНСКАЯ - группа для администраторов нейро-каналов, добавьте свой канал в био, прежде чем подавать заявку.
- Чат нейро-операторов - общайтесь, задавайте вопросы, делитесь опытом с более чем 500 нейро-операторами
Комментарий недоступен
Тебе как начинающему 3д аниматору срочно надо вкатываться в нейронки, потому что это такой ебейший геймчейнджер, я просто в ахуе сижу вместе с вами два месяца как увлекся нейронками)))
Ну я бы поспорил. Я себе аватарку генерировал в нейросети. Несложная, просто череп в виде этакой глючной голограммы. Даже без навыков рисования закитбашить в фотошопе такое довольно просто.
Так вот, генерировал я даже такой простенький рисунок довольно долго и всё равно не удовлетворился результатом. Midjourney, конечно, улавливал мои требования, но он складывал всё в какой-то дженерик арт. Так что не всё сетям подвластно.
Вот реально проблема сеток в том, что чем больше они материала усваивают, тем более их арт становится усредненным, стилистически нейтральным. Будто весь диджитал арт с артстейшена закинули в блендер и смешали в смузи. Да, можно выбирать стилистику и всё такое, но иногда думаешь, что быстрее бы сам справился, чем по сотому разу генерировать варианты.
нет, просто ты теперь не начинающий, а сразу мидл
Заканчивай давай! начинающий...
Художники официально получили новый инструмент
Рано хоронить что художников, что 3D.
3D нейросетке пока даётся очень сложно, если вообще сможет.