Имитация рисунка карандашом в Stable Diffusion (Automatic1111)
У одного хорошего парня увидел пайплайн, как создать карандашные скетчи на бумаге. Решил немного доработать способ и наполнить его разными лайфхаками и интересностями. Ссылка на автора будет в конце, можете заценить его канал.
Начать хочу с того, что Stable Diffusion понимает некоторые слова на русском языке. Открыв базу данных LAION 5B, на которой обучали Stable Diffusion 1.5, я увидел много интересного. Например, кучу хлама, вылазящего практически по любому токену.
По запросу рисунок карандашом мы получаем следующее.
Вот что генерирует Deliberate_v2 по данному запросу. Котики, руки, много художественных принадлежность и капелька текста.
Теперь попробуем подсунуть нейросетке лист бумаги и попросить что-нибудь на нем нарисовать.
Промпт будет следующий: рисунок карандашом, a car, line art, bw, drawing on paper, 4k paper texture, sketch, strokes
Негативный промпт: 3d, doll, realism, photo, realistic, (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation
Denoising Strength был выставлен на 0.45 единиц. Чем выше, тем хуже сохраняется текстура бумаги, но и рисунок выражен больше. Чем ниже, тем меньше проявляется скетч.
Автомобиль прибыл точно в срок!
Ниже представлен вариант в полном разрешении. Можно заметить, что штрихи проведены очень реалистично, а артефактов на изображении минимум.
Теперь попробуем другой стиль, выбрав модель Flat-2D Animerge. Моедлька просто чудо, великолепно рисует 2D-иллюстрации в разных стилях. LoRA на 2D-персонажах рекомендую тренить именно на ней.
Мы можем видеть акварельные предпосылки, что понравится не всем. Иллюстрация приобрела более детские черты, какую-то доброту и теплоту что-ли. Сразу вспоминается Хаяо Миядзаки с его сказочным стилем, при взгляде на который хочется мечтать.
Вы можете проявлять креативность и уменьшать Denoising Strength, чтобы сделать текстуру бумаги более выраженной, а также ограничить нейронку в определенной области изображения.
Тут у меня залагал режим Sketch, поэтому пришлось побуянствовать, что совсем не помешало Stable Diffusion завершить работу успешно.
В конце продемонстрирую вам легенду, доводящую подростков 1980-х годов до писка.
Congratulations, вы справились!
👋 Сейчас я пишу плагины для Figma с помощью нейросетей, параллельно изучая Front-end — рассказываю в тг-канале
Ссылка на канал парня, который обнаружил данный лайфхак.