Написание промптов для Stable Diffusion: подборка инструментов и оптимизация

Нейросети и text2image модели становятся привычным инструментом для работы и творчества, и многие хотят сами попробовать их в действии. Но на пути к широкому использованию появляется один барьер – как правильно сказать нейронке, что ты хочешь от нее получить? В этой статье мы расскажем о самых доступных способах написать текстовый запрос (промпт) и как быстро получить wow-результаты.

Мы понимаем, что в MidJourney и в других text2image инструментах хорошие результаты могут быть достигнуты меньшими усилиями, но мы останавливаемся на Stable Diffusion, т.к. у этой нейросети огромное коммьюнити и open source разработки, которые приводят к появлению большого количества дополнений, расширений и моделей. И мы считаем, что хоть и практика prompt engineering требует навыка и освоения, написание промптов может быть простым процессом.

Промпт, или текстовый запрос, представляет собой предложение на английском языке длиной в среднем 200-300 символов, структурированное таким образом, чтобы нейронная сеть его поняла. Часто его измеряют в токенах, и если говорить в целом, то токен можно условно приравнять к слову или словосочетанию.

В промпте присутствует субъект (что конкретно мы хотим увидеть на изображении), что этот субъект делает/где находится и перечисление ключевых слов. В более сложной структуре в начало также может добавляться тип изображения, который вы хотите получить – картина, фотография, рисунок, скетч или 3D render, например.

Важно запомнить то, что чем ближе к началу находится то или иное слово, тем большую силу оно имеет в финальной генерации. О том, как влияет порядок слов, определенные знаки препинания и самые популярные ключевые слова на финальный результат мы рассказываем в книге про промпт инжиниринг.

При написании промпта мы рекомендуем описывать то, что вы хотите получить, как можно подробнее. Если вы напишите, например, просто эльф, то у нейросети остается много места для “воображения”.

Поэтому при генерации людей всегда рекомендуется описывать контекст, одежду или позу, особенно если речь идет про создание персонажа, у которого может быть много интерпретаций в разных культурах.

Здесь, к сожалению, не обойтись и без дополнительных слов, которые помогли бы направить нейросеть в нужное русло. По сути следует задавать себе вопрос: какими словами я бы описал то, что хочу увидеть. Это портрет? Это concept sheet? Это скетч? Это фотореалистичный концепт?

Для того, чтобы найти эти нужные ключевые слова, вы можете пойти по одному из трех путей:

Если вы выбрали первый способ, то отличными помощниками вам послужат книги по промптам, которые собрали в себе лучшие практики и ключевые слова, например, Stable Diffusion PromptBook и подборки ключевых слов с визуализацией: Stable Diffusion Modifier Studies, SD Artists Collection, SD Artists Style Studies, SD Artist Studies и Stable Diffusion Cheat-Sheet, которая появилась совсем недавно.

В них представлены все возможные ключевые слова, перебирая которые вы можете найти подходящие модифаеры для вашей идеи.

Не можем не отметить lexica.art – сайт-поисковик генераций в Stable Diffusion: в нем как в Google вы вводите ваш запрос (в данном случае это может быть персонаж, стилистика или объект, например) и получаете подборку с генерациями по этому запросу с подробной информацией о промпте и настройках.

Мы также собрали небольшую коллекцию промптов для персонажей, локаций и объектов, из которых вы можете брать вдохновение.

Однако, если у вас нет много времени и вы не хотите тратить большую его часть за перебором слов, советуем воспользоваться конструкторами промптов. Это как правило веб-приложения, в которых как из кубиков Лего вы можете собирать промпт. Самый популярный из них – Promptomania.

Имея ключевое слово и ее визуализацию в одном месте, мы можем гораздо проще собрать нужный нам промпт и использовать его дальше в генерациях. Prompt Builder, кстати, доступен и для других text2image моделей: MidJourney и DALL-E 2.

Другим способом написания текстового запроса можно считать использование инструментов промпт оптимизации. Здесь ключевым моментом является стремление получить хороший промпт минимальными усилиями.

Первый из таких инструментов – это Prompt Extend. Он помогает расширить небольшой промпт, добавляя в конец релевантные ключевые слова.

Такой вариант отлично подойдет тем, кто только начинает работать с text2image моделями, поскольку в выданном результате встречаются наиболее подходящие под конкретный запрос модифаеры.

Схожим принципом обладает также ChatGPT, которому для создания промптов для Stable Diffusion необходимо задать контекст: рассказать, как правильно построить промпт, что это такое и дать примеры и на основании этого дальше генерировать текстовые запросы.

Из-за этого работа с ChatGPT как с генератором промптов для Stable Diffusion – это не самый beginner-friendly процесс, так как требует знаний о том, как строится промпт, какие слова используются, а какие нет, нужно также дать перечень уже существующих промптов. Поэтому рекомендуем самостоятельно использовать ChatGPT пользователям более продвинутого уровня.

Для начинающих пользователей мы можем посоветовать попробовать ChatGPT в нашем продукте Phygital+. В нем для удобства мы добавили прямо в поле промпта волшебную палочку, которая предложит релевантный промпт. Подробнее об этом мы показали в нашем видео.

Еще одной нашей разработкой для упрощения работы с промптами является Artistic Mode. Скрытно для пользователя он улучшает написанный ими текстовый запрос. Сам Artistic Mode работает в 4 режимах: общий, портрет, персонаж в полный рост и лендскейпы.

С помощью кастомных моделей (Stable Diffusion, обученный на определенной стилистике) можно также проще и быстрее добиться красивых результатов при малом количестве слов. В Phygital+ доступно уже более 40 бесплатных моделей для использования и экспериментов.

Важную роль при работе с промптом также занимает негативный промпт – это текстовый запрос, который говорит нейросети, что не должно присутствовать на финальном изображении. Как правило, в нем пишут то, что нужно убрать из генерации – деформированные руки, второй человек в кадре, размытость, шум, плохое качество, и т.д.

С использованием негативного промпта даже при небольшом текстовом запросе можно получить изображение с меньшим количеством артефактов. Большие негативные промпты не обязательно работают лучше, поэтому советуем взять за основу основные ключевые слова (grumpy, ugly, cropped, blurry, noisy, oversaturated, deformed, extra fingers, extra legs, extra limbs, out of frame, cut off, weird, bad proportions, low quality, low resolution, text, watermark, signature) и модифицировать негативный промпт в зависимости от того, какая генерация у вас получается.

Еще одним инструментом для работы с промптами и поиска идей является Image-to-text prompt. Это очень полезная вещь, если у вас есть референс и вы хотите сгенерировать в Stable Diffusion похожую картинку.

Информацию о всех ресурсах для помощи в написании промптов для вашего удобства мы собрали в единую подборку на AI Library.

Если вы не знаете с чего начать писать промпт, мы рекомендуем воспользоваться самыми популярными инструментами – Lexica, ChatGPT и Prompt Extend, которые вы можете бесплатно попробовать уже сейчас в Phygital+.

#prompt #stablediffusion