Ваша аудитория ненавидит нейросети

Нейросети - восхитительно мощный, полезный, эффективный инструмент. Но все ли любят их так, как любим их мы, разработчики? Пытаясь продвигать идеалы нейросетевой разработки при создании ретро-шутера Slipgate, мы наткнулись на шквал ненависти. Как мы используем нейросети? Справедливы ли обвинения в воровстве? За что ненавидят «художников новой волны»?

С лета 2022 года мы разрабатываем Slipgate - старомодный шутер про демоническое вторжение и противостоящего ему харизматичного героя а-ля Дюк Нюкем. Проект создаётся в качестве хобби силами небольшой команды профессионалов-энтузиастов.

Как единственный выживший после неудачного портального эксперимента, наш герой пробивается в поисках своей жены сквозь медленно проваливающуюся в ад военную базу, попутно отстреливая из верного дробовика полчища нежити, демонов и мутантов.

По дороге герой узнаёт, что демоны, в общем-то, не такие плохие ребята, обзаводится могущественным артефактом, и раскрывает тайны древних цивилизаций. Классический сюжет для ретро-шутера – хоть и с парой интересных твистов посередине. Основную ставку, как полагается в шутерах старой формации, мы всё-таки делаем на геймплей и дизайн.

В основе художественного видения проекта – концепция «игра из 2005-го, сделанная сейчас». Но то, что мы делаем игру в том виде, в каком она могла бы существовать в прежние благословенные годы – не значит, что мы должны пользоваться сугубо инструментами из 2005-го. Конечно, кое-где мы намертво привязаны к технологиям и утилитам выбранного движка родом из той эпохи… но там, где мы можем – мы применяем всё самое свежее и эффективное.

Ремарка: Про движок

В команде все уже люди взрослые, преимущественно за 30, трезво оцениваем свои силы, и поскольку бюджета у нас нет (хобби-разработка - она такая), то любой инструмент, который может помочь – на вес золота.

Мы используем нейросети повсеместно, «затыкая» ими дыры на месте отсутствующих или слишком занятых специалистов. Они помогают нам, генерируя арт, концепты, текстуры, озвучку (уточнение – см. послесловие в конце статьи).

Как у нас, скажем, появляется новый монстр? Вот с точки зрения игровых механик возникла задача – «нам нужен ещё один вид противников, который делает то-то и то-то». Тогда мы проводим мозговой штурм, на котором мы набрасываем мысли: что это за создание может быть такое, как выглядеть, откуда взяться, как будет вписываться в игровой мир?

Если на этом этапе цельное видение монстра не сложилось – именно тут в дело вступает Stable Diffusion, причём с самым примитивным сценарием использования: из характерных черт желаемого существа составляем промт, добавляем модификаторов по вкусу, забрасываем в бедную нейросеть. «У неё голова железная – пускай соберёт чего-нибудь из этой солянки».

Зачастую результат оказывается убогим – кривым, косым, шаблонным. Но в этой куче мусора мелькают и крупинки золота – по-настоящему интересных идей. Порой нейросеть, подобно сну человеческого разума, порождает интересные и очень необычные образы чудовищ.

Именно так, например, оформился наш «заглавный» монстр, долгое время красовавшийся на обложке игры – одержимый морпех. Мы пытались придумать запоминающуюся разновидность зомби-охранника, закидывая нейросеть промтами разного уровня бредовости... пардон, методично перебирая варианты. Одна из генераций неожиданно подарила нам изображение живого мертвеца с горящими внутренним светом окулярами маски-респиратора. Монстр оказался и нестандартным, и на удивление харизматичным.

Довольно быстро была создана модель персонажа, и его жёлтые окуляры удачно вписались как в лор (проявление силы демона, вытеснившего из тела бывшего владельца), так и в механику игры (по горящим в темноте глазам очень удобно целиться). Успех!

Всё, что мы описали выше – достаточно сомнительный метод. Подход «засыпать детали в мешок и трясти, пока не соберётся радиоприёмник» редко приводит к желаемому результату. Потому за созданием наших артов сейчас стоит более серьёзный подход.

Вот пример: нам потребовалось придумать, как могла бы выглядеть жена главного героя – видный учёный и руководитель портального эксперимента – попав под развращающее демоническое влияние. Для метода «засыпать и потрясти» мы сформировали промт вида «beautiful and slender female demon in fantastic high tech combat armor casting a spell in front of teleportation chamber, by WLOP, Neon, Electric Colors, Cinematic Lighting, Ray Tracing Reflections», по которому и получили неказистое, но любопытное изображение.

В качестве стартовой точки – довольно неплохо. Можно было бы попытаться вытянуть картинку, перерисовав «больные места» при помощи inpainting… Но здесь не всё хорошо. Например, броня больше напоминает средневековую – и это не поправишь так запросто. Мы приступили к сложному и творческому процессу.

Шаги к результату:

За помощь с промт-инжинирингом и генерацией отдельное спасибо программисту, писателю и просто хорошему другу Сергею Бельскому. А вот сам процесс:

1) Пробуем поправить дело, подключив модель LoRA, ориентированную на рисование женских образов. Анатомия теперь больше похоже на человека, дефекты ушли, да и вообще прорисовка деталей стала лучше. Проблема другая – из фурии наша злодейка превратилась в гурию. Не годится.

2) Добавили в промт немного особенностей, взятых из бэкстори героини, сменили LoRA. Вышла… Капитан Марвел с кошачьими ушами? У Сергея, доброй души, все выходящие из-под его пера злодейки оказываются крайне милы и располагающи. Нам же нужны злоба и безумие.

3) Добавили в промт черты героини, подумав, на кого из популярных персонажей её сделать похожей. В качестве референса – Сильвана из ВоВ. Симпатичная, опасная, недобрая. Интересные варианты брони, но первая леди – скорее ассасин, вторая – невыспавшийся косплеер.

4) Перебираем определения мрачности. Уже ближе, гораздо ближе, героиня смотрит угрожающе – но вид у злодейки всё ещё слишком человечный, не хватает по-настоящему злобной, демонической жилки.

5) Ищем новые референсы. Знает ли нейросеть Кэрриган? Результат получился вот такой – инопланетная королева, которая явно ждала нас на чай с плюшками. Слишком добрая!

6) Варьируем промт. Мы явно на верном пути – костюм заострился, уже страшнее, хотя инсектоидных мотивов теперь многовато. И какая-то странная вотермарка в углу. Абсолютно легитимный арт без заимствований и с высокой долей уникальности, ага.

7) Добавлено больше злодейства. Рыжие огоньки в глазах, злобная гримаса, любопытный костюм. На этом можно было бы уже остановиться…

8) Но мы слегка варьируем промт, пробуем перебирать LoRA, и… вот оно, стопроцентное попадание! Футуристический костюм, острые черты симпатичного, в сущности, лица, нездоровая бледность, демонический огонь в глазах, сумасшедшая улыбка. Лучшего нечего и желать! И вот он после пост-процессинга (улучшение лица, upscale, ретушь):

Как видите, это был длительный, интенсивный и целенаправленный процесс разработки персонажа.

Мы решили поделиться результатами на Реддит – крупнейшей англоязычной площадке, куда инди-разработчики со всего мира ходят и других посмотреть, и себя показать. Мы сделали скромный пост – и нас тут же захлестнула волна самых неожиданных на тот обвинений.

Поведаю об основных обвинениях, поступающих в адрес «AI-художников»:

Мне было удивительно узнать, что до сих пор встречаются люди, которые «мерилом работы считают усталость». То есть если процесс переноса галлюцинаций заказчика на цифровой носитель выполнен человеческой рукой – то это настоящее искусство, а если красивую картинку создала нейросеть – результат автоматически становится посредственным и невпечатляющим?

Тут я затрудняюсь ответить. Вероятно, роль играет тот факт, что раз мы можем «конвейерным методом» выдавать таких творений по сотне в час, то в нашей культуре изделие автоматически считается «бездушным», поделием масс-маркета. Но если это была штучная работа (не важно, картина это или, скажем, табурет), над которой вручную потел и ругался живой творец, то предмет автоматически приобретает значимость.

Вспоминается классика в лице Лукьяненко, когда он ещё был торт:

Причём художественная ценность штучной работы подчас отходит на второй план – важным в глазах зрителя становится «культурный шлейф» объекта творчества, составленный из авторского видения и предыстории создания. И вот у нейросетей с «культурным шлейфом» пока в глазах вашей аудитории всё очень сложно.

UPD: Поясняю за "Чёрный квадрат" для тех, кто ничего не понял и на всякий случай обиделся:

Нечто подобное я застал во времена своего детства, когда плёночные фотокамеры сражались с цифровыми. Последние обвиняли в «бездушности», а сделанные ими снимки считались безвкусицей и «холодной цифрой». Старые фотографы ворчали – без ограничения в 32 снимка нет необходимости тщательно выбирать ракурс, ловить кадр, строить сцену… Знай ходи да щёлкай затвором как дурак, авось чего получится! Да ещё и половину параметров тебе автоматика подберёт, вообще срамота!

Прошло два десятка лет – и где они, плёночные камеры? Ушли в историю, оставшись на полках в качестве развлечения для элитариев. А вот цифровые процветают – встроены в каждый смартфон.

Вполне возможно, что мы являемся свидетелями такого же перехода в мире цифрового арта. Так или иначе, но пока что созданные ИИ изображения частью вашей аудитории оцениваются как низкопробные поделки, где всё вместо компьютера сделал человек. Звучат скандалы вида «мы поймали художника на том, что он пользовался нейросетями, он заклеймлён позором, его результаты выброшены в помойку».

Обвинение частое и для западной аудитории, уважающей копирайты, довольно болезненное. Ведь нейросеть и правда использует для обучения работы настоящих художников, а значит, создаёт в некоторой степени производные от них творений (причём без согласия самих авторов)? А когда нейросеть начинает копировать стиль известного своей техникой художника, грозя оставить того без куска хлеба – то всё становится совсем грустно.

Проблема на самом деле весьма сложна. Почему, когда чужие приёмы и стиль использует живой человек, то это называется «учился и вдохновлялся»? Ведь «мясные» творцы также имеют в своей голове нейросеть, которая подобным же образом учится на работах лучших из мастеров. Ещё древние греки сказали, что мире в принципе нет ничего нового – и всякий человек учится у предшественников, рекомбинирует существующие чужие идеи через призму своего опыта. Чем же хуже нейросеть?

Впрочем, давайте оставим эти вопросы философам и юристам. Интересно то, что сам факт использования столь полезного инструмента сделает из вас работ в глазах части аудитории воришку чужой интеллектуальной собственности. Это крайне неприятно и, на мой взгляд, незаслуженно. Такая проблема со временем разрешиться, когда отношение общества к ИИ станет яснее – но уже сейчас надо это учитывать и быть готовым к работе с возражениями.

Дополнение: пока писалась эта статья, открылись новые обстоятельства. См. послесловие в конце.

Довольно популярная позиция – используя нейросеть, мы лишили рабочего места художника, которого бы иначе наняли на эту работу. Позиция особенно близка для заокеанских стран, где сильна традиция профсоюзных трудовых квот из серии «чтобы иметь право снимать свой фильм, вы должны нанять 25 членов профсоюза актёров, даже если это документалка о животных».

В условиях же суровой реальности, если бы не нейросеть, то никакого художника мы бы не наняли, а рисовали те же арты с меньшими успехами и получали бы на выходе худшее качество.

Впрочем, опасения понятны. История знает множество таких моментов, когда механизация труда сделала ненужным специалистов труда ручного. Только вот многие не учитывают, что потом за новые машины стали дети тех же работников, а суммарная производительность многократно выросла. Так и тут, настоящие художники не вымрут – просто изменят свой инструментарий на более эффективный. Уже сейчас многие в восторге от «Генеративной заливки» в последних версиях Photoshop.

Впрочем, до осознания этого «ИИ-артисты» ожидаемо получат тонну негатива на свою голову.

Людей, ненавидящих нейросети, не так уж мало. Они впечатлены силой науки, давшей нам возможность за одно нажатие кнопки сотворить шедевр. Они напуганы и не понимают, как это работает – и не понимают, как это повлияет на их жизнь.

Да и будем честны - когда нейросети сейчас лезут из каждого утюга, это - как любая хайповая тема - несколько утомляет.

Думаю, на нынешнем этапе дразнить аудиторию неразумно. Не все ещё готовы принять, что джинн уже выпущен из бутылки. Но скоро всё изменится. Помимо громких публикаций о том, что кто-то смог полностью автоматизировать свою работу – уже сейчас есть люди, которые втихомолку используют нейросеть, чтобы получить многократный прирост производительности. Новая эра на пороге, к добру или к худу. И даже если мы с вами уже готовы к ней – то надо пощадить чувства тех, кто ненавидит нейросети.

На днях начали появляться первые весточки пугающих перемен. Торговая площадка Steam начала закручивать гайки в отношении проектов, использующих творчество ИИ-артистов. Их аргументация понятна – пока нет законов, описывающих правила обучения нейросетей. Соответственно, создавая производные от чужих работ, можно нечаянно нарушить чужие права на интеллектуальную собственность. Потому сейчас наблюдается волна разбирательств с теми, кто основывал всю разработку на ИИ-пайплайне – и непонятно, в какую сторону качнётся этот маятник дальше.

Соответственно, мы сейчас занимаемся тем, что обеспечиваем лицензионную чистоту нашего проекта, в том числе – отказом от использования подозрительных нейросетевых моделей.

На замену ряду арта, сгенерированного нейросетями, уже подоспели реальные рендеры. Но вы ещё успеете сходить их посмотреть (и добавить нашу игру в вишлист), пока страница висит в старом оформлении. Бегом в Steam!

Ну а если Вам интересно, как мы разрабатываем наш ретро-шутер, и где мы применяли нейросетевые технологии – милости прошу в наш ТГ-канал:

Ну и зайдите к моему другу Сергею Бельскому - он не только пишет интересные книги, но и создаёт абсолютно чумовые иллюстрации для них при помощи нейросетей!