Ваша аудитория ненавидит нейросети

Ваша аудитория ненавидит нейросети

Нейросети - восхитительно мощный, полезный, эффективный инструмент. Но все ли любят их так, как любим их мы, разработчики? Пытаясь продвигать идеалы нейросетевой разработки при создании ретро-шутера Slipgate, мы наткнулись на шквал ненависти. Как мы используем нейросети? Справедливы ли обвинения в воровстве? За что ненавидят «художников новой волны»?

Что у нас за проект?

С лета 2022 года мы разрабатываем Slipgate - старомодный шутер про демоническое вторжение и противостоящего ему харизматичного героя а-ля Дюк Нюкем. Проект создаётся в качестве хобби силами небольшой команды профессионалов-энтузиастов.

Такое вот выражение любви к классике в лице Half-Life, Quake 2, Doom, SiN.

Как единственный выживший после неудачного портального эксперимента, наш герой пробивается в поисках своей жены сквозь медленно проваливающуюся в ад военную базу, попутно отстреливая из верного дробовика полчища нежити, демонов и мутантов.

<i>Вот такие чудовища вам встретятся в игре. Наука до сих пор не определилась с вопросом "а куда он кушает"</i>
Вот такие чудовища вам встретятся в игре. Наука до сих пор не определилась с вопросом "а куда он кушает"

По дороге герой узнаёт, что демоны, в общем-то, не такие плохие ребята, обзаводится могущественным артефактом, и раскрывает тайны древних цивилизаций. Классический сюжет для ретро-шутера – хоть и с парой интересных твистов посередине. Основную ставку, как полагается в шутерах старой формации, мы всё-таки делаем на геймплей и дизайн.

Зачем сюжет? Лучше поглядите, как у нас зомби умеют притворяться мёртвыми!

В основе художественного видения проекта – концепция «игра из 2005-го, сделанная сейчас». Но то, что мы делаем игру в том виде, в каком она могла бы существовать в прежние благословенные годы – не значит, что мы должны пользоваться сугубо инструментами из 2005-го. Конечно, кое-где мы намертво привязаны к технологиям и утилитам выбранного движка родом из той эпохи… но там, где мы можем – мы применяем всё самое свежее и эффективное.

Ремарка: Про движок

Мы добиваемся аутентичности нашего «ретро», используя игровой движок BIMA – по сути, 15-летней давности. Наследника приснопамятного FPS Creator (подробнее читайте тут). Кто-то скажет, что это уже чересчур – но мы, тем не менее, явно видим результат такого подхода, когда от игроков получаем отзыв вида «не можем сказать почему, но мы видим, что это не Unity/Unreal».

Несмотря на множество косметических «подтяжек» (PBR, шейдеры, физика) – наш движок всё ещё остаётся технологией родом из 2005-го на базе DirectX 9, с соответствующими техническими ограничениями. Так, для моделей персонажей мы ограничены бюджетом в 10-15к полигонов, присутствует лимит на число активных предметов, на геометрию уровней, ряд ограничений в работе подсистемы освещения... Если будет интересно – выпустим отдельную статью про особенности разработки на ретро-движке.

В команде все уже люди взрослые, преимущественно за 30, трезво оцениваем свои силы, и поскольку бюджета у нас нет (хобби-разработка - она такая), то любой инструмент, который может помочь – на вес золота.

Крутите барабан

Мы используем нейросети повсеместно, «затыкая» ими дыры на месте отсутствующих или слишком занятых специалистов. Они помогают нам, генерируя арт, концепты, текстуры, озвучку (уточнение – см. послесловие в конце статьи).

Как у нас, скажем, появляется новый монстр? Вот с точки зрения игровых механик возникла задача – «нам нужен ещё один вид противников, который делает то-то и то-то». Тогда мы проводим мозговой штурм, на котором мы набрасываем мысли: что это за создание может быть такое, как выглядеть, откуда взяться, как будет вписываться в игровой мир?

Если на этом этапе цельное видение монстра не сложилось – именно тут в дело вступает Stable Diffusion, причём с самым примитивным сценарием использования: из характерных черт желаемого существа составляем промт, добавляем модификаторов по вкусу, забрасываем в бедную нейросеть. «У неё голова железная – пускай соберёт чего-нибудь из этой солянки».

<i>Неопытный промт-инженер загружает в нейросеть описание вида «сделай монстра, страшного, зубастого, высокая оригинальность, HDR, 4K, Artstation»</i>
Неопытный промт-инженер загружает в нейросеть описание вида «сделай монстра, страшного, зубастого, высокая оригинальность, HDR, 4K, Artstation»

Зачастую результат оказывается убогим – кривым, косым, шаблонным. Но в этой куче мусора мелькают и крупинки золота – по-настоящему интересных идей. Порой нейросеть, подобно сну человеческого разума, порождает интересные и очень необычные образы чудовищ.

<i>Жертва... эээ... результат генерации промта «Zombie in power armor by WLOP, Neon, Electric Colors, Cinematic Lighting, Studio Lighting, Ray Tracing Reflections». Если не смотреть на автомат –достаточно прилично.</i>
Жертва... эээ... результат генерации промта «Zombie in power armor by WLOP, Neon, Electric Colors, Cinematic Lighting, Studio Lighting, Ray Tracing Reflections». Если не смотреть на автомат –достаточно прилично.

Именно так, например, оформился наш «заглавный» монстр, долгое время красовавшийся на обложке игры – одержимый морпех. Мы пытались придумать запоминающуюся разновидность зомби-охранника, закидывая нейросеть промтами разного уровня бредовости... пардон, методично перебирая варианты. Одна из генераций неожиданно подарила нам изображение живого мертвеца с горящими внутренним светом окулярами маски-респиратора. Монстр оказался и нестандартным, и на удивление харизматичным.

<i>Так выглядит результат – сверху монстр рядом со всё ещё «здоровым» товарищем, снизу – в процессе нападения на игрока из засады.</i>
Так выглядит результат – сверху монстр рядом со всё ещё «здоровым» товарищем, снизу – в процессе нападения на игрока из засады.

Довольно быстро была создана модель персонажа, и его жёлтые окуляры удачно вписались как в лор (проявление силы демона, вытеснившего из тела бывшего владельца), так и в механику игры (по горящим в темноте глазам очень удобно целиться). Успех!

И совсем не похоже на заглавного монстра из Resistance, "того чувака из второго Resident Evil", зомби из Necrovision и ещё полсотни монстров с подсвечивающейся маской, лол.

А теперь давайте серьёзно

Всё, что мы описали выше – достаточно сомнительный метод. Подход «засыпать детали в мешок и трясти, пока не соберётся радиоприёмник» редко приводит к желаемому результату. Потому за созданием наших артов сейчас стоит более серьёзный подход.

<i>Неопытный промт-инженер изучает результат генерации</i>
Неопытный промт-инженер изучает результат генерации

Вот пример: нам потребовалось придумать, как могла бы выглядеть жена главного героя – видный учёный и руководитель портального эксперимента – попав под развращающее демоническое влияние. Для метода «засыпать и потрясти» мы сформировали промт вида «beautiful and slender female demon in fantastic high tech combat armor casting a spell in front of teleportation chamber, by WLOP, Neon, Electric Colors, Cinematic Lighting, Ray Tracing Reflections», по которому и получили неказистое, но любопытное изображение.

<i>Светящаяся грудь?! SD, а ты, оказывается, проказник! А если серьёзно – куча ошибок генерации. Анатомия так вообще вышла из чата. Но идея уже вырисовывается.</i>
Светящаяся грудь?! SD, а ты, оказывается, проказник! А если серьёзно – куча ошибок генерации. Анатомия так вообще вышла из чата. Но идея уже вырисовывается.

В качестве стартовой точки – довольно неплохо. Можно было бы попытаться вытянуть картинку, перерисовав «больные места» при помощи inpainting… Но здесь не всё хорошо. Например, броня больше напоминает средневековую – и это не поправишь так запросто. Мы приступили к сложному и творческому процессу.

Шаги к результату:

За помощь с промт-инжинирингом и генерацией отдельное спасибо программисту, писателю и просто хорошему другу Сергею Бельскому. А вот сам процесс:

1) Пробуем поправить дело, подключив модель LoRA, ориентированную на рисование женских образов. Анатомия теперь больше похоже на человека, дефекты ушли, да и вообще прорисовка деталей стала лучше. Проблема другая – из фурии наша злодейка превратилась в гурию. Не годится.

Ваша аудитория ненавидит нейросети

2) Добавили в промт немного особенностей, взятых из бэкстори героини, сменили LoRA. Вышла… Капитан Марвел с кошачьими ушами? У Сергея, доброй души, все выходящие из-под его пера злодейки оказываются крайне милы и располагающи. Нам же нужны злоба и безумие.

Ваша аудитория ненавидит нейросети

3) Добавили в промт черты героини, подумав, на кого из популярных персонажей её сделать похожей. В качестве референса – Сильвана из ВоВ. Симпатичная, опасная, недобрая. Интересные варианты брони, но первая леди – скорее ассасин, вторая – невыспавшийся косплеер.

4) Перебираем определения мрачности. Уже ближе, гораздо ближе, героиня смотрит угрожающе – но вид у злодейки всё ещё слишком человечный, не хватает по-настоящему злобной, демонической жилки.

Ваша аудитория ненавидит нейросети

5) Ищем новые референсы. Знает ли нейросеть Кэрриган? Результат получился вот такой – инопланетная королева, которая явно ждала нас на чай с плюшками. Слишком добрая!

Ваша аудитория ненавидит нейросети

6) Варьируем промт. Мы явно на верном пути – костюм заострился, уже страшнее, хотя инсектоидных мотивов теперь многовато. И какая-то странная вотермарка в углу. Абсолютно легитимный арт без заимствований и с высокой долей уникальности, ага.

7) Добавлено больше злодейства. Рыжие огоньки в глазах, злобная гримаса, любопытный костюм. На этом можно было бы уже остановиться…

Ваша аудитория ненавидит нейросети

8) Но мы слегка варьируем промт, пробуем перебирать LoRA, и… вот оно, стопроцентное попадание! Футуристический костюм, острые черты симпатичного, в сущности, лица, нездоровая бледность, демонический огонь в глазах, сумасшедшая улыбка. Лучшего нечего и желать! И вот он после пост-процессинга (улучшение лица, upscale, ретушь):

Ваша аудитория ненавидит нейросети

Как видите, это был длительный, интенсивный и целенаправленный процесс разработки персонажа.

Ненависть и обвинения

Мы решили поделиться результатами на Реддит – крупнейшей англоязычной площадке, куда инди-разработчики со всего мира ходят и других посмотреть, и себя показать. Мы сделали скромный пост – и нас тут же захлестнула волна самых неожиданных на тот обвинений.

<i>Типовые примеры недовольных комментариев</i>
Типовые примеры недовольных комментариев

Поведаю об основных обвинениях, поступающих в адрес «AI-художников»:

Ваш результат – не результат, ведь вы не сами рисовали. Да и вообще взять нейросетку и нарисовать такое каждый может...

Среднестатистический хейтер

Мне было удивительно узнать, что до сих пор встречаются люди, которые «мерилом работы считают усталость». То есть если процесс переноса галлюцинаций заказчика на цифровой носитель выполнен человеческой рукой – то это настоящее искусство, а если красивую картинку создала нейросеть – результат автоматически становится посредственным и невпечатляющим?

Тут я затрудняюсь ответить. Вероятно, роль играет тот факт, что раз мы можем «конвейерным методом» выдавать таких творений по сотне в час, то в нашей культуре изделие автоматически считается «бездушным», поделием масс-маркета. Но если это была штучная работа (не важно, картина это или, скажем, табурет), над которой вручную потел и ругался живой творец, то предмет автоматически приобретает значимость.

Вспоминается классика в лице Лукьяненко, когда он ещё был торт:

Что может быть нелепее профессии грузчика в виртуальном мире? Нет, вы скажите, что может быть более не нужно в мире электронных импульсов, где нет на самом-то деле ни расстояний, ни тяжестей? Весь фокус – в подсознании. Если рояль доставят в виде резиновой игрушки и надуют посреди комнаты – ты не поверишь в его чистое и настоящее звучание. Надо, чтобы на твоих глазах крепкие ребята в спецовках тащили, чертыхаясь и обливаясь потом, груз по лестнице…

"Фальшивые зеркала"

Причём художественная ценность штучной работы подчас отходит на второй план – важным в глазах зрителя становится «культурный шлейф» объекта творчества, составленный из авторского видения и предыстории создания. И вот у нейросетей с «культурным шлейфом» пока в глазах вашей аудитории всё очень сложно.

<i>Эталон произведения с заведомо нулевой художественной ценностью, но с огромным «культурным шлейфом»</i>
Эталон произведения с заведомо нулевой художественной ценностью, но с огромным «культурным шлейфом»

UPD: Поясняю за "Чёрный квадрат" для тех, кто ничего не понял и на всякий случай обиделся:

Никакой художественной ценности в картине нет. Закрасить полотно чёрным прямоугольником - не нужна ни мастерская техника, ни глаз художника, ни умение работать с цветами, ни ещё сотня специфических навыков. Нарисовать такое может любой человек с двумя руками. Ничего сложного не изображено - то есть художественная ценность отсутствует. А вот ценность культурная...

А гениальность в том, что за "Чёрным квадратом" - огромная задумка. Если не знакомы, почитайте про оперу "Победа над Солнцем", для которой изначально образ чёрного квадрата был создан как, цитирую "пластическое выражение победы активного человеческого творчества над пассивной формой природы: чёрный квадрат вместо солнечного круга".

Это символ, и поистине гениальный "протестный" символ против косного, оторванного от жизни искусства, поставившего себе целью красиво изобразить действительность. Чтобы такое полотно написать - таланта не надо. А вот чтобы этот символ породить - нужен был гений.

Нечто подобное я застал во времена своего детства, когда плёночные фотокамеры сражались с цифровыми. Последние обвиняли в «бездушности», а сделанные ими снимки считались безвкусицей и «холодной цифрой». Старые фотографы ворчали – без ограничения в 32 снимка нет необходимости тщательно выбирать ракурс, ловить кадр, строить сцену… Знай ходи да щёлкай затвором как дурак, авось чего получится! Да ещё и половину параметров тебе автоматика подберёт, вообще срамота!

Прошло два десятка лет – и где они, плёночные камеры? Ушли в историю, оставшись на полках в качестве развлечения для элитариев. А вот цифровые процветают – встроены в каждый смартфон.

Вполне возможно, что мы являемся свидетелями такого же перехода в мире цифрового арта. Так или иначе, но пока что созданные ИИ изображения частью вашей аудитории оцениваются как низкопробные поделки, где всё вместо компьютера сделал человек. Звучат скандалы вида «мы поймали художника на том, что он пользовался нейросетями, он заклеймлён позором, его результаты выброшены в помойку».

<p><i>Арт не без недостатков – но это халтурное отношение художника, а не проблемы нейросети.</i></p>

Арт не без недостатков – но это халтурное отношение художника, а не проблемы нейросети.

Это кража, ведь нейросеть учится у художников!

Типичный хейтер с Реддита

Обвинение частое и для западной аудитории, уважающей копирайты, довольно болезненное. Ведь нейросеть и правда использует для обучения работы настоящих художников, а значит, создаёт в некоторой степени производные от них творений (причём без согласия самих авторов)? А когда нейросеть начинает копировать стиль известного своей техникой художника, грозя оставить того без куска хлеба – то всё становится совсем грустно.

<i>Немного об аргументации обеих сторон конфликта можно почитать <b><a href="https://api.dtf.ru/v2.8/redirect?to=https%3A%2F%2Fhabr.com%2Fru%2Fcompanies%2Fruvds%2Farticles%2F711834%2F&postId=2057038" rel="nofollow noreferrer noopener" target="_blank">тут</a></b></i>
Немного об аргументации обеих сторон конфликта можно почитать тут

Проблема на самом деле весьма сложна. Почему, когда чужие приёмы и стиль использует живой человек, то это называется «учился и вдохновлялся»? Ведь «мясные» творцы также имеют в своей голове нейросеть, которая подобным же образом учится на работах лучших из мастеров. Ещё древние греки сказали, что мире в принципе нет ничего нового – и всякий человек учится у предшественников, рекомбинирует существующие чужие идеи через призму своего опыта. Чем же хуже нейросеть?

Впрочем, давайте оставим эти вопросы философам и юристам. Интересно то, что сам факт использования столь полезного инструмента сделает из вас работ в глазах части аудитории воришку чужой интеллектуальной собственности. Это крайне неприятно и, на мой взгляд, незаслуженно. Такая проблема со временем разрешиться, когда отношение общества к ИИ станет яснее – но уже сейчас надо это учитывать и быть готовым к работе с возражениями.

Дополнение: пока писалась эта статья, открылись новые обстоятельства. См. послесловие в конце.

Это отнимает рабочие места у художников!

Возмущённый художник

Довольно популярная позиция – используя нейросеть, мы лишили рабочего места художника, которого бы иначе наняли на эту работу. Позиция особенно близка для заокеанских стран, где сильна традиция профсоюзных трудовых квот из серии «чтобы иметь право снимать свой фильм, вы должны нанять 25 членов профсоюза актёров, даже если это документалка о животных».

В геймдеве тоже есть свои профсоюзы, пусть и не настолько сильные. <a href="https://api.dtf.ru/v2.8/redirect?to=https%3A%2F%2F3dnews.ru%2F959093%2Fprofsoyuz-aktyorov-ozvuchivaniya-i-igrovie-kompanii-prishli-k-predvaritelnomu-soglasheniyu&postId=2057038" rel="nofollow noreferrer noopener" target="_blank">Источник</a>
В геймдеве тоже есть свои профсоюзы, пусть и не настолько сильные. Источник

В условиях же суровой реальности, если бы не нейросеть, то никакого художника мы бы не наняли, а рисовали те же арты с меньшими успехами и получали бы на выходе худшее качество.

Впрочем, опасения понятны. История знает множество таких моментов, когда механизация труда сделала ненужным специалистов труда ручного. Только вот многие не учитывают, что потом за новые машины стали дети тех же работников, а суммарная производительность многократно выросла. Так и тут, настоящие художники не вымрут – просто изменят свой инструментарий на более эффективный. Уже сейчас многие в восторге от «Генеративной заливки» в последних версиях Photoshop.

Впрочем, до осознания этого «ИИ-артисты» ожидаемо получат тонну негатива на свою голову.

Перспективы и советы

<i>Когда повсюду хейтеры</i>
Когда повсюду хейтеры

Людей, ненавидящих нейросети, не так уж мало. Они впечатлены силой науки, давшей нам возможность за одно нажатие кнопки сотворить шедевр. Они напуганы и не понимают, как это работает – и не понимают, как это повлияет на их жизнь.

Да и будем честны - когда нейросети сейчас лезут из каждого утюга, это - как любая хайповая тема - несколько утомляет.

Стоит ли людей дразнить и провоцировать? Или лучше скрывать тот факт, что вы используете нейросети в своей работе?

Из предварительных обсуждений

Думаю, на нынешнем этапе дразнить аудиторию неразумно. Не все ещё готовы принять, что джинн уже выпущен из бутылки. Но скоро всё изменится. Помимо громких публикаций о том, что кто-то смог полностью автоматизировать свою работу – уже сейчас есть люди, которые втихомолку используют нейросеть, чтобы получить многократный прирост производительности. Новая эра на пороге, к добру или к худу. И даже если мы с вами уже готовы к ней – то надо пощадить чувства тех, кто ненавидит нейросети.

Послесловие

На днях начали появляться первые весточки пугающих перемен. Торговая площадка Steam начала закручивать гайки в отношении проектов, использующих творчество ИИ-артистов. Их аргументация понятна – пока нет законов, описывающих правила обучения нейросетей. Соответственно, создавая производные от чужих работ, можно нечаянно нарушить чужие права на интеллектуальную собственность. Потому сейчас наблюдается волна разбирательств с теми, кто основывал всю разработку на ИИ-пайплайне – и непонятно, в какую сторону качнётся этот маятник дальше.

Соответственно, мы сейчас занимаемся тем, что обеспечиваем лицензионную чистоту нашего проекта, в том числе – отказом от использования подозрительных нейросетевых моделей.

Вариант новой обложки игры с монстром авторства Владимира Бузова. Стопроцентно натуральная ручная работа, никаких нейросетей!
Вариант новой обложки игры с монстром авторства Владимира Бузова. Стопроцентно натуральная ручная работа, никаких нейросетей!

Другие интересности!

На замену ряду арта, сгенерированного нейросетями, уже подоспели реальные рендеры. Но вы ещё успеете сходить их посмотреть (и добавить нашу игру в вишлист), пока страница висит в старом оформлении. Бегом в Steam!

Ну а если Вам интересно, как мы разрабатываем наш ретро-шутер, и где мы применяли нейросетевые технологии – милости прошу в наш ТГ-канал:

Ну и зайдите к моему другу Сергею Бельскому - он не только пишет интересные книги, но и создаёт абсолютно чумовые иллюстрации для них при помощи нейросетей!

Впервые опубликовано в журнале "Рендер.ру", август 2023, №13.
#нейросети #stablediffusion #fps #gamedev #retro #slipgate

5555
339 комментариев

Ты реально не вдупляешь почему люди "не любят нейросети"? Да потому, что по дефолту сгенерированные работы выглядят как говно, похожее друг на друга как две капли воды. Это как есть соевые макароны с соевыми котлетами и запивать соевым молоком - вроде разное, а по факту жрешь одну и ту же безвкусную хуйню. В твоем случае еще и сделано полностью спустя рукава, на отъебись - затертые до дыр модели, отсутствие полноценого контроля над процессом генерации и доработки после, отвратительные по качеству результаты - это выглядит как смачный плевок в лицо и негативное отношение людей к такому полностью обосновано.
И нечего строить из себя хрен пойми что и разводить абсурдную философию непонятых и обиженных новаторов, сделал говно в стремлении сэкономить на похуй - отвечай за результат.

65
Ответить

А я таки и не говорю, что я самый великий нейросетевик всея галактики. Я просто пробую, изучаю, экспериментирую. Инструмент новый, инструмент сложный, процесс изучения итеративный. Или ты сразу начал рисовать уникальные шедевры, как только взял карандаш в руки? Пруфы в студию, тогда и поговорим (:

Особенно смешно звучит тут слово "сэкономить". Статью не читай @ комментарии пиши.

6
Ответить

Результат - модель в игре. Изображение - инструмент визуализации.

Да, он дефолтный, и я в душе не понимаю нафиг автор с таким дженерик-изображегием куда-то пошёл и развёл сыр-бор, удивившись отношению.

Ну, типа - это нормальный референс для модели или для художника, если всё же по игре нужен качественный арт.

А так - это просто "рабочее изображение", как накалякать на коленке черновой вариант будущей квартиры, ты уже видишь как это будет выглядеть, на черновике - невразумительное фигня.

3
Ответить

Да потому, что по дефолту сгенерированные работы выглядят как говно, похожее друг на друга как две капли воды.

Чел, для этого нужно иметь хоть какой-то худо-бедно работающий анализатор в голове.
Для челиков, которым и шутки с одноклассников норм — каждая работа AI кажется шедевром.

2
Ответить

А что скажешь про эту мою работу? Я старался ) Разумеется, сделано в СД, но правлено ручками. Вроде говном никто не называл еще :D

Ответить

Так чем это отличается от спиздидтджитал артистов?

Ответить

Проблема в том что то, что сделано с помощью нейросети не представляет из себя никакой ценности. Сами данные арты и прочее бесполезны. Т.е. сам процесс между потребителем и производителем не включает разработчика, так как он нахер не нужен. Это не вопрос честности, развития и морали Это банальнейшая логика.

Проще говоря, были рингтоны mp3 или как их там звали. Нужны были люди, которые сделают так чтобы эти рингтоны загружались, нужны люди, которые будут рекламировать и т.д. Но прошло время и сейчас на телефон ты можешь поставить всё что угодно и тебе для этого никаких смс на короткие номера посылать не нужно. И большинство ходит с дефолтными звонками, поскольку ценности все эти "уникальные рингтоны" не несут уже никакой.

И люди, которые думают "вот щяс нагенерю, я гений" выглядят как будто они в 2023 развивают рингтоны с короткими номерами. Сами однотипные арты, сгенерированные ии это такое забавное развлечение на пару вечерков, которые довольно быстро надоедают и ты идешь искать что-то реально интересное и уникальное, а не однотипный конвейер.

Т.е. да, я могу на это посмотреть. Но когда кто то предлагает за это заплатить, это выглядит странно. Вот к этому то в основном и претензия у большинства.

37
Ответить