Перенос визуального стиля: как нейросети могут изменить игровую индустрию

Сокращение издержек и уникальный пользовательский опыт.

Основатель компании-разработчика мобильных игр Playgendary Дмитрий Шеленговский написал для DTF колонку, в которой рассказал о том, что такое перенос стиля с помощью нейросетей, для чего его можно использовать и как это может изменить игровую индустрию.

Давайте представим, что главный персонаж вашей любимый игры не нарисован художником, а будет вашей точной копией. Хотели бы вы сыграть в такую игру? Скорее всего, да. Ведь это совершенно другой опыт для игрока и совершенно другой уровень вовлечения в игру. К персонажу, нарисованному с тебя, ты будешь относиться куда трепетнее, прокачивать его будешь старательнее, а в игре будешь проводить больше времени.

Так или иначе, но игрок будет ассоциировать себя виртуального с реальным. К тому же, это куда более глубокое погружение в атмосферу игры: приключения начинаются уже не у условного Геральта из Ривии, а конкретно у вас.

Всё это открывает и дополнительные возможности для разработчиков. Например, в части монетизации игры. Так, игроки скорее захотят «побаловать» своего виртуального двойника лучшим оружием, доспехами, виртуальным автомобилем или любым другим товаром.

Некоторые эксперименты энтузиастов уже показывают многообещающие результаты. Например, энтузиаст машинного обучения и трансфера стилей Чинтант Триведи портировал своё лицо в FIFA 17 (точнее, в видеозапись из неё). «Швы» ещё заметны, но первые результаты выглядят многообещающе.

Захватывать можно и движения. В примере ниже всё тот же Триведи захватывает движения с обычной домашней веб-камеры.

Казалось бы, почему это не применяется повсеместно? Ведь соответствующие математические модели уже существуют, софт доступен.

Наши собственные эксперименты в этой области показали, что точность переноса всё ещё очень сильно «страдает», поэтому качества приемлемого уровня добиться не удается. Корень проблемы кроется в недостатке данных для обучения алгоритмов.

Внешность каждого человека уникальна, поэтому, чтобы обучить машину стабильно и с высокой точностью определять все нужные детали, нужно изучить огромное количество черт (формы носа, черепа, глубина посадки глаз, комплекция, походка и многое другое). И это не говоря уже об учёте таких факторов, как наклон головы или угол, с которого сделан кадр.

Без этого набора данных (а они должны быть в достаточном количестве) мы будем обречены получать результаты спорного качества: нос будет крепиться к губе, некоторые черты лица будут размытыми — всё это лишь портит впечатление от игры. Такие проблемы можно наблюдать на примерах выше.

Чуть проще процесс внедрения технологии будет проходить в «мультяшных» 2D-играх, типа нашей Bowmasters, где очень велика доля условности и стопроцентной точности не требуется. Густые брови, например, можно условно изобразить более толстой чёрточкой. К тому же, в мобильных играх неточности хуже заметны из-за маленького экрана.

Не так давно в интернете появилось видео, где с помощью нейросети игру Fortnite «переодели» в её конкурента — PlayerUnknown’s Battlegrounds. В основу легла нейросеть CycleGAN, которой и обрабатывалось изображение.

В качестве примера для обучения были взяты изображения из игры PUBG. Именно их стиль в итоге был применен к модификации арта Fortnite. Для обучения использовалось огромное количество скриншотов из обеих игр, а процесс длился 12 часов.

Обучались две нейросети одновременно, одной из целей этого обучения было создание понимания у нейросети того, чем в обеих играх являются одни и те же визуальные объекты (например, деревья, оружие и камни) — это, впоследствии, помогло сделать адекватную трансформацию таких объектов.

Получилось неплохо. Правда, есть несколько серьёзных проблем. Первая — это неточность. Даже на готовой картинке разрешением 256х256 пикселей видно, что в некоторых местах пиксели «блюрятся» из-за того, что алгоритмы работают всё ещё не так точно, как могли бы. Об этом мы говорили ранее.

Вторая проблема — это ресурсоёмкость. Из примера выше видно, что «выходная» картинка в стиле PUBG получилась разрешением 256х256 пикселей. На генерацию картинки в этом разрешении потребовалась мощность в восемь гигабайт видеопамяти. Обработка всего игрового процесса «на лету» потребует колоссальных мощностей, которые геймерам пока недоступны.

Впрочем, когда удастся решить все эти сложности с датасетами и ресурсоёмкостью, то эта технология может полностью изменить привычный геймдев. Например, могут появиться специальные движки, которые будут быстро менять графику под заданный стиль и требования, избавив от необходимости перерисовывать всё с нуля.

Ещё одной сферой использования переноса стиля может стать создание ассетов для игр. И первые уверенные шаги в этом направлении уже сделаны.

Как это работает? Если компания во всех своих играх придерживается единого стиля и у неё уже есть определенный набор графики, то с помощью переноса можно будет создавать для новых игр что-то похожее. Такой подход серьёзно сокращает затраты на создание ассетов (не требуется большого объёма вычислительных мощностей), а также ускорит процесс подготовки материалов, так как их не нужно будет отрисовывать вручную. Это, в свою очередь, освобождает время художников для более приоритетных задач.

Благодаря такому подходу процесс прототипирования и разработки игр становится быстрее. Это оценят те разработчики, для которых параметр time to market является критически важным.

Уже сейчас существуют сервисы, которые позволяют генерировать текстуры, подходящие для игровой индустрии. Например, Artomatix, благодаря которому можно указать желаемый стиль выходного изображения.

А на видео ниже можно увидеть пример использования технологии в простых играх:

Технологии переноса визуального стиля могут до неузнаваемости изменить игровую индустрию. Тем более, что многие наработки в этом направлении открыты и ими может воспользоваться любой разработчик. Часто даже бесплатно. Например, сейчас в открытом доступе можно найти и математические модели, и библиотеки машинного обучения, которые позволяют попробовать перенос стиля в деле. Так что, вполне возможно, сообщество сделает свое дело и совсем скоро мы увидим совсем другие игры.