Gamedev Андрей Верещагин
5 148

Перенос визуального стиля: как нейросети могут изменить игровую индустрию

Сокращение издержек и уникальный пользовательский опыт.

В закладки
Аудио

Основатель компании-разработчика мобильных игр Playgendary Дмитрий Шеленговский написал для DTF колонку, в которой рассказал о том, что такое перенос стиля с помощью нейросетей, для чего его можно использовать и как это может изменить игровую индустрию.

Уникальный пользовательский опыт

Давайте представим, что главный персонаж вашей любимый игры не нарисован художником, а будет вашей точной копией. Хотели бы вы сыграть в такую игру? Скорее всего, да. Ведь это совершенно другой опыт для игрока и совершенно другой уровень вовлечения в игру. К персонажу, нарисованному с тебя, ты будешь относиться куда трепетнее, прокачивать его будешь старательнее, а в игре будешь проводить больше времени.

Так или иначе, но игрок будет ассоциировать себя виртуального с реальным. К тому же, это куда более глубокое погружение в атмосферу игры: приключения начинаются уже не у условного Геральта из Ривии, а конкретно у вас.

Всё это открывает и дополнительные возможности для разработчиков. Например, в части монетизации игры. Так, игроки скорее захотят «побаловать» своего виртуального двойника лучшим оружием, доспехами, виртуальным автомобилем или любым другим товаром.

Некоторые эксперименты энтузиастов уже показывают многообещающие результаты. Например, энтузиаст машинного обучения и трансфера стилей Чинтант Триведи портировал своё лицо в FIFA 17 (точнее, в видеозапись из неё). «Швы» ещё заметны, но первые результаты выглядят многообещающе.

Захватывать можно и движения. В примере ниже всё тот же Триведи захватывает движения с обычной домашней веб-камеры.

Казалось бы, почему это не применяется повсеместно? Ведь соответствующие математические модели уже существуют, софт доступен.

Наши собственные эксперименты в этой области показали, что точность переноса всё ещё очень сильно «страдает», поэтому качества приемлемого уровня добиться не удается. Корень проблемы кроется в недостатке данных для обучения алгоритмов.

Внешность каждого человека уникальна, поэтому, чтобы обучить машину стабильно и с высокой точностью определять все нужные детали, нужно изучить огромное количество черт (формы носа, черепа, глубина посадки глаз, комплекция, походка и многое другое). И это не говоря уже об учёте таких факторов, как наклон головы или угол, с которого сделан кадр.

Без этого набора данных (а они должны быть в достаточном количестве) мы будем обречены получать результаты спорного качества: нос будет крепиться к губе, некоторые черты лица будут размытыми — всё это лишь портит впечатление от игры. Такие проблемы можно наблюдать на примерах выше.

Чуть проще процесс внедрения технологии будет проходить в «мультяшных» 2D-играх, типа нашей Bowmasters, где очень велика доля условности и стопроцентной точности не требуется. Густые брови, например, можно условно изобразить более толстой чёрточкой. К тому же, в мобильных играх неточности хуже заметны из-за маленького экрана.

Перенос стиля графики из одной игры в другую

Не так давно в интернете появилось видео, где с помощью нейросети игру Fortnite «переодели» в её конкурента — PlayerUnknown’s Battlegrounds. В основу легла нейросеть CycleGAN, которой и обрабатывалось изображение.

В качестве примера для обучения были взяты изображения из игры PUBG. Именно их стиль в итоге был применен к модификации арта Fortnite. Для обучения использовалось огромное количество скриншотов из обеих игр, а процесс длился 12 часов.

Обучались две нейросети одновременно, одной из целей этого обучения было создание понимания у нейросети того, чем в обеих играх являются одни и те же визуальные объекты (например, деревья, оружие и камни) — это, впоследствии, помогло сделать адекватную трансформацию таких объектов.

Получилось неплохо. Правда, есть несколько серьёзных проблем. Первая — это неточность. Даже на готовой картинке разрешением 256х256 пикселей видно, что в некоторых местах пиксели «блюрятся» из-за того, что алгоритмы работают всё ещё не так точно, как могли бы. Об этом мы говорили ранее.

Вторая проблема — это ресурсоёмкость. Из примера выше видно, что «выходная» картинка в стиле PUBG получилась разрешением 256х256 пикселей. На генерацию картинки в этом разрешении потребовалась мощность в восемь гигабайт видеопамяти. Обработка всего игрового процесса «на лету» потребует колоссальных мощностей, которые геймерам пока недоступны.

Впрочем, когда удастся решить все эти сложности с датасетами и ресурсоёмкостью, то эта технология может полностью изменить привычный геймдев. Например, могут появиться специальные движки, которые будут быстро менять графику под заданный стиль и требования, избавив от необходимости перерисовывать всё с нуля.

Создание графических материалов для игр

Ещё одной сферой использования переноса стиля может стать создание ассетов для игр. И первые уверенные шаги в этом направлении уже сделаны.

Как это работает? Если компания во всех своих играх придерживается единого стиля и у неё уже есть определенный набор графики, то с помощью переноса можно будет создавать для новых игр что-то похожее. Такой подход серьёзно сокращает затраты на создание ассетов (не требуется большого объёма вычислительных мощностей), а также ускорит процесс подготовки материалов, так как их не нужно будет отрисовывать вручную. Это, в свою очередь, освобождает время художников для более приоритетных задач.

Благодаря такому подходу процесс прототипирования и разработки игр становится быстрее. Это оценят те разработчики, для которых параметр time to market является критически важным.

Уже сейчас существуют сервисы, которые позволяют генерировать текстуры, подходящие для игровой индустрии. Например, Artomatix, благодаря которому можно указать желаемый стиль выходного изображения.

А на видео ниже можно увидеть пример использования технологии в простых играх:

Технологии переноса визуального стиля могут до неузнаваемости изменить игровую индустрию. Тем более, что многие наработки в этом направлении открыты и ими может воспользоваться любой разработчик. Часто даже бесплатно. Например, сейчас в открытом доступе можно найти и математические модели, и библиотеки машинного обучения, которые позволяют попробовать перенос стиля в деле. Так что, вполне возможно, сообщество сделает свое дело и совсем скоро мы увидим совсем другие игры.

#технологии

{ "author_name": "Андрей Верещагин", "author_type": "editor", "tags": ["\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438"], "comments": 32, "likes": 63, "favorites": 66, "is_advertisement": false, "subsite_label": "gamedev", "id": 32280, "is_wide": false, "is_ugc": false, "date": "Mon, 26 Nov 2018 17:27:17 +0300" }
{ "id": 32280, "author_id": 22254, "diff_limit": 1000, "urls": {"diff":"\/comments\/32280\/get","add":"\/comments\/32280\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/32280"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 64954, "possessions": [] }

32 комментария 32 комм.

Популярные

По порядку

Написать комментарий...
8

А у меня никогда не было мысли собрать себя в редакторе персонажей. Скорее идеального героя как я его представляю.

Ответить
3

Я вообще баб обычно делаю, из за меньшего хитбокса. А ассоциировать себя с персонажем мешают дебильные условности сюжета.

Ответить
0

из за меньшего хитбокса

Ответить
6

Как не приложить сюда первый дум где все текстуры прогнали через дипдрим :) https://youtu.be/TfD_b9Fibhw (смотрел без звука, не знаю автора)

Ответить
5

Как нейросети могут изменить игровую индустрию:

Уникальный пользовательский опыта

Ответить
4

Так стоп, а где же тогда будут работать "самые лучшие" разработчики Diablo Immortal и другие разработчики миллионов подобных им "игр" для мобилок, если AI сделает за них всю работу ?

Ответить
2

очевидно, будут валяться в киселе в капсулах с трубками в жопе и питать этот ЭйАй теплом своего пердака

Ответить
1

При чём тут они?

Ответить
0

При чем тут мобилки?

Ответить
3

В детсве я думал в 2018 будет формализм, супер интересные игры - а в реальности роботы работу отнимают (

Ответить
2

Помню в 2000-ых наткнулся на софтину (кажется что-то из ULEAD) которая по двум фоткам (вид сбоку+вид спереди) создавала 3D модель головы. Тогда я был впечатлён такой возможностью. Через несколько лет, возясь в какой-то игре с редактором внешности вспомнил про тот случай и подумал "Наверное скоро можно будет также быстро свою внешность переносить на персонажа(по крайней мере головы для персонажей-людей) - загрузив 2 фотки)".
И вот уже конец 2018 а идея (ну шикарная же) только витает воздухе воздухе... Ждёмс

Ответить
2

И вот уже конец 2018 а идея (ну шикарная же) только витает воздухе воздухе

Facegen, его беседка ещё с времён обливиона интегрирует. Моддеры ещё в те времена побаловались с генерацией своего лица и вставкой в игру, но идея не прижилась.

Ответить
2

Помню мой опыт работы с 3д-сканером. Он прокручивал модель на своем столе, создавал точки в виртуальном пространстве, на основе расстояний, а потом все собирал в полигоны (собсно, так все 3д сканеры и работают). На все это у него уходило 15 минут. А если свет в помещении плохой - начинай заново. И что ты думаешь? Даже при неточности в миллиметр, полученная модель получалась кривоватой. И если ты хочешь ее потом использовать, то нужно будет дорабатывать.
Собственно, выводы за вами

Ответить
1

В Tony Hawk's Underground 2 можно было свое лицо вставлять: загружаешь фотографию, отмечаешь ключевые точки (кончик носа, глаза, середина рта), получалось забавно.

Ответить
2

кому нужны 100500 одинаковых игр?

Ответить
0

Хз. Подобного рода генераторы вроде как напротив - помогают создавать миллионы разных игр.

Ответить
0

помогают создавать миллионы разных игр

Условно разных.

Потому что истинный шедевр - это отнють не игра где случайно сошлись десятки факторов, а наоборот это игра в которой все случайности и неслучайности продуманы и работают четко на игровой опыт.)

Ответить
1

Условно разных.

Это зависит от разработчика. Нейросети и процедурная генерация всего лишь помогают разработчику решить вопрос контента малыми силами. Не более и не менее. Если разработчик херово продумывает геймплей - его не спасет ни процедурная генерация, ни нейросети, ни контент сделанный вручную.

Ответить
0

угу, и все они будут вроде как.

Ответить
1

а зачем делать перезалив старой статьи? Она же была тут уже давно

Ответить
1

Алгоритм учится имитировать или создавать свои движения на основе видеоряда движущихся людей. Представьте как можно улучшить, упростить захват движений и анимацию для игр в целом...

Ответить
0

Какой-то не очень интересный способ применения технологии. А с представленными примерами справится и фотошоп. Ну кроме переноса стиля игры, но зачем это нужно, хз

Ответить
1

Да, фотошоп ведь за тебя сделает твои текстуры в определенном стиле. И тебе сооовсем не надо будет их рисовать, подгонять под другие объекты...

Ответить
2

Так тут ничего не делается в определенно стиле. Ты не говоришь, хочу готичненько и готово. Тут обычное смешивание

Ответить
0

Тут не "смешивание", а именно наложение определенных фильтров, размазываения в нужных местах, освещения и цветкорр под нужный стиль.
Если ты не понимаешь разницу между "я сам сделаю" и "оно сделало само", но я даже не знаю, что ответить.
Вот, кстати, еще тебе
https://www.theverge.com/2016/10/24/13393584/nightmare-machine-mit-ai

Ответить
1

Так фш тоже делает это за меня. По ссылке цирк уродов. полезного применения пока не увидел

Ответить
0

Истина в глазах смотрящего.

Ответить
1

"Красота в глазах смотрящего" Истина может быть в умах максимум

Ответить
0

через пару десятков лет работы лишатся несколько дизайнеров. если вовремя не переквалифицируются в программистов нейросетей.

Ответить
0

Не очень ясно, почему игрок захочет тратить деньги "скорее" на самого себя в игре. Или это типа эффекта "смотрю на себя в зеркало, какой же я классный, только причёску бы немного поправить"? Плюс к этому идея создавать себя в игре выглядит странно. Люди идут в игры обычно отдохнуть от "себя" (ты - это твоя жизнь и её рутина). И быть свидетелем того, как лично тебя постоянно убивают в игре (как бы ты ни был осторожен, без этого не обходится) не очень приятно. Может это классная идея в первую очередь там, где нет такого количества смертей, как в шутерах и рпг?

Ответить
0

"Давайте представим, что главный персонаж вашей любимый игры не нарисован художником, а будет вашей точной копией. Хотели бы вы сыграть в такую игру? Скорее всего, да"
Сейчас бы умирать пару раз в катсценах лары крофт

Ответить
0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-250597-0", "render_to": "inpage_VI-250597-0-1134314964", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=clmf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudo", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvc" } } } ]
Невероятно! Skyrim портировали на...
Подписаться на push-уведомления