Компьютерная помощь: как технология машинного обучения может повлиять на игровую индустрию

Использование в разработке и аналитике.

Машинное обучение всё глубже проникает в сферу геймдева, меняя сами игры, процесс разработки и отношение игроков. Мечта любого геймера — полная персонализация игры — становится всё более реальной.

Основатель компании-разработчика мобильных игр Playgendary Дмитрий Шеленговский в колонке для DTF рассказал, как машинное обучение применяется в игровой индустрии и как может изменить её в ближайшем будущем.

Машинное обучение представляет собой совокупность технологий и методов искусственного интеллекта, особенностью которых является обучение машины в процессе поиска решений для более точного и оперативного выполнения задач в будущем. И если ещё несколько лет назад, программист был вынужден постоянно составлять для компьютера чёткий и строгий алгоритм под каждую конкретную проблему, то с появлением и развитием машинного обучения этой необходимости уже нет — система сама ищет решение.

В основе технологий лежит использование статистических методов для поиска закономерностей и корреляций в базах данных, с последующим созданием прогнозов типа «причина-следствие». В настоящее время использование технологий машинного обучения в геймдеве разделяется на две объёмные категории.

Машинное обучение в геймплее оптимизирует игру на основе её восприятия конкретным геймером и помогает решить уйму задач, включая настройку игрового баланса и адаптивное управление сложностью в зависимости от уровня игрока.

К этой же категории стоит отнести оптимизацию рендеров и физических моделей, улучшение системы диалогов. Диалоги главного героя с персонажами игры становятся более глубокими, благодаря чему между геймером и игрой устанавливается эмоциональная связь. Для того, чтобы её усилить, можно предусмотреть систему аватаров, которые будут похожи на своих владельцев как в плане внешности, так и в психологическом плане.

Машинное обучение в игровом бизнесе демонстрирует пользователям релевантную индивидуальную рекламу, формирует цены на внутриигровой контент и так далее. Пример: система изучает влияние различных игровых факторов на ключевые с точки зрения бизнеса метрики (retention, engagement, LTV) и самостоятельно настраивает их таким образом, чтобы они приблизились к оптимальным. Другими словами, система сама настраивается таким образом, чтобы оставаться прибыльной и не растерять аудиторию.

К бизнесу приходит понимание, что на машинном обучении в играх можно зарабатывать. Причём зарабатывать не только внедряя его в игры, но и обучая людей игре. Недавно небольшой ИИ-сервис Gosu.ai, помогающий научиться играть в Dota 2, PUBG и CS:GO привлёк 1,9 миллиона долларов от крупных венчурных фондов.

Искусственный интеллект (ИИ) и машинное обучение помогают оптимизировать и сами игры. ИИ можно настроить так, чтобы он играл в игры, как это делает обычный пользователь, что поможет найти уязвимые для читеров места, самих читеров, а также слабые точки в геймдизайне уровней. В процессе прохождения различных уровней и «общения» с другими игроками ИИ сможет идентифицировать игроков, которые ведут себя странно.

Кроме того, ИИ способен тестировать игры, отслеживая и затем симулируя поведение пользователей в разных ситуациях. Например, игрок с малым количеством свободного времени играет иначе, чем тот, кто во времени не ограничен. Обладая этими данными, игра самостоятельно подстраивается под разные типы пользователей. В итоге каждый получает уникальную версию игры.

Наиболее популярными технологиями машинного обучения в геймдеве являются обучение с подкреплением, имитационное обучение и обратное обучение с подкреплением.

Обучение с подкреплением (Reinforcement Learning) — один из способов взаимодействия, в ходе которого испытуемая система (агент) обучается, взаимодействуя со средой. Если упростить, то работа строится по принципу «дают — бери, бьют — беги», получая после каких-либо взаимодействий со средой либо урон, либо награду.

Вышестоящий алгоритм пытается найти минимально возможное количество попыток для исследования различных элементов мира («нужно проверить, а вдруг в прошлый раз в этом месте награду дали случайно, а в основном тут бьют») и отвечает за долгосрочное планирование («возможно, если сейчас здесь избили, то потом там вознаградят»). Для отладки такого вида алгоритмов нужны среды со сложными, но формальными и всё же ограниченными правилами. И, внезапно, такими средами оказались именно игры.

В качестве примера можно привести кейс DeepMind, экс-подразделения Google, разработчики которого научили ИИ играть в Quake III Arena примерно таким же образом, как это делает человек. Для обучения использовалась система с подкреплением.

Machine Learning способствует появлению новых ниш в геймдеве. Например, алгоритм может проходить игры за человека. В какой-то степени это реализовано в системе контроля автомобилей оппонентов Drivatar в игре Forza Motorsport 5, которая собирает данные о том, как водят другие люди, анализирует их, а затем создает игроку оппонентов, стиль вождения которых похож на стиль других участников игровой вселенной.

Имитационное обучение (Imitation Learning). В этом случае алгоритм не управляет агентом, а наблюдает за тем, как взаимодействуют со средой другие агенты (человек или алгоритм). Он учится на их опыте. Этот подход работает как для обучения беспилотных автомобилей, так и для улучшения качества действий ботов в играх.

Обратное обучение с подкреплением (Inverse Reinforcement Learning). В этом случае наблюдение ведётся за внешним агентом с целью понять, какая у него целевая функция. Условно говоря, машина пытается понять, какую именно цель преследует человек, играя в Need for Speed: победить в гонке или красиво разбить машину.

В геймдеве это важно для решения задач по поддержанию игрового баланса и оптимизации монетизации. А ещё это помогает разработчику получить данные о том, чего хочет пользователь, и дать ему это таким образом, чтобы тот получил максимальное удовольствие от игры.

Машинное обучение и искусственный интеллект используются в разработке игр уже несколько лет, так что можно считать, что будущее уже наступило.

Прогресс заметен. К примеру, в 2017 году ИИ от OpenAI мог играть в Dota 2 в режиме 1х1 против профессиональных игроков, но имел ряд уязвимостей, которые киберспортсмены использовали для победы над машиной. За год всё изменилось: 5 августа 2018-го пять ботов OpenAI победили команду профессионалов со счетом 2:0. Боты действовали как одна система — слаженно и синхронно.

На обучение первой модели ИИ затратили восемь petaflops-days, а для последней — уже 190 petaflops-days. Чтобы достичь этих результатов OpenAI лишь на вычислительные ресурсы тратит больше миллиона долларов в месяц.

Один из кейсов использования ИИ и машинного обучения в играх был представлен Valve Corporation еще в 2012 году. Тогда разработчики показали, чего можно добиться от игровых персонажей, ведущих диалог с протагонистом, если привлечь ИИ. Компьютер анализирует паттерны поведения пользователя в игре, данные его учетной записи и строит диалоги игровых персонажей на базе результатов анализа. Кроме того, игра запоминает ответы самого протагониста, способ ведения диалогов и строит дальнейшие линии коммуникации с ним соответствующим образом.

Машинное обучение используется и в околоигровой сфере, например, для управления контентом трансляций Twitch в реальном времени. В качестве примера можно привести технологию AutoMod — она позволяет эффективно фильтровать неприемлемое и агрессивное поведение пользователей в чатах Twitch, снимая с модераторов основную часть нагрузки.

Каким бы привлекательным не было внедрение машинного обучения в теории, на практике это очень сложный и затратный процесс. Чаще всего компании сталкиваются со следующими сложностями:

Порог входа в работу с машинным обучением высок, поскольку для этого нужна крепкая математическая база, специфические опыт и знания.

Недостаток данных для обучения. Отсутствие необходимого для обучения ИИ объёма информации (особенно структурированной) чаще всего становится той стеной, в которую все упирается. Нет данных — не на чем обучать машину. Пускай у вас будет сильная гипотеза, но если учиться не на чем, то ее не проверить.

Необходимость создания инфраструктуры. Вся связка «клиент-сервер» со всеми сопутствующими затратами очень ресурсоёмкая.

Возможное отсутствие прибыли. Игра — это бизнес-проект, а не научное исследование, поэтому она должна приносить прибыль своим разработчикам. Машина же может оптимизировать всё таким образом, что игра перестанет быть оптимальной с точки зрения бизнеса. Так что человеческий контроль должен сохраняться.

Если компания приняла решение работать с машинным обучением, то на старте сильно помогут инструменты с уже созданными моделями. У Google, например, есть платформа Firebase, в которую входит MLKit для мобильных разработчиков. Среди готовых моделей уже есть распознавание текста, лиц и другие. Его функциональность также позволяет создавать интегрировать собственные модели в проекты с помощью платформы.

Резюмируя, скажу, что в долгосрочной перспективе машинное обучение повлияет на геймдев даже больше в социальной сфере, чем в технологической. Речь идёт о постепенной автоматизации и замене людей-специалистов на роботов. ИИ, без сомнения, возьмёт на себя всё больше функций, что приведёт к появлению большого количества сравнительно обеспеченных людей со свободным временем. И вот это свободное время заберет на себя индустрия развлечений, в том числе и геймдев.