Как устроена система персональных рекомендаций в магазине в Clash Royale

Машинное обучение и анализ поведения игроков.

На конференции Games First Helsinki 2018 Джарно Сеппанен из компании Supercell рассказал о том, как студия разрабатывала персонализированные предложения для внутриигрового магазина Clash Royale — то есть делала так, чтобы пользователи видели на витрине то, что им действительно нужно. На помощь разработчикам пришло машинное обучение и нейросети. Мы расшифровали доклад и выбрали главное.

Мы оперируем Clash Royale в реальном времени, подстраиваясь под нужды игроков. Мы стараемся представить игроку как можно более богатый опыт. Мы также стремимся к тому, чтобы игра ощущалась по-новому каждый раз, когда вы заходите в неё. Тут речь идёт о разнообразных ивентах, не дающих заскучать и освежающих игру.

На запуске Clash Royale нам не удавалось проводить их достаточно часто, так как график добавления нового контента был привязан к графику выхода обновлений. Команда разработчиков тратила месяц или два на создание обновления, затем оно проходило одобрение Apple и Google, и только после этого появлялось в игре. Таким образом, в течение пары месяцев в игре ничего не происходило. Но, в конце концов, мы смогли отделить эти графики друг от друга и проводить ивенты тогда, когда захотим.

Изначально наши методы оперирования игрой на всех рынках были одинаковыми, потому что у нас была маленькая команда и не так много ресурсов. Кроме того, нам казалось, что было бы не очень честно давать игрокам из разных стран разные награды в PvP-игре. Однако мы поставили себе цель сделать своё подход к оперированию более персонализированным.

У всех игроков был собственный стиль игры, поэтому мы хотели представить каждому из типов пользователей интересный им контент. Важен был и тайминг, то есть то, когда мы представляем игроку доступ к этому контенту. Всё зависит от того, сколько он уже играет и как далеко зашёл.

Но реализовать всё задуманное силами маленькой команды было непросто. Поэтому нам надо было автоматизировать ежедневные ивенты и направить людские ресурсы на какие-то глобальные события. Для того, чтобы решить первую проблему, мы стали экспериментировать с машинным обучением.

Представьте себе программу. Это просто кусок кода, который трансформирует заданные данные во что-то. Машинное обучение, в свою очередь, работает иначе. Вместо того, чтобы передавать программе лишь данные ввода, мы передаём ей «данные обучения» (training data) — набор информации и о вводе, и о выводе. Система сама определяет, как превратить конкретные входные данные в те или иные выходные, самостоятельно выстраивает связи между ними.

По итогу получается иной тип программы, который называется «Моделью». Её преимущество в том, что теперь, изменяя механику игры, вам не нужно переписывать код программы. Достаточно лишь собрать новые данные и заново «обучить» систему с ними управляться, получив другую модель.

Так как это всё работает в Clash Royale? Во внутриигровом магазине можно увидеть особые индивидуальные предложения. Кому-то может высвечиваться предложение купить трёх мушкетёров, а кому-то — всадников на кабанах. Всё зависит от стиля игры каждого конкретного пользователя.

Чтобы реализовать это, пришлось решить несколько вопросов. Основной из них, конечно, заключался в том, какие карты демонстрировать и кому. Затем стоило понять, сколько именно карт предлагать каждому конкретному игроку. Кроме того, нужно было принимать во внимание колоду игрока и цену предлагаемого комплекта.

Важно также и то, насколько игрок близок к улучшению какой-то карты. Например, если для апгрейда ему требуется всего одна карта, то нет смысла предлагать ему комплект из 26 штук. Кроме того, если вы просили эти карты у своих товарищей по клану, это значит, что они вам действительно нужны, поэтому будет резонно предложить вам купить их.

Все эти параметры влияют на персональные предложения, но имплементировать их мы решили по одному. Сперва мы сфокусировались на том, как система с помощью машинного обучения будет выбирать правильные карты для игрока. В качестве входных данных использовалась информация о том, какие карты находятся в колоде игрока, как скоро он сможет улучшить ту или иную карту и просил ли он её у своих товарищей по клану. Размер комплекта и цена задавались вручную.

Нам нужно было убедиться, что игроки находят интересными те предложения, которые они видят в магазине. У нас не было какой-то службы, которая могла бы это отследить, поэтому единственным индикатором служили сами покупки. Кроме того, офферы должны были ориентироваться на стиль игры пользователя, поэтому нам надо было отслеживать, как меняется его колода.

Предложениями также не следовало спамить. Поэтому «слабые» офферы фильтровались. Если система уверена, что вы никогда не приобретёте тот или иной комплект, она не станет вам его показывать вовсе. Нам нужно было и не «сломать» экономику игры, поэтому офферы менялись каждые две недели.

Все проблемы удалось решить за четыре простых шага. Первым делом нужно было создать инвентарь офферов из 21 изображения комплектов с заданными ценами и количеством карт в них. Затем следовало получить данные обучения, на основе которых система предполагала бы два варианта исхода: либо игрок покупает то, что ему предлагают, либо нет. После этого нужно было просто имплементировать это в Clash Royale.

Однако, как было сказано выше, машинное обучение строится на том, что системе задают как входящие, так и выходные данные. Первые у нас были — это информация о том, какие карты вы используете в битве, сколько ещё карт требуется для прокачки и так далее. Но до того, как мы запустили эти персональные предложения, никто ими не пользовался, потому мы не знали, какие карты люди вообще хотят покупать. Таким образом, у нас не было половины необходимых данных.

Поэтому в июне 2017 года мы решили просто предлагать игрокам случайные карты, позволив пользователям решить самостоятельно, какие из них представляют интерес. Мы подумали, что в Clash Royale и так порядочно рандома, поэтому случайные предложения не повредят игре. Однако мы сильно ошибались.

Нам пришлось отключить эту функцию всего через день из-за негативного фидбэка. Несмотря на то, что каждый мог решить, покупать ему комплект или нет, предложение сильно бросалось в глаза на самом верху окна магазина там, где ранее располагались новости о скидках и акциях.

Тогда мы вспоминали, что у нас есть информация о том, просили ли игроки какие-то конкретные карты у товарищей по клану, и решили использовать их в качестве данных вывода. В сентябре была запущена переработанная версия офферов. Пользователи хорошо её встретили, а на основе результатов продаж мы смогли получить настоящие выходные данные. С их помощью мы создали модель, которая смогла предсказывать, воспользуются ли игроки тем или иным предложением. Эта третья по счёту итерация системы была запущена в начале 2018 года.

Система таргетинга работает на основе 3,8 тысячи входных сигналов. Комбинируя их, она выбирает, какие карты предлагать игроку. Сам выбор производится с помощью нейронной сети. Если говорить о технической стороне вопроса, то данные мы собираем с помощью Kinesis и EMR от Amazon. Обучение производится оффлайн. Мы вручную передаём модели всю необходимую ей информацию. Это происходит с использованием PyTorch, Arrow и EC2. Затем мы имплементируем модель в игру. Раз в день система сканирует аккаунты игроков, чтобы собрать новые данные.

Вот некоторые результаты разных подходов, которые мы использовали. Первая строка — данные нашего июньского эксперимента со случайными картами. В сентябре мы предлагали игрокам сундуки со случайными предметами. Они пользовались спросом, потому что пользователям было интересно попробовать то, чего они ещё никогда не видели. Однако в ноябре мы повторили акцию, но она уже не была так популярна.

Последняя строка — это третья итерация системы таргетинга. Как видно, она подстегнула внутриигровые продажи.