Как по маслу: создание модели для прогноза успешности запуска мобильной игры

Результаты исследования о значимых атрибутах.

Многие разработчики стремятся заранее оценить успех своей игры. Однако это достаточно сложная задача, так как точный прогноз может дать лишь хрустальный шар. А в реальном мире остаётся уповать лишь на приблизительные данные.

Разработчики Абхиманью Кумар и Виктория Трэн из Flaregames опубликовали на сайте Deconstructor of Fun текст, посвящённый созданию прогноза количества загрузок на мобильных устройствах в первую неделю после релиза. Мы выбрали из материала главное.

Каждая компания решает вопрос прогноза по-своему, но большинство из них по-умолчанию смотрят на похожие игры и на основе этого дают оценку. Такие показатели имеют достаточно низкую точность, а неправильная интерпретация делает прогноз совсем бесполезным.

Эта гипотеза была подтверждена в исследовании, которое провели авторы текста.

Методология проведённого исследования включала в себя этапы построения датасета (набора данных), статистического тестирования и генерации модели. Более подробные детали анализа:

Для построения базового датасета использовался сервис App Annie, предназначенный для сбора информации по установкам на iOS. Также предполагалось, что мировая статистика iOS совпадает с данными по США. Сам анализ был ограничен iOS-платформой.

Платные и популярные игры не учитывались в базовом датасете. К популярным относятся (но не ограничиваются ими) тайтлы, основанные на крупных фильмах, сериалах, известных людях и продолжениях оригинальных хитов. На первых этапах исследования такие игры также анализировались, но оказалось, что подобные результаты было очень сложно как-либо систематизировать. Был сделан вывод, что число факторов, влияющих на количество установок популярных игр, выходит за рамки этого исследования.

Каждая игра в датасете была классифицирована в соответствии с тремя переменными — жанру, визуальному стилю и фичерингу.

Для категории жанра была использована таксономия, разработанная Game Refinery и Майклом Каткоффом. Например, «Casual» — это категория, «Arcade» — это жанр, а «Platformer» — это поджанр. Поджанры не вошли в исследование, так как датасет был ограниченным, а сложная классификация не давала практических результатов. Тем не менее следует отметить, что поджанры определённо могут использоваться для больших датасетов.

Используя критерий Краскела — Уоллиса, применительно к первой неделе после запуска, изначальная гипотеза была подтверждена. Она была расширена, чтобы доказать аналогичную связь с количеством установок в первый месяц после запуска. Каждая переменная показала разную степень статистической значимости.

Хотя «Визуальный стиль» является наименее важным по сравнению с остальными, ожидается, что это изменится, так как размер базового набора данных продолжает увеличиваться. То же самое и с «Жанром». Стоит отметить, что каждый аспект крайне важен независимо от его степени влияния.

Учитывая результаты, приведённые в таблице, авторы:

Ниже представлена визуализация примерного количества установок в первую неделю в зависимости от той или иной переменной. Синие столбцы представляют средние значения, а чёрные — диапазон чувствительности.

Интересным наблюдением является то, что большой фичеринг не обязательно приводит к самым высоким показателям. Это подтверждает тот факт, что во всей этой системе задействовано больше переменных, которые влияют на принятие решения о загрузке у аудитории.

Следующим шагом было построение модели, которая делает приблизительный прогноз количества загрузок для гипотетических игр. Следует отметить, что датасет из более чем 150 игр недостаточно велик для создания стабильных прогностических моделей.

Тем не менее исследователи создали простую модель линейной регрессии, в которой использовались три переменные в качестве входных данных. Она тестировалась на популярных играх, которые не рассматривались в базовом датасете. Разработчики надеялись получить результаты, которые оправдали бы построение сложной статистической модели.

Ниже представлено сравнение между прогнозируемым объёмом установок из созданной модели и фактическими данными в соответствии с оценками загрузок App Annie.

Как видно выше, была доля хороших и плохих прогнозов со средней разницей в диапазоне плюс-минус 50 тысяч. В основном это обусловлено очень примитивным дизайном модели и небольшим датасетом. Можно получить большую точность, если постепенно увеличивать размер базового набора данных. Поиск баланса между сложностью структуры модели и затратами времени на её создание является ключевым фактором.

Хоть авторы исследования и добились определённого результата в прогнозировании количества загрузок, они рассчитывают в будущем включить в модель такие факторы, как бренд, платформа, тема, размер приложения и рынок. Благодаря этому, точность прогноза должна только возрасти.