Gamedev Владимир Семыкин
2 280

Как по маслу: создание модели для прогноза успешности запуска мобильной игры

Результаты исследования о значимых атрибутах.

В закладки
Аудио

Многие разработчики стремятся заранее оценить успех своей игры. Однако это достаточно сложная задача, так как точный прогноз может дать лишь хрустальный шар. А в реальном мире остаётся уповать лишь на приблизительные данные.

Разработчики Абхиманью Кумар и Виктория Трэн из Flaregames опубликовали на сайте Deconstructor of Fun текст, посвящённый созданию прогноза количества загрузок на мобильных устройствах в первую неделю после релиза. Мы выбрали из материала главное.

Каждая компания решает вопрос прогноза по-своему, но большинство из них по-умолчанию смотрят на похожие игры и на основе этого дают оценку. Такие показатели имеют достаточно низкую точность, а неправильная интерпретация делает прогноз совсем бесполезным.

Чтобы сделать правильный прогноз, необходимо учитывать целый комплекс факторов: жанр, визуальный стиль и масштаб фичеринга.

Эта гипотеза была подтверждена в исследовании, которое провели авторы текста.

Методология анализа

Методология проведённого исследования включала в себя этапы построения датасета (набора данных), статистического тестирования и генерации модели. Более подробные детали анализа:

  • было проанализировано более 150 игр, вышедших в период со 2 апреля по 27 сентября 2018 года;
  • каждая игра была оценена по трём атрибутам — жанру, визуальному стилю и масштабу фичеринга;
  • для проверки гипотезы был использован критерий Краскела — Уоллиса;
  • была построена модель линейной регрессии, в которой в качестве входных данных использовалась классификация переменных гипотетической игры по трём параметрам и выводился ожидаемый диапазон объёма установок за неделю или месяц.

Для построения базового датасета использовался сервис App Annie, предназначенный для сбора информации по установкам на iOS. Также предполагалось, что мировая статистика iOS совпадает с данными по США. Сам анализ был ограничен iOS-платформой.

Платные и популярные игры не учитывались в базовом датасете. К популярным относятся (но не ограничиваются ими) тайтлы, основанные на крупных фильмах, сериалах, известных людях и продолжениях оригинальных хитов. На первых этапах исследования такие игры также анализировались, но оказалось, что подобные результаты было очень сложно как-либо систематизировать. Был сделан вывод, что число факторов, влияющих на количество установок популярных игр, выходит за рамки этого исследования.

Атрибуты

Каждая игра в датасете была классифицирована в соответствии с тремя переменными — жанру, визуальному стилю и фичерингу.

Для категории жанра была использована таксономия, разработанная Game Refinery и Майклом Каткоффом. Например, «Casual» — это категория, «Arcade» — это жанр, а «Platformer» — это поджанр. Поджанры не вошли в исследование, так как датасет был ограниченным, а сложная классификация не давала практических результатов. Тем не менее следует отметить, что поджанры определённо могут использоваться для больших датасетов.

Доказательство гипотезы

Используя критерий Краскела — Уоллиса, применительно к первой неделе после запуска, изначальная гипотеза была подтверждена. Она была расширена, чтобы доказать аналогичную связь с количеством установок в первый месяц после запуска. Каждая переменная показала разную степень статистической значимости.

Хотя «Визуальный стиль» является наименее важным по сравнению с остальными, ожидается, что это изменится, так как размер базового набора данных продолжает увеличиваться. То же самое и с «Жанром». Стоит отметить, что каждый аспект крайне важен независимо от его степени влияния.

Учитывая результаты, приведённые в таблице, авторы:

  • выявили зависимость количества загрузок от значимости отдельных аспектов;
  • создали модели, которые используют эти переменные с различной интенсивностью, чтобы сделать эффективный прогноз.

Ниже представлена визуализация примерного количества установок в первую неделю в зависимости от той или иной переменной. Синие столбцы представляют средние значения, а чёрные — диапазон чувствительности.

Интересным наблюдением является то, что большой фичеринг не обязательно приводит к самым высоким показателям. Это подтверждает тот факт, что во всей этой системе задействовано больше переменных, которые влияют на принятие решения о загрузке у аудитории.

Можно ли уже сейчас заглянуть в будущее?

Следующим шагом было построение модели, которая делает приблизительный прогноз количества загрузок для гипотетических игр. Следует отметить, что датасет из более чем 150 игр недостаточно велик для создания стабильных прогностических моделей.

Тем не менее исследователи создали простую модель линейной регрессии, в которой использовались три переменные в качестве входных данных. Она тестировалась на популярных играх, которые не рассматривались в базовом датасете. Разработчики надеялись получить результаты, которые оправдали бы построение сложной статистической модели.

Ниже представлено сравнение между прогнозируемым объёмом установок из созданной модели и фактическими данными в соответствии с оценками загрузок App Annie.

Синие столбцы — прогноз, оранжевые столбцы — реальные данные

Как видно выше, была доля хороших и плохих прогнозов со средней разницей в диапазоне плюс-минус 50 тысяч. В основном это обусловлено очень примитивным дизайном модели и небольшим датасетом. Можно получить большую точность, если постепенно увеличивать размер базового набора данных. Поиск баланса между сложностью структуры модели и затратами времени на её создание является ключевым фактором.

Хоть авторы исследования и добились определённого результата в прогнозировании количества загрузок, они рассчитывают в будущем включить в модель такие факторы, как бренд, платформа, тема, размер приложения и рынок. Благодаря этому, точность прогноза должна только возрасти.

#мобайл

{ "author_name": "Владимир Семыкин", "author_type": "editor", "tags": ["\u043c\u043e\u0431\u0430\u0439\u043b"], "comments": 22, "likes": 49, "favorites": 72, "is_advertisement": false, "subsite_label": "gamedev", "id": 34165, "is_wide": false, "is_ugc": false, "date": "Fri, 14 Dec 2018 13:59:23 +0300" }
{ "promo": {"title":"Guns of Boom","order_id":0,"state":80,"description":"\u041e\u043d\u043b\u0430\u0439\u043d PvP-\u0448\u0443\u0442\u0435\u0440. \u0412\u0441\u0442\u0443\u043f\u0430\u0439 \u0432 \u0431\u043e\u0439!","email":"soldatenko@game-insight.com","button_text_id":7,"link":null,"app_store_link":"https:\/\/gunsofboom.onelink.me\/4289444349\/33db4f80","google_play_link":"https:\/\/gunsofboom.onelink.me\/4289444349\/33db4f80","color_id":0,"rejection_reason_text":null,"image":"{\"type\":\"image\",\"data\":{\"uuid\":\"d739e618-b339-faeb-7ab0-727ca32bf550\",\"width\":88,\"height\":88,\"size\":24774,\"type\":\"png\",\"color\":\"f1bb4f\",\"external_service\":[]}}","total":35500,"with_payment":false,"dates":"[{\"year\":\"2019\",\"month\":\"01\",\"day\":\"20\",\"available\":\"true\",\"price\":\"3500\",\"discount\":\"1500\",\"format\":\"backend\"},{\"year\":\"2019\",\"month\":\"01\",\"day\":\"21\",\"available\":\"true\",\"price\":\"5000\",\"discount\":\"0\",\"format\":\"backend\"},{\"year\":\"2019\",\"month\":\"01\",\"day\":\"22\",\"available\":\"true\",\"price\":\"5000\",\"discount\":\"0\",\"format\":\"backend\"},{\"year\":\"2019\",\"month\":\"01\",\"day\":\"23\",\"available\":\"true\",\"price\":\"5000\",\"discount\":\"0\",\"format\":\"backend\"},{\"year\":\"2019\",\"month\":\"01\",\"day\":\"24\",\"available\":\"true\",\"price\":\"5000\",\"discount\":\"0\",\"format\":\"backend\"},{\"year\":\"2019\",\"month\":\"01\",\"day\":\"25\",\"available\":\"true\",\"price\":\"5000\",\"discount\":\"0\",\"format\":\"backend\"},{\"year\":\"2019\",\"month\":\"01\",\"day\":\"26\",\"available\":\"true\",\"price\":\"3500\",\"discount\":\"1500\",\"format\":\"backend\"},{\"year\":\"2019\",\"month\":\"01\",\"day\":\"27\",\"available\":\"true\",\"price\":\"3500\",\"discount\":\"1500\",\"format\":\"backend\"}]","hits_count":81017,"scrolls_count":0,"clicks_count":107,"hits_limit":0,"scrolls_limit":0,"clicks_limit":0}, "link": "https://dtf.ru/redirect?hash=711a827f815242367f19babc34b72c1fdd1651f55cf4a641a5de6aeaea90816c&component=booster&id=40&type=daily&target=entry&url=", "buttonText": "Скачать", "location": "entry", "id": "40" }
{ "id": 34165, "author_id": 94357, "diff_limit": 1000, "urls": {"diff":"\/comments\/34165\/get","add":"\/comments\/34165\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/34165"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 64954, "possessions": [] }

22 комментария 22 комм.

Популярные

По порядку

Написать комментарий...
18

В модели не учтён самый главный атрибут успешной мобилки. Иконка с кричащей вправо физиономией.

Ответить
5

Картинки все размытые.

Ответить
3

Мне нужны тупые мемы, консолегонки и слепой хейт всего, чего я не понимаю.
Я не буду читать даже такой короткий анализ рынка "погных мобилак11!"

Ответить
3

Один из наиболее важных факторов которые нужно добавить, это кол-во денег влитых в рекламу/трафик...

Ответить
–9

С таким материалом вам надо на VC, а не сюда. Тут нужны тупые мемы, консолегонки и слепой хейт всего, чего не понимаешь.
Никто не будет читать даже такой короткий анализ рынка "погных мобилак11!"

Ответить
7

Просто тут сайт - про игры.

Ответить
0

здесь про многое сайт, про разработку тоже

Ответить
1

Хз за что минусуют. Мемы тут всегда выбиваются в топ, как и статьи про хейт, кранчи и т.п. (остросоциальные темы). А всякие исследования со сложными диаграммами мало кого цепляют, в принципе всё как везде. Чем проще и смешнее- тем людям интереснее.

Ответить
0

За правду минусуют, брат.

Ответить
–3

Всмысле не нужны? А под какими ещё статьями псевдоинтеллектуальным личностям обсирать других пользователей и показывать своё превосходство?

Ответить
1

Отличная статья. Раз уж минусанули мой прошлый комментарий, то распишу подробнее:
1) Подобный анализ не стоит больших денег, но позволит небольшим компаниям узнать какую игру им стоит сделать, чтобы точно уйти в плюсы.
2) Его можно интегрировать почти во все известные мне маркетинговые модели, что просто прекрасно. А значит можно будет использовать статистические данные для проверки собственных CRM.
3) Потенциал даёт возможность продавать такой анализ, при его значительном улучшении, как отдельный продукт под аутсорс для небольших компаний-издателей мобильных игр.
Прекрасная работа. Но, как я писал ниже, сомневаюсь, что будет оценена. Сделайте копию поста на VC - там наверняка будет, что обсудить с комментаторами. Срез более специализированный и профессиональный.
P/s
Если у редакции нет возможности перенести материал, я бы мог скопировать его.

Ответить
1

Я еще не дочитал, но пожалуйста перезалейте скрины графиков и тд в нормальном качестве. На некоторых ничего не прочитать совсем, на других надо изрядно присматриваться и напрягать зрение.

/upd не видел, что об этом уже написали

Ответить
–1

Говно все это. "Разработчики" итак опираются на подобные модели, подражая парочке выстреливших хитов. В итоге имеем кучу говна, которую никто не покупает, хотя должны бы, если верить всяким подобных моделям и прогнозам.

Ответить
1

Ну и какой выход?

Ответить
4

Во-первых, надо ясно и недвусмысленно написать что Epic Game Store загнется.
Во-вторых.... я пока не придумал.

Ответить
0

Если полностью запретить f2p модель - может помочь. Но этого, конечно, не случится.

Ответить
1

А как можно запретить f2p модель? Вот чисто пример закона, по твоему мнению.

Ответить
0

А разница? Главное то цель.
Пресечь "торговлю" монетизацией, чтобы не был так засран рынок.
А как - это дело десятое.

Ответить
1

Пришли мыши к филину, жалуются:
- Мы, мыши, самые маленькие, слабые, каждый обидеть и сожрать норовит.
Че делать?
Филин подумал, подумал - говорит:
- Вам, мыши, надо превратиться в ежей. Будете колючими - и вас не так
просто будет съесть.
Мыши убежали, радостные:
- Да, да! Превратимся в ежей! Спасемся!
Через некоторое время возвращаются к филину и робко спрашивают:
- Ты сказал, надо в ежей превращаться... НО КАК???
Филин подумал, подумал:
- Да пошли вы, мыши на хрен! Я не тактик - я стратег!!!

Ответить
0

это забавно и в чем-то поучительно, но основные проблемы начинаются потом, когда пытаешься выяснить где и почему именно большая часть сваливает из игры безвозвратно. Куча событий аналитики помогает, но процесс всё равно долгий и нелинейный.

Ответить
1

почему

просто замеряешь показатели вовлечённости

ставишь различные ивенты для их улучшения (ежедневные ивенты, апдейты, награды за возвращение, квесты на таймер, награды за включение оповещений, и.т.д)

И проблема решена.

Ответить
0

Статья интересная, но блин очень короткая и крайне поверхностная . Честно, надеюсь реально датасет возрастет и его покажут. Реальная выборка должна включать намного больше жанров, и больше игр. Я думаю у прожженных аналитиков таких табличек правда очень много, и они меряются у кого погрешность меньше))
Тем не менее как работает предиктивная модель успеха непонятно. Линейная регрессия показывает зависимость фактов, но как с ее помощью можно показать будущее... Было бы здорово чтобы медийная составляющая тоже была проанализирована и была представлена в виде граф. Хотя стоп, это ведь и обещает сделать Епик.

Ответить
0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-250597-0", "render_to": "inpage_VI-250597-0-1134314964", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=clmf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudo", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvc" } } } ]
10 самых лучших блюд
(согласно инстаграму Хидео Кодзимы)
Подписаться на push-уведомления