Статья удалена

Почему доверять оценкам и всерьёз ставить их — плохая идея.

[статья доступна в виде: ютуб-каста, подкаста]

«Это отличная игра! А эта — шлак!» — типичные комментарии в интернетах. Если этот комментатор не был забанен мгновенно, то дальше выясняется его глубиная мотивация: «10/10 потому, что она понравится людям как я!». Помочь он решил, значит. Если ещё немного покопать, то это «как я» могут доуточниться до «я — любитель шутанов, и это клёвый шутан», и вы уже понимаете куда я веду. Эту тему затронул в последнем стриме Андрей Хестанов, но к сожалению, ютуб не место для дискуссий, поэтому я притащил это сюда.

Замнём даже такую тему, что почему-то люди при написании таких отзывов ставят себя на одну сторону баррикады с маркетологами игры, хотя у них (с высокой вероятностью) прямо противоположные интересы. Продавцам нужно в первую очередь впарить вам любую шнягу. Чтобы она лучше впаривалась — у нее должна быть поменьше цена и побольше медийность, и понеслось. Тут всё понятно, я сам такой же. Если «любитель шутанов» — это недостаточно элитарное описание для вашего уровня потребления, то они легко сообразят вам «казуальные геймеры от 13 до 18 лет всех полов, и от 28 до 42 — женщины». Ты — женщина? Налетай-покупай.

Избрание некого виртуального беспомощного противника — один из лучших демагогических приемов, и это низко, поэтому займемся им чуть позже, при появлении комментариев. Сейчас перейдем к уничтожению сути вопроса.

Идея следующая: я утверждаю, что сама идея подобных характеристик, особенно вместе с выставлением интегральной оценки игры от 1 до 10 — тупая. Она годится для фана, для того чтобы потрепать душу собеседнику, не более того.

Есть такой замечательный чувак, Винсент-Вейн Митчелл. Он профессиональный тролль, что подтверждается должностью профессора макеткинга в Университетах Сиднея и Манчестера. Однажды, на заре истории, он состряпал клёвый креатив и ряд связанных с ним работ о том, что астрология — отличное решение для анализа демографических, психологических и других человеческих данных. PDF по ссылке качается зеленой кнопкой в правом верхнем углу бесплатно.

Насколько я понял Митчелла, он рассуждает таким образом: раз люди читают гороскопы — верят в гороскопы, и сами связывают себя с характеристиками, присущими «своему» знаку. Их персональные желания и префернции определены ими самими. Значит мы можем поделить их на 12 категорий (зодиакальных знаков), и таргетирование рекламы/фичей/you-name-it относительно этих категорий точно повысит профит. Найдите ошибку в логике. Бэзупречно.jpg!

Первый рефлекс — сказать, что данная особь является редкостным мракобесом и по очереди опровергнуть его аргументы. Он не совсем мракобес — теперь его цитрует весь мир, а что сделал ты. Во-вторых, есть проблемка, что такой ход рассуждений — он вообще типичный. Точно так же мы можем легко выстроить свой собственный круг ада, например нарисовать 12 жанров или игромеханик и сказать, что люди находящиеся под зодиакальным знаком Сессионки любят лутбкосы, очутившиеся под знаком Рояля обожают страдать, а несчастные под знаком Адвенчуры любят чёрных (или не любят, сложно сказать). И вот у нас и выходит продающее чудо — «жанр» батл-рояля, который силами святого сегментирования перестал был просто одним из шутерных режимов, и стал ажно «ЖАНРОМ».

Но давайте зададимся вопросом, откуда вообще взялось, что какие-то предпочтения людей действительно связаны с этими сегментами? Кто действительно проверял, что таргетирование по этим группам приносит повышенный результат?

Вы скажите, ну вот недавно вышел один шутер с режимом игры «рояль», который подорвал тренды. Ну так извините, он был основан на куда более прямых рассуждениях, на конкретной боли, на эффекте эха (даже эха от эха — привет конъюнктуре) — неповторимый как снежинка эффект, со временем растворяющийся в хаосе вселенной. Но это тема какой-то другой истории и для другого человека. Ренегата, который не боится, что его забросают помидорами — а я боюсь.

Проблема в том, что большинство людей не любят напрягаться, и концепция глобальных целевых аудиторий позволяет значительно экономить мозговые усилия. Не нужно пытаться доказать или оспорить базовые предположения этого механизма. Как минимум, это долго, а «за месячный KPI и двор — типирую людей в упор!».

Если проводить формальный кластерный анализ, нужно думать о нескольких вещах:

Изменение чего угодно здесь позволяет из одних и тех же данных получать совершенно разные результаты (доказательство — мысленным экспериментом). Что ещё веселей, какие-то сегменты аудитории существуют только относительно применяемых алгоритмов. Это очевидно из практики программирования: алгоритмы и структуры данных дизайнятся параллельно, но с оглядкой друг на друга, и например — алгоритмы для коллекций ты не применишь на несгруппированных данных. Ну или применишь, и тебе оторвёт руку. И поэтому в части языков программирования алгоритмы реализованы прямо в классах. Эх, какой-то опять программистский пример вышел, давайте так: характеристика effective APM имеет мало смысла, если вообще вычислима, для оффлайновой карточной игры с элементами RPG.

Не нужно быть сверхразумом чтобы понять, что личная оценка человека нестабильна по времени. Например, ранним утром достаточно продвинутый индивид готов играть в LeetCode или Hackerrank, но вечером его выгоревший на работе мозг сможет синхронизироваться только о простейшую партию в Overwatch с раками (команда проиграет из-за него, он же будет кричать «где хилы! ноль лечения!»). Если зафиксировать разные конкретные моменты в течение дня, они дадут разное значение наших переменных.

Но это еще не все. Даже если мы обнаружим, что определенный «тип» людей предпочитает Рояль, то в обратную сторону — внутри свидетелей Рояля (которые так себя самоидентифицировали) предпочтения людей не прибиты гвоздями к одному «типу» и могут меняться. По крайней мере, не видно никаких причин для жесткой связки. То есть, это сегментирование — такое же нестабильное, как и любое другое.

Даже если мы каким-то образом выбрали момент и поделили на группы удачно, нет никакой логической связи между максимизацией суммарного эффекта (чемоданов баблища), и этого мгновенного деления. Ну вот у вас есть целевая группа, которая по вашему предположению, занесёт вам больше чемоданов. Вне этой группы есть пересечение других групп, которые (если вы на них таргетируетесь именно как на сложное пересечение) может дать эффект не меньший. Смесь групп ведёт себя не так, как одиночная группа, и хотя бы своим объемом может дать больший ответ, измеримый в количестве чемоданов. Что вы теперь сделаете с этой безумно полезной информацией? Что выберете?

Это объяснение достаточно занудное, чтобы подбирать к нему контраргументы нашему воображаемому оппоненту. Да, можно попросить своего SMM-щика по соцсеточкам раскаидать, что «да, мы допилим Fallout 76 за две недели до релиза», но камон. Программные проекты, даже самые agile, раз-раз и в продакшен, не обладают должной скоростью реакции, холщёвые сумки пошить ещё можно, а вот выпустить пиво в стеклянных бутылках вместо пластиковых — уже нет. Там все было ясно заранее, «эту дорогу ты уже видел». Да, обладателей коллекционок фоллача, в отдельности — мало. Да, абьюзеров механик — мало. Но если бы эти минорные проблемы были починены в начале дороги, появилась бы обескураживающая статистика, что минимальное таргетирование на «неосновную» аудиторию дало больший ответ в чемоданах баблища.

Наверное, можно придумать какую-то конкретную организацию, которая может спокойно таргетироваться на аудиторию, исходя из очень жёстких ограничений. Роскомнадзор может заложиться, что его аудитория — россияне, ведь в США его вряд ли встретят с распростёртыми объятьями. Мобильную Diablo, наверное, полюбят в Китае.

И это мы ещё не перешли к любимой сейчас истории, что покупки, по идее, должны выстаиваться в цепочки. Если вы зайдете в интернет-магазин, то вам кроме текущего товара обязательно предложат купить связанный. Кто-то может мечтать, что если человек покупает Overwatch с няшными лутбоксами, то ему точно приглянется Call of Duty с мерзкими лутбоксами, если их запихать в один лунчер. Нет.

Видел ссылки на работу Коллинза (к сожалению, оригинала нет), который на живых данных показал, что предсказание о том, купит ли человек тот же самый бренд можно сделать без маркетинговой сегментации, а исключительно на данных о среднем соответствии товара какой-то смысловой категории и данных об проникновении бренда на рынок. Более того, зачем вообще эта сегментация? Идея в том, что если взять какой-то малоизвестный бренд и точно попасть в сегмент, то можно вытянуть его наверх — но по данным Коллинза, в реальности таких ситуаций почти не встречается.

Это всё, конечно, не означает предложения отказаться от анализа аудитории вообще. У происходящего есть своя структура, но эта структура скорее проявляет себя в ходе живого исследования аудитории, чем в результате маркетологической астрологии. С последующим неприменным ритуалом по впариванию ненужного непричастным.

Эта заметка написана с точки зрения покупателя игр, а не их продавца. Если в комментариях будет крутой маркетолог, он-то нам точно всё объяснит. Всё это было чисто логическое построение, чтобы перейти к последнему выводу.

Путешествуя по интернету мы часто видим всевозможные оценки критиков, выраженные в форме конкретного числа. В реальности эти оценки не значат практически ничего. Надеюсь, я был достаточно занудным, чтобы это неформально доказать. Не стоит покупать новую игру Биотварей только потому, что это Биотвари; или Колду только потому, что она в лунчере Близзарда; или верить Тохе только потому, что он сегодня выглядит адекватней обычного и оценка не 10 из 10. Не стоит обращать внимание, насколько богато это всё оформлено.

Стоит обращать внимание на то, что именно говорит игровой критик, какая структура рассказываемого им материала. Относительно какого базиса оценивает он свои переменные и совпадает ли этот базис с вашим личным компасом души. Если ваш компас души измеряется в переменных другого типа — всё услышанное не имело значения. Возможно, стоит зайти на стримы, пусть даже в записи, чтобы на минутку увидеть, как человек, которому вы собрались поверить, «говорит по ненаписанному, дабы дурь каждого видна была».

И если уж вы решились написать, что «игра — плохой шутер» в качестве рецензии — подумайте дважды. Ну, если эта глубокомысленная характеристика — всё, что вы осилили произвести. По сути, оставляя такой комментарий, вы сражаетесь «с другой стороны баррикады». Без надлежащих аргументов вас стоит забанить. Интересно, что в Epic Store по сути так и сделали, но это уже тема другой заметки.