Когнитивные искажения в аналитике: как уже имеющиеся данные мешают эффективно оценивать игру

Ведущий аналитик сервиса для мобильных и web-разработчиков devtodev Василий Сабиров написал для DTF о том, какие когнитивные искажения встречаются в работе аналитика. Что такое проклятие знания, как избежать иллюзии прозрачности и как не переоценить собственный вклад в проект.

Вы как аналитик можете быть сколь угодно прокачанным в сборе данных и методах анализа, однако миновать «большой эмоциональный рандомайзер» бывает очень трудно: вы в любом случае пропускаете данные и результаты анализа через свою голову, а значит, принимаете решения, основанные на эмоциях, незакрытых гештальтах, предыдущем опыте. Таким образом, вы подвергаете данные когнитивным искажениям (КИ).

Особо отмечу те когнитивные искажения, которые могут вести к ошибочным решениям именно в области аналитики. Я приведу примеры, а вы уже сами решайте, подвержены ли вы им или нет, бороться с ними или оставить как есть.

Предвзятость подтверждения — тенденция искать или интерпретировать информацию таким образом, чтобы подтвердить имевшиеся заранее концепции. Пожалуй, это самое распространённое КИ среди аналитиков. Проводя анализ, аналитик заранее формирует какие-то идеи относительно его результатов (ставит внутри себя ставку на исход), а затем трактует результаты анализа исходя из этих идей, порой подгоняя результаты под свой ответ.

Пример: недельный retention (удержание пользователя — прим. редакции) вашего продукта после запуска оказался неожиданно низким (для примера возьмём 5%). Незадолго до запуска вы предлагали поменять иконку, но никто не согласился. В итоге вы анализируете причины низкого retention и видите, что пользователи не заинтересованы вашим продуктом как-то сразу, с первых же событий, с туториала. Вы идёте в отдел разработки и ставите задачу на исправление иконки. А на самом деле причины могут быть абсолютно разными: от неудачного дизайна всего приложения или неуместного сеттинга до непонятного туториала или просто плохого баланса игры.

Частным случаем предвзятости подтверждения можно назвать эффект привязки — особенность принятия численных решений человеком, вызывающая иррациональные смещения ответов в сторону числа, попавшего в сознание перед принятием решения.

Вы только что посмотрели фильм «47 ронинов», и он очень запал вам в душу. Настолько, что число 47 просто отпечаталось в вашем мозгу. И среди огромной таблицы вы видите лишь те показатели, в численной записи которых есть «47», не обращая внимание на другие метрики. Или, скажем, предлагаете добавить в игру АК-47 и персонажа игровой серии Hitman (агент 47).

Проклятие знания — затруднения у информированных людей при попытке рассматривать какую-либо проблему с точки зрения людей менее информированных. Разработчики приложений склонны переоценивать, насколько другие люди (среди которых и драгоценные пользователи) разбираются в их приложениях.

Ведь это же очевидно, что здесь нажать надо именно на зелёную кнопку, а здесь танк должен прыгнуть! Нет, не очевидно. В вашей голове уже есть понимание, сформированы соответствующие структуры и шаблоны, вы видите свой продукт каждый день (а также ночью во сне), а пользователь видит всё это впервые. Что нужно сделать, чтобы пользователь понимал продукт так же, как и вы? Правильно! Всё ему объяснить и разжевать.

А чтобы понять, правильно ли пользователь воспринимает то, что вы ему даёте, есть несколько способов:

● Плейтесты. Прекрасное изобретение человечества, которое как раз и необходимо для того, чтобы избавляться от проклятия знания. Слушайте, что говорят пользователи, прислушивайтесь к обратной связи от каждого конкретного пользователя, и вы станете лучше понимать свой продукт.

● Анализ профилей пользователей. Вы можете увидеть последовательность действий каждого конкретного пользователя, не проводя отдельных дорогих плейтестов. Современные системы аналитики позволят вам увидеть продукт глазами конкретных людей.

Ещё одним примером проклятия знания можно назвать коммуникацию между аналитиком и другими отделами. Аналитик говорит на своём языке и предполагает, что его все понимают.

На самом же деле, поверьте, бОльшая часть ваших коллег не знает, что такое ARPU и LTV, и уж тем более они никогда не слышали про модели ARMA или ARIMA.

Пример: когда-то мне пришлось презентовать математическую модель прогнозирования городским чиновникам. Я со страстью рассказывал про то, как хорошо работает эта регрессионная модель, как долго мы её разрабатывали и тестировали. А потом меня спросили: «Мы ведь прогрессивный город, почему у вас модель регрессионная?»

Иллюзия прозрачности. Люди переоценивают способность других людей понимать их. Вопрос исключительно в коммуникации — вы уверены, что вас правильно поняли? Вы уверены, что вы правильно поняли? Может быть, есть смысл побеседовать ещё?

Допустим, вы продюсер, и вы придумали новую классную игру. Вы собрали совещание и говорите: «Делаем игру про Соника Супер Ёжика! Ну, ты же играл в неё, вот. Делаем точно такую же!»

И вы уходите в полной уверенности в том, что геймдизайнер вас понял. А теперь зайдите на сайт и ответьте на вопрос, а какую из этих игр вы имели в виду?

Ретроспективные искажения. Имеются в виду искажение в восприятии сделанного выбора (тенденция помнить свои выборы как более правильные, чем они были на самом деле) и эффект знания задним числом (склонность воспринимать прошлые события предсказуемыми). Оба искажения можно описать фразой «Ну я же говорил!».

Яркий пример: шквал заявлений от представителей игровой индустрии, которые сразу после успешного выхода игры Pokemon Go стали говорить, что это именно они придумали эту игру ранее. Хорошим ответом на эти заявления стала статья Сергея Бабаева.

Основывая последующие решения на результатах анализа предыдущих, вы сможете более точно выбирать наиболее эффективную гипотезу из нескольких вариантов. И никакое «Ну я же говорил!» уже не прокатит.

Есть ещё похожее КИ — эффект вклада. Это склонность переоценивать стоимость объекта, к созданию которого вы были причастны. Чтобы его избежать, опять же, ориентируйтесь на статистику, имейте под рукой чёткий лог всех изменений и детальный их анализ.

Ошибка меткого стрелка из Техаса — выбор или подстройка гипотезы после того, как данные собраны, что делает невозможным проверить гипотезу честно. Думаю, вы все знаете пример, когда стрелок стреляет по амбару, а затем, в месте, где больше всего пробоин, рисует мишень. Часто, говоря про это КИ, ещё упоминают Нострадамуса, пророчества которого подгоняются под свершившиеся события.

В аналитике такая ошибка встречается повсеместно. Допустим, вы делаете модель прогнозирования выручки и тестируете её на тех же данных, на которых и обучали. По незнанию или по корыстному умыслу — это уже другой вопрос. Но факт в том, что результаты такого тестирования будут просто отличные, хотя модель вполне может оказаться неработоспособной.

Ошибка выжившего — по одной группе («выжившим») есть много данных, а по другой («погибшим») — практически нет. И исследователи пытаются искать общие черты среди «выживших», забывая о том, что не менее важная информация скрывается среди «погибших».

Чаще всего эта ошибка иллюстрируется отличным примером: «Слухи об уме и доброте дельфинов основаны на рассказах уставших пловцов, которых они толкали к берегу, но мы лишены возможности услышать рассказ тех, кого они толкали в другую сторону».

Если же говорить про аналитику, то неверно делать выводы только на основании данных о пользователях, которые уже активны в вашем проекте. Нужно также взять в расчёт и тех, кто покинул проект. Вполне возможно, они тоже дадут вам достаточно информации для развития проекта. И вот хороший пример, как можно оптимизировать активацию пользователей на основании сопоставления данных о «выживших» и «погибших».

Селективное восприятие заключается в том, что за основу для анализа берутся не все данные, а лишь какая-то, заранее выбранная, их часть. Разумеется, такой анализ будет нерелевантен, хотя и выглядеть будет достаточно хорошо. Просто аналитик не будет рассказывать о том, какие данные он не взял для анализа.

Допустим, вы выпускаете бета-версию проекта, собираете фидбек, но обращаете внимание лишь на положительные отзывы (ну потому что те, кто пишет негативные отзывы, они ничего не понимают и вообще тролли, верно?). В итоге получается, что значительная часть фидбека проходит мимо, и продукт не изменяется так, как должен был. Похожая ситуация, кстати, возникла в сериале «Кремниевая долина», и в одной из предыдущих статей я разбирал их кейс.

Как ни странно, но упорство — это тоже КИ, и заключается оно в продолжении работы над тем, что уже потеряло свою ценность.

Скажем, вы всё ждёте, когда же продукт взлетит только на виральном трафике. Идут месяцы, а он всё не взлетает, а вы всё ждёте, вот сейчас-сейчас.

Уклон в сторону поиска информации — тенденция искать информацию даже тогда, когда она не влияет на действия.

Часто роль аналитика в компании достаточно широка, и ему поручают как количественные, так и качественные исследования. Аналитик чувствует себя достаточно вольготно: есть время, сиди себе и гугли нужную информацию. Вполне может возникнуть ситуация, когда при решении какой-то задачи чисто инстинктивно аналитик возьмёт себе несколько дней на исследования, на RnD.

Но прежде чем отправиться в путешествие по глубинам интернета на несколько дней, задайте себе вопрос, вы точно не можете приступить к решению задачи прямо сейчас? Вы точно найдете ту информацию, которая поможет вам в последующем анализе и окупит эти дни? Если точно да, тогда, конечно, отправляйтесь исследовать.

Эффект знакомства с объектом. Решения принимаются в пользу более знакомой и изученной технологии, даже если это может быть неэффективно.

Допустим, вы до того делали лишь веб-проекты, а тут решили выйти на мобильный рынок. И вы сразу же начинаете представлять, сколько всего нового придётся изучить и вам как аналитику, и разработчикам. И настаиваете на том, чтобы остаться в вебе и даже не соваться в эту terra incognita (неизвестность — прим. редакции).

Похожим КИ является предпочтение нулевого риска — стремление уменьшить какой-то один маленький риск до нуля вместо того, чтобы значительно уменьшить другой, больший риск. Люди боятся медицинских осложнений сильнее, чем самого заболевания.

С другой же стороны есть эффект повального увлечения — тенденция делать вещи, потому что их делают другие. У каждого из нас есть люди, на которых мы равняемся. И часто может быть так, что мы начинаем подражать им, использовать те же инструменты и методы. Или же, узнав о новом методе, вы начинаете видеть его везде (это называется феноменом Баадера-Майнхоф) и стремитесь теперь его везде применять, даже если это не совсем обоснованно.

Такой случай был у меня. Я узнал о факторном анализе и методе главных компонент, был впечатлён ими, особенно картинками с переходом из одного пространства в другое:

Поспрашивал знакомых аналитиков и выяснил, что все его давно применяют, один я ничего раньше не знал. И я стал применять этот метод везде и всюду, даже если этого не требовалось. Метод главных компонент нужен для сокращения размерности (есть у вас 100 переменных, а вам надо оставить лишь 5 из них, например), но я использовал его даже тогда, когда на руках было 3 переменных, и никакого сокращения размерности не требовалось.

Следующим КИ есть смысл пользоваться ради собственной выгоды. Переоценка скидок — название говорит само за себя. Люди часто становятся жертвами маркетологов и покупают то, что было им не нужно, зато со скидкой.

Как этим воспользоваться? Просто попробуйте сделать небольшую скидку на свои товары, виртуальные или реальные — неважно. Часто может быть так, что кратковременная небольшая скидка сильно поднимает выручку.

В своей практике я встречал очень высокую эластичность спроса по цене, особенно на виртуальные товары. Иногда небольшая (допустим, 10%) скидка могла дать сильный (допустим, 50%) прирост спроса.

Экспериментируйте с товарами, на которые делаете скидку, с размером скидок, и я уверен, что вы сможете найти оптимальную стратегию проведения распродаж, максимизирующую выручку и минимизирующую риски.

Наконец, парочка КИ, свойственных исключительно аналитикам:

● иллюзия кластеризации — тенденция видеть паттерны там, где их на самом деле нет;

● иллюзия корреляции - ошибочная вера во взаимосвязь определенных действий

Не будет лишним напомнить, что correlation does not imply causation (корреляция не подразумевает реальную связь — прим. редакции), и если между двумя объектами есть корреляция, это совсем не значит, что изменение одного неизбежно приведёт к изменению другого.

И это ещё не все когнитивные искажения, которые есть. Очень хочу, чтобы вы знали, какие искажения бывают, что они достаточно повсеместны, и вполне возможно, что у себя вы выявите некоторые из них, и это прекрасный первый шаг.