{"id":3975,"url":"\/distributions\/3975\/click?bit=1&hash=7a51e809b58a86b7ea96667de949aaf9244193fd91029f3a3a1c980f40244631","title":"\u0410\u0439\u0442\u0438 \u0432 \u0430\u0442\u043e\u043c\u043d\u043e\u0439 \u044d\u043d\u0435\u0440\u0433\u0435\u0442\u0438\u043a\u0435 \u2014 \u044d\u0442\u043e \u0441\u043a\u0443\u0447\u043d\u043e. \u041c\u0438\u0444 \u0438\u043b\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c?","buttonText":"\u0412\u044b\u044f\u0441\u043d\u0438\u0442\u044c","imageUuid":"c22764b5-e280-52b2-a6db-af308d4d1709","isPaidAndBannersEnabled":false}

Чемодан конфет, «помятый» Райан Гослинг и поведенческая экономика Статьи редакции

Эксперименты от компании devtodev.

На конференции DevGAMM в мае 2019 года компанию devtodev пригласили провести аналитический трек, в котором приняли участие представители компаний Playkot, NX Studio, Mail.Ru Group, Crazy Panda, Belka Games, Kefir, SkyEng, AIC и Azur Games.

Организацией занимался ведущий аналитик и сооснователь сервиса devtodev Василий Сабиров. В своей статье для DTF он рассказал о том, в какие эксперименты (в том числе и тайные) аналитики вовлекли посетителей трека, какие гипотезы им удалось подтвердить и как результаты могут помочь в монетизации игр.

План эксперимента

Мы подготовили программу из нескольких докладов и круглых столов, а также заготовили небольшой сюрприз. Весь день на сцене стоял чемодан с конфетами, всем желающим было предложено угадать, сколько в нём конфет (мы заранее их посчитали). И тот, кто угадает или окажется ближе всего к истине, должен был забрать с собой и чемодан, и конфеты. Для ответа на вопрос необходимо было заполнить Google-форму, доступную по QR-коду. Так это выглядело снаружи.

На самом же деле всё было несколько хитрее.

  • Во-первых, QR-кодов было два, и это был A/B-тест. Чем отличались формы, я расскажу чуть позже.
  • Во-вторых, в обеих версиях формы, помимо вопроса о чемодане конфет, расположенного в списке последним, было ещё несколько вопросов, основная часть из которых была обязательной. Таким образом, мы хотели попутно протестировать ещё несколько интересных гипотез.

В итоге в конце дня мы прочли доклад, в который вставили результаты опроса. Почти все гипотезы, которые мы проверяли, были подтверждены.

Пара дисклеймеров

Но сначала несколько технических моментов. Мы сразу понимали, что никакой речи о статистической значимости и быть не может. Мы ориентировались на 100 респондентов (и почти угадали), а на таких масштабах едва ли можно рассчитать t-тест, z-тест и все прочие тесты.

Чтобы в каждой из групп теста было примерно одинаковое число респондентов, нам пришлось потрудиться. Мы разместили в зале два роллапа, на каждом из которых был указан свой QR-код. Флаеры, которые раздавались публике, были тоже двух видов.

По истечении нескольких часов мы увидели, что число респондентов в группе «A» значительно превосходит группу «B», и было принято решение поменять роллапы местами, а также заменить флаеры на новые. Это немного выровняло статистику, однако пришлось привести нескольких людей буквально за руку и дать им нужный флаер.

В конечном счёте, всё получилось, и сейчас самое время рассказать об этом.

Общие данные

Всего у нас было 103 респондента, из которых 77 — мужчины, а 26 — женщины. У нас был ещё вариант «предпочитаю не указывать», но его никто не выбрал.

51 респондент оказался в группе «A», 52 — в группе «B».

Эффект приманки

Из поведенческой экономики известен так называемый «эффект приманки» (decoy effect). Суть его в том, что, совершая выбор между двумя вариантами, респондент встает перед проблемой выбора и часто выбирает более дешёвый. Тогда вводится третий, заведомо невыгодный вариант. Отвергая его, респондент с большей вероятностью принимает решение в пользу одного из двух других вариантов. Притом можно добиться того, чтобы в среднем выбирали более дорогой вариант. Подробнее о классическом примере эффекта приманки с подписками на журнал можно прочесть здесь.

Дело в том, что наш ленивый мозг, выбирая между вариантами A и B, слишком далекими друг от друга, чтобы их сравнивать, будет очень сильно напрягаться. А напрягаться он не особо любит. И чтобы ему помочь, к вариантам A и B добавляется вариант -A. Между A и -A выбор делается легко в пользу А, при этом по инерции A выигрывает сразу и у B.

Эксперимент 1: Крис Хэмсворт и Райан Гослинг

Мы решили проверить эффект приманки следующим образом. Группе «B» было предложено выбрать, кто из мужчин кажется им более симпатичным, Крис Хэмсворт или Райан Гослинг (для того, чтобы выбрать, какие именно мужчины попадут в опрос, пришлось гуглить «top sexiest men 2019», и я никогда бы не подумал, что это придётся делать по работе). В итоге голоса распределились вот так.

Крис Хэмсворт победил. Вероятно, это как-то связано с тем, что в мае в прокате как раз были последние «Мстители», где он снимается.

Ну а в группе «A» мы добавили ещё один вариант, и выбор был из трёх картинок: Райан Гослинг, «помятый» Райан Гослинг и Крис Хэмсворт. И вот, что у нас получилось.

Как мы видим, «помятый» Гослинг позволил обычному Гослингу занять первое место в опросе. Нашлись, конечно, и те, кто проголосовал за «помятого», ну да бог им судья.

Кстати говоря, попутно мы выяснили, что мужчинам больше нравится Гослинг, а женщинам — Хэмсворт.

Эксперимент 2: цена на попкорн

Как же применить этот метод для монетизации? Этому был посвящён наш следующий эксперимент.

Группе «А» было предложено выбрать один из двух стаканов попкорна: маленький за 100 рублей и большой — за 200.

Для группы «B» был выбор из трёх позиций:

  • маленький — 100 рублей;

  • средний — 180 рублей;

  • большой — 200 рублей.

Как видим, средний вариант по цене ближе к большому, его задача — оттенить внимание в большую сторону.

Видим, что средний вариант со своей задачей вполне справился. Его добавление позволило поднять средний чек со 136,5 рубля до 161,9 рубля, то есть на 19%. Ещё раз: мы просто добавили один price point, и чек только от этого вырос на 19%.

Эффект якоря

Далее, мы хотели проверить эффект якоря. Его суть заключается в том, что если заранее установить респонденту «якорь» на некоем численном значении, то в будущем при какой-либо численной оценке респондент будет отталкиваться от «якоря». Подробнее об эффекте можно прочитать здесь (обратите особое внимание на классический эксперимент с долей африканских стран в ООН).

Эксперимент 3: удержание в гоночных играх

Чтобы проверить эффект якоря в нашем эксперименте, мы задавали следующий вопрос.

Для группы «A». По данным progamedev.net, медианный показатель удержания первого дня (day 1 retention) у игр жанра Trivia — 35%, World — 38%, Casino — 34%. Как бы вы оценили медианный показатель day 1 retention у игр жанра Racing?

Для группы «B». По данным progamedev.net, медианный показатель удержания первого дня (day 1 retention) у игр жанра Simulation — 22%, Action — 24%, Adventure — 24%. Как бы вы оценили медианный показатель day 1 retention у игр жанра Racing?

Как видите, у группы «B» «якоря» стояли на более низких значениях, чем у группы «A». Повлияло ли это на оценку day 1 retention у игр жанра Racing?

Повлияло, и более чем.

Эксперимент 4: оцениваем стоимость вина

А что, если респондент сам установит себе «якорь»? Для этого мы попросили респондентов сначала указать последние две цифры их номера телефона (по сути, случайное двузначное число). А затем мы попросили их оценить стоимость одной и той же бутылки вина (в долларах). И вот, что получилось.

То есть те, кто ранее написал меньшее значение (от 00 до 20), имели тенденцию более низко оценивать стоимость бутылки, чем те, кто ранее написал значение от 80 до 99.

Закон больших чисел

Наконец, мы решили проверить работу закона больших чисел. Мы рассчитывали, что если попросим респондентов оценить некое значение, то средняя оценка по выборке будет близка к фактическому значению.

Эксперимент 5: когда родился Ньютон?

Для начала мы попросили оценить год рождения Исаака Ньютона. Ньютон родился в 1643 году, но респондентов мы очень попросили не «гуглить» это.

В целом, видно, что средняя оценка начала приближаться к факту. И, вполне вероятно, что если бы респондентов было больше, то она бы приблизилась ещё сильнее.

Эксперимент 6: чемодан конфет

Наконец, вернёмся к нашему чемодану с конфетами. И это единственный эксперимент, который нам не удался. По непонятной нам причине средняя оценка в определённый момент взяла устойчивый тренд на рост.

В чемодане было 544 конфеты, и нашёлся человек, который угадал это с точностью до одной конфеты (девушка по имени Алина назвала число «543»). Чемодан нашёл своего владельца, конфеты — тоже. Поздравляем Алину ещё раз!

В конце мне хочется сказать, что законы поведенческой экономики, кажется, работают. Мы видим в ней ещё один ракурс, под которым стоит рассматривать работу над продуктами и их монетизацию. При правильном применении этих законов можно повысить средний чек, не меняя лояльности пользователей. Так что используйте поведенческую экономику во благо, но всё же будьте аккуратны — лояльность может оказаться дороже.

0
14 комментариев
Написать комментарий...
Ник Ран

Один вопрос. Как-то учитывалось то, что по сути респондент мог отвечать от балды на все вопросы кроме последнего, про конфеты?

Ответить
Развернуть ветку
Vasiliy Sabirov

Да, конечно. Мы работали с очисткой выбросов, вычищали из ответов наиболее вопиющие случаи и не брали их в расчёт.
Прочие же эффекты "от балды" (например, когда респондент отвечает просто наугад) должны нивелироваться, а точнее выравниваться за счёт случайного разбиения респондентов по группам.

Ответить
Развернуть ветку
Уполномоченный якорь

Отличная статья, Вася! Спасибо

Ответить
Развернуть ветку
Альфина

офигенно интересная статья, спасибо.

Ответить
Развернуть ветку
Константин Рыжов

А как она поможет нарративному дизайнеру или сценаристу?

Ответить
Развернуть ветку
Альфина

нарративщику очень полезно понимать, как манипулировать человеческим вниманием. ну и чисто по-человечески интересно ж прочитать!

Ответить
Развернуть ветку
Aram Martirosyan

Исследование напомнило книгу Даниела Канемана "Думай медленно... решай быстро", изложены те же гипотезы и выводы

Ответить
Развернуть ветку
Vasiliy Sabirov

Да, тут есть идеи нескольких авторов.
Даниэл Канеман "Думай медленно, решай быстро"
Роберт Чалдини "Психология влияния"
Дэн Ариэли "Предсказуемая иррациональность"
и несколько книг Ричарда Талера.

Ответить
Развернуть ветку
Uncia Uncia

не очень подробная статья, не понятно какие методы отсеивания использовались, и каким образом такое небольшое количество людей вошло в выборку, потому что 100 человек ну это скорее про погрешность, я не силен ни в психологии, ни в экономике, но мне так кажется, а эксперименты интересные, про то как надуть людей и получить от них выгоду, от их бессознательного восприятия.

Ответить
Развернуть ветку
Dmitri Redka

Прекрасная статья, по опыту знаю как трудно в условиях конференции организовывать подобные интерактивные ивенты. Ясно же, все изложенное не претендует на научную достоверность на 100%, но фаново и увлекательно. Лично я прочел статью с удовольствием и взял на заметку, что можно в экспериментах учитывать наработки поведенческой экономики :) Спасибо авторам за работу!

Ответить
Развернуть ветку
Mikhail Chugunov

Что-то немного страшно стало.

Ответить
Развернуть ветку
Igor

Там у вас гуманитарии что ли собрались? Через вес и объём количество конфет вычисляется +- корректно за 5 секунд.

Ответить
Развернуть ветку
Никита Ермачков

размер конфет и их марка были загадкой =( Леденцов мелких было бы на порядок больше)

Ответить
Развернуть ветку
Igor

Вот потому что для гуманитариев выражение "на порядок" означает "дохринищща!" они и отвечали: 6000)) Одних леденцов оргам бы совесть не позволила напихать, этот момент единственный, который вычисляется посредством гуманитарного образования. Далее быстро считается количество шоколадных конфет в подобном объёме и вводится поправка на некоторое количество чупа-чупсов и карамелек.

Ответить
Развернуть ветку
Читать все 14 комментариев
null