Traffic Show. Выпуск №0 (Пилот)
Дамы и господа, приветствую вас на первом реалити-шоу о рекламе игр - Traffic Show! В этой программе мы будем рассказывать об экспериментах по продвижению игр.
О ведущем
Меня зовут Виталий. Я маркетолог по профессии и образованию. Работаю в игровой индустрии с 2016 года. Мое хобби — проводить A/B тестирование рекламных объявлений и анализировать результаты.
О шоу
На один выпуск выбирается один участник — одна игра. Это может быть любая PC или Mobile игра. В пилотном выпуске принимает участие градостроительный симулятор Tap Tap Builder от Herocraft. Компания Herocraft не спонсировала это шоу и никаким другим образом не принимала в нем участие.
it's Showtime!
Главный герой пилотного выпуска — игра Tap Tap Builder на Android. Наша задача — подобрать самые оптимальные настройки аудитории для таргетированной рекламы. Самой эффективной настройкой будет признана та, которая покажет самое лучшее соотношение кликов к показам (CTR). Всего мы запустим 5 рекламных объявлений с одинаковыми баннерами, но разными настройками.
Round 1. Подготовка объявления
Рекламный баннер будет состоять из карусели с 5 скриншотами из игр. Баннер будет транслироваться в социальных сетях ВКонтакте и Одноклассники. Объявление будет запущенно с помощью платформы MyTarget.
ВАЖНО! Этот баннер будет использоваться для всех пяти объявлений.
ОЧЕНЬ ВАЖНО! Мы не будем смотреть на эффективность по стоимости клика (CPC), так как ставки могут меняться каждый день. На каждое из пяти объявления будет поставлен лимит в 500 рублей.
Round 2. Подбор настроек аудитории
Объявление №1 — Контрольная аудитория
Мужчины от 18 до 28 лет. Студенты и молодые специалисты, которые могут играть в Tap Tap Builder в транспорте, на скучных парах или в обеденный перерыв.
Почему для контрольной аудитории выбраны мужчины от 18 до 28 лет? Можно собрать статистику в официальном сообществе игры во ВКонтакте. Эта аудитория составляет 38% от всех участников группы. Мужчины до 17 лет — 31% участников. Мужчины от 29 лет — 15%.
Остальные объявления тоже будут настроены на мужчин в возрасте от 18 до 28 лет. Но к этой настройке будут прибавлены дополнительные параметры по интересам.
По графике игры, конечно, можно предположить, что она подходит больше для игроков школьного возраста. Но в этом случае просто будем опираться на данные, которые можно найти в открытом доступе.
Запуск объявления с контрольной аудиторией
Баннер был показан 8 435 раз. Было совершенно 26 переходов. CTR — 0,308%
CTR - 0,308%
Объявление №2 — М 18-28. Игроки в симуляторы
Платформа MyTarget позволяет показывать игру тем людям, у которых установлены на телефон игры определенного жанра. Были выбраны игроки, у которых установлено минимум две игры с жанром симулятор (именно этот жанр указан на странице игры в Google Play).
Запуск объявления на игроков в симуляторы
Баннер был показан 8 715 раз. Было совершенно 34 перехода. CTR — 0,390%. На каждые 256 показов приходил 1 клик.
CTR — 0,390%
Объявление №3 — М 18-28. Игроки в стратегии
Попробуем запустить объявление на игроков в стратегии. Жанр симуляторов очень общий. В нем множество поджанров с самыми разными играми.
Запуск объявления на игроков в стратегии
Баннер был показан 8 838 раз. Было совершен 41 переход. CTR — 0,464%. На 1 переход приходится 215 показов.
CTR — 0,464%
Объявление №4 — М 18-28. Участники сообществ стратегий в соц. сетях
MyTarget позволяет в качестве аудитории для рекламы выбрать людей, которые состоят в тематических сообществах в ВКонтакте или Одноклассники.
Были выбраны сообщества таких игр как СуперСити, Мегаполис, Проект Восстановления, Аэропорт Сити, Династия.
Запуск объявления на участников сообществ игр
Баннер был показан 6 623 раз. Было совершен 40 переход. CTR — 0,604 %. На 1 переход приходится 165 показов.
Значительная разница! Но объявление транслировалось крайне медленно. Видимо людей, подходящих под эту аудиторию, недостаточно много.
CTR — 0,604%
Объявление №5 — М 18-28. Участники сообществ про строительство
Найдем в ВКонтакте сообщества про строительства. Запустим на людей из этих сообществ рекламу. Вдруг люди, которые интересуются строительством, захотят поиграть в градостроительный симулятор? Давайте попробуем.
Запуск объявления на участников строительных сообществ
Баннер был показан 8 748 раз. Было совершен 28 переход. CTR — 0,320 %. На 1 переход приходится 312 показов.
CTR — 0,320%
Настройка по такой аудитории не дала прироста к CTR.
Итоги Traffic Show №0
Мы запустили пять одинаковых объявлений с разной настройкой. Пора определить победителя!
1-е место — Аудитория участников сообществ стратегий в соц. сетях (№4)
CTR — 0,604 %. На 1 переход приходится 165 показов.
2-е место — Аудитория игроков в стратегии (№3)
CTR —0,464%. На 1 переход приходится 215 показов.
3-е место — Аудитория игроков в симуляторы (№2)
CTR — 0,390%. На каждые 256 показов приходил 1 клик.
4-5-е место — Общая аудитория и аудитория аудитория участников сообществ про строительство
Фанфары!
Поздравляем Tap Tap Builder с окончанием шоу! Надеемся, все зрители провели это время приятно и с пользой!
Кто следующий?
Если вы хотите, чтобы ваша игра поучаствовала в Traffic Show и вы готовы проспонсировать запуск тестовой рекламы, свяжитесь с нашим ведущим (т.е. со мной) в Facebook или ВКонтакте.
Напиши отзыв или предложение!
Понравился такой формат? Напиши отзыв в комментариях! Если этот материал найдет свою аудитория, я буду готовить следующий выпуск. Новый выпуск планируется про A/B тесты баннеров в рекламе.
Годно, пиши еще.
Спасибо! Обязательно!
Оптимизация трафика в тестах это всегда добро, только методы анализа едва ли подходят под громкое название A/B тестов. Сейчас я попробую объяснить почему приложенные результаты работы не стоит расценивать, как полноценную оптимизацию закупочного трафика.
Можно два раза подбросить одну и ту же монетку 50 раз и получить 23 и 27 решек, после чего с гордостью заявить, что вторая "лучше", хотя разница в 4 "успеха" оказалась не более, чем волей случая. Закон распределения, которому подчиняются случайные величины с m успехов из n опытов называется биномиальным и если посмотреть на картинку распределения, можно заметить достаточно широкий "холм" рядом с ожиданием количества успехом, он характеризуется дисперсией и показывает то, насколько случайные величины могут "ходить" вокруг среднего значения. Специально для таких ситуаций были придуманы тесты для биномиального распределения.
Теперь давайте попробуем быстренько разобрать ваш пример с данными (сырых у меня нет, но и агрегированных будет достаточно). Для начала мы попробуем описать строгую методологию, потому что сравнивать два случайно-полученных числа, как мы уже убедились выше, не совсем правильно.
Для начала сравним плотности распределения данных случайных величин при вероятности успеха p_1 = 0.039 и p_2 = 0.0464 соответственно. Для этого я построил аппроксимационную плотность с использованием теоремы Муавра-Лапласа (количество событий позволяет почти идеально описать график). По хорошему, наша плотность должна строиться по событиям от 0 до 8800 испытаний, но так как основной график приходится только на часть элементов, я обрезал большую часть хвостов, на графике площадь по первым равняется 0.999, а под вторым 0.998883. Соответственно можно заметить, что графики неплохо так пересекаются. Доверительные интервалы я не откладывал, их можно изучить отдельно, но и так видно, что площадь пересечения намного больше, чем нам хотелось бы для значимой разницы.
Для биномиального распределения можно воспользоваться тестом пропорций, однако перед его использованием давайте посмотрим, сколько людей на такой вероятности нам надо получить, чтобы наш результат был вообще статистически значимым. Поставим уровень значимости alpha = 0.05 и 1 - beta (ошибка второго рода) = 0.8. Для оценки подобного рода можно использовать аппарат Power Analysis, а именно его двух выборочный критерий оценки мощности для теста пропорций с параметрами: p1 = 0.0039, p2 = 0.00464, sig.level = alpha = 0.05, power = 0.8. Ответ, который мы получаем: n = 121882. То есть для того, чтобы с уровнем значимости 0.05 и мощностью 0.8 обнаружить разницу между такими небольшими вероятностями, нам необходимо по 120 тысяч человек на каждую выборку! Это почти в четырнадцать раз больше, чем у нас есть сейчас.
Ну и под конец, давайте все таки попробуем обнаружить разницу и прогнать тест пропорций, чтобы наша совесть была чиста. Получаем следующий результат:
2-sample test for equality of proportions with continuity correction
data: successes out of total
X-squared = 0.40133, df = 1, p-value = 0.5264
alternative hypothesis: two.sided
95 percent confidence interval:
-0.002780407 0.001304929
sample estimates:
prop 1 prop 2
0.003901320 0.004639059
Как видим, p-value > alpha, 95% доверительные интервалы пересекаются, а оценки группы 1 и группы 2 настолько низкие, что их просто невозможно различить. Сразу хочу сказать, что при анализе нескольких выборок биномиального распределения, использование двухвыборочных критериев уменьшает мощность и увеличивает ошибку первого рода из-за погрешности парного сравнения. То есть, даже если бы мы сравнили каждую группу с каждой, нам бы пришлось применять поправки на множественные сравнения семейства Бенджамини-Хохберга, иначе результаты могли бы быть неверными.
В итоге мы получаем интересные результаты, которые, к сожалению, ничего не говорят о фактическом положении дел. И несмотря на то, что у нас, будто, есть победитель в конверсии, на данных объемах данных это не более чем просто шум, который не стоит считать реальным достижением. С другой стороны, если бы подобное соотношение осталось бы на порядках сотен тысяч человек, мы бы уже могли говорить о реально существующей разнице между каналами трафика.
Ох, спасибо за такой развернутый вопрос.
Немного о том, почему даже на таком объеме тест можно считать полезным.
1. Когда я запускал объявления, те объявления, которые показали себя лучше, и на старте показов тоже показывали лучший CTR. Их места в гонке сохранялись до полной открутки объявлений.
2. По моему опыту с запуском рекламных объявлений, лидера по CTR можно определить достаточно быстро. Действительно, хватает 3000 - 4000 показов, чтобы определить победителя. Это кстати интересная тема для материала - как будет меняться значение CTR в зависимости от объема показов. Но, к сожалению, я не записывал видео со статисткой объявлений в реальном времени.
3. Для социологических исследований, к примеру, используют гораздое меньшее число людей. К данному тесту нужно относится как соц. исследованию. А не как к набору случайных повторных событий. Так, например, для того чтобы провести соц. опрос по какой-либо теме среди жителей города Пенза, достаточно было бы опросить около 400 человек. Это поведение человека - кликнет или не кликнет по рекламе. Будет ли она хороша, или нет. Так же тестируют трейлеры к голливудским картинам, там не зовут на тестовые показы огромное количество человек. Небольшой выборки достаточно, чтобы определить, цепляет трейлер или нет. И с ростом количества генеральной выборке, количество необходимых респондентов и тестов растет не пропорционально. Вот, можете проверить это на калькуляторы выборок для соц. исследований -
http://socioline.ru/rv.php
Надеюсь, смог ответить на вопрос.
Комментарий недоступен
Комментарий недоступен
3000руб —> 215кликов = насколько это хороший результат?