Оптимизация трафика в тестах это всегда добро, только методы анализа едва ли подходят под громкое название A/B тестов. Сейчас я попробую объяснить почему приложенные результаты работы не стоит расценивать, как полноценную оптимизацию закупочного трафика.

Можно два раза подбросить одну и ту же монетку 50 раз и получить 23 и 27 решек, после чего с гордостью заявить, что вторая "лучше", хотя разница в 4 "успеха" оказалась не более, чем волей случая. Закон распределения, которому подчиняются случайные величины с m успехов из n опытов называется биномиальным и если посмотреть на картинку распределения, можно заметить достаточно широкий "холм" рядом с ожиданием количества успехом, он характеризуется дисперсией и показывает то, насколько случайные величины могут "ходить" вокруг среднего значения. Специально для таких ситуаций были придуманы тесты для биномиального распределения.

Теперь давайте попробуем быстренько разобрать ваш пример с данными (сырых у меня нет, но и агрегированных будет достаточно). Для начала мы попробуем описать строгую методологию, потому что сравнивать два случайно-полученных числа, как мы уже убедились выше, не совсем правильно.

Для начала сравним плотности распределения данных случайных величин при вероятности успеха p_1 = 0.039 и p_2 = 0.0464 соответственно. Для этого я построил аппроксимационную плотность с использованием теоремы Муавра-Лапласа (количество событий позволяет почти идеально описать график). По хорошему, наша плотность должна строиться по событиям от 0 до 8800 испытаний, но так как основной график приходится только на часть элементов, я обрезал большую часть хвостов, на графике площадь по первым равняется 0.999, а под вторым 0.998883. Соответственно можно заметить, что графики неплохо так пересекаются. Доверительные интервалы я не откладывал, их можно изучить отдельно, но и так видно, что площадь пересечения намного больше, чем нам хотелось бы для значимой разницы.

Для биномиального распределения можно воспользоваться тестом пропорций, однако перед его использованием давайте посмотрим, сколько людей на такой вероятности нам надо получить, чтобы наш результат был вообще статистически значимым. Поставим уровень значимости alpha = 0.05 и 1 - beta (ошибка второго рода) = 0.8. Для оценки подобного рода можно использовать аппарат Power Analysis, а именно его двух выборочный критерий оценки мощности для теста пропорций с параметрами: p1 = 0.0039, p2 = 0.00464, sig.level = alpha = 0.05, power = 0.8. Ответ, который мы получаем: n = 121882. То есть для того, чтобы с уровнем значимости 0.05 и мощностью 0.8 обнаружить разницу между такими небольшими вероятностями, нам необходимо по 120 тысяч человек на каждую выборку! Это почти в четырнадцать раз больше, чем у нас есть сейчас.

Ну и под конец, давайте все таки попробуем обнаружить разницу и прогнать тест пропорций, чтобы наша совесть была чиста. Получаем следующий результат:

2-sample test for equality of proportions with continuity correction

data: successes out of total
X-squared = 0.40133, df = 1, p-value = 0.5264
alternative hypothesis: two.sided
95 percent confidence interval:
-0.002780407 0.001304929
sample estimates:
prop 1 prop 2
0.003901320 0.004639059

Как видим, p-value > alpha, 95% доверительные интервалы пересекаются, а оценки группы 1 и группы 2 настолько низкие, что их просто невозможно различить. Сразу хочу сказать, что при анализе нескольких выборок биномиального распределения, использование двухвыборочных критериев уменьшает мощность и увеличивает ошибку первого рода из-за погрешности парного сравнения. То есть, даже если бы мы сравнили каждую группу с каждой, нам бы пришлось применять поправки на множественные сравнения семейства Бенджамини-Хохберга, иначе результаты могли бы быть неверными.

В итоге мы получаем интересные результаты, которые, к сожалению, ничего не говорят о фактическом положении дел. И несмотря на то, что у нас, будто, есть победитель в конверсии, на данных объемах данных это не более чем просто шум, который не стоит считать реальным достижением. С другой стороны, если бы подобное соотношение осталось бы на порядках сотен тысяч человек, мы бы уже могли говорить о реально существующей разнице между каналами трафика.