Калькулятор A/B тестов

Контрольный вариант теста

рекомендую считать отдельно и по визитам, и по пользователям
конверсиями могут быть заказы, звонки, цели, клики или их сумма

Вариант 1

число визитов или пользователей в варианте 1
число конверсий в варианте 1
Добавить вариант

Для чего нужен калькулятор A/B тестов

Предположим, вы хотите сравнить 2 варианта дизайна страницы: контрольный и тестовый. Вы провели A/B тест, в котором половине пользователей показывали контрольный вариант, другой половине – тестовый. Вы получили данные о трафике и конверсиях в обоих вариантах, увидели, что вариант 1 имеет более высокую конверсию. Но вы не уверены, что эта разница действительно обусловлена изменением дизайна. Вдруг разница в конверсии случайна? Калькулятор A/B тестов помогает оценить вероятность того, что разница в конверсии не случайна.

Как пользоваться калькулятором A/B тестов

Нужно ввести в калькулятор количество испытаний (визитов или пользователей) и успехов (конверсий, продаж или звонков) для каждого варианта A/B теста. Вариантов может быть много, при вводе нескольких вариантов каждый из них будет сравниваться с контрольным.

Калькулятор покажет, с какой вероятностью каждый вариант «лучше» по коэффициенту конверсии, чем контрольный. Иначе говоря, калькулятор показывает, с какой вероятностью вы не сможете получить такой же результат случайно при A/A тесте.

Статистически значимым считают такой итог теста, когда хотя бы у одного варианта есть шанс на неслучайный результат более 95% или менее 5%.

Пример расчета

Провели A/B тест на 3 группы пользователей. Исследовали цвет кнопки: синяя кнопка (контрольный), зеленая кнопка (вариант 1), красная кнопка (вариант 2). В каждом варианте было по 50000 визитов. В контрольном варианте было 1200 нажатий на кнопку, в варианте 1 – 1350, в варианте 2 – 1150.

Вводим данные в калькулятор и получаем результат:

В этом примере победителем оказался вариант 1 – его конверсия выше, чем конверсия контрольного варианта, и это не случайно с вероятностью 99,869%. Если мы доверимся результату теста и внедрим вариант 1, то это решение будет ошибочно всего в 0,131% случаев.

Вариант 2 можно считать лучше контрольного только в 14,83% случаев. На данном этапе теста вариант 2 нельзя назвать победившим или проигравшим – недостаточно данных для принятия решения.