Анализ результатов A/B теста

Введение

Предположим, что прошло достаточное время после запуска теста, и пора анализировать результаты. Кстати, достаточным временем почти всегда будет не менее 3 недель после начала теста, исключая день запуска.

На что смотреть

Если коротко, то включаем сразу все сегменты вариантов теста и смотрим по очереди на все отчеты. Выясняем, в каком сегменте есть отклонения показателей. Проверяем в калькуляторе, какова вероятность, что эти отклонения связаны именно с нашим тестом.

Главные показатели, по которым рассчитывается вероятность победы варианта, это:

• количество сеансов в каждом варианте,
• количество пользователей в каждом варианте,
• количество важных конверсий в каждом варианте.

Имея эти данные, мы можем перейти к расчету вероятности связи изменения коэффициента конверсии с нашим тестом. Или «какова вероятность того, что рост конверсии связан с тем, что мы что-то изменили на сайте? Могло ли быть такое же изменение при сравнении 2 ничем не отличающихся сегментов?»

Как считать

Считаем только полными неделями, нельзя брать данные, например, за 10 дней, а за 21 день – можно. Не признаем победу тестового варианта ранее, чем через 3 недели после запуска теста. При этом поражение можно признать и через 1 неделю, чтобы не рисковать потерей денег из-за плохого варианта. Действует принцип «не навреди».

Как понять, что в тесте есть победитель

Если тест идет не менее 3 недель, и при этом калькулятор показывает более 95% шанс, что один из вариантов лучше контрольного, значит, этот вариант можно считать победителем в большинстве случаев. В каждом конкретном случае следует разбираться индивидуально, решение о признании победителя сильно зависит от гипотезы.

Иногда требуется строить сегменты с более сложными условиями, чем просто по пользовательскому параметру. Например, отдельно сегменты для анализа результатов теста на мобильных устройствах и на десктопах.