A/B-тест кажется способом получить объективный ответ, но чаще даёт ответ, которого нет: разница появляется на малых числах, исчезает на больших и появляется снова. Разбираем четыре ошибки, из-за которых это происходит, и порядок, который их снимает.
Коротко
- Выборку рассчитывают до запуска по исходной конверсии и минимальному полезному эффекту.
- Распределение пользователей должно быть случайным и устойчивым.
- Остановка при первом значимом результате искажает обычный тест с фиксированным горизонтом.
- Отсутствие значимости не доказывает равенства вариантов.
Как устроен корректный тест
Одна гипотеза
Сформулированная до запуска: что меняем и что ожидаем.
Два варианта
Проверяющие одну сформулированную гипотезу. Вариант может менять несколько согласованных элементов, но тогда вывод относится к версии целиком.
Случайное распределение
Посетители делятся между вариантами без систематики.
Заранее заданный объём
Сколько пользователей или других независимых наблюдений нужно на вариант.
Вывод после набора
А не тогда, когда появилась разница.
Четвёртый и пятый шаги делают тест тестом. Без плана многократная проверка и остановка при первом подходящем результате повышают риск ложного вывода. Решение о сроке и объёме принимается до старта именно поэтому.
Четыре типичные ошибки
| Ошибка | К чему приводит |
|---|---|
| Выборка меньше запланированной | Не хватает точности для надёжного вывода |
| Несколько независимых гипотез в одном варианте | Нельзя выделить вклад каждой без соответствующего дизайна |
| Остановка при появлении разницы | Результат подогнан под ожидание |
| Слишком короткий период | Не захвачен недельный цикл |
Почему нужен расчёт выборки. Достаточность данных зависит от исходной конверсии, ожидаемого эффекта, уровня значимости и мощности. По числу конверсий без знаменателя нельзя определить надёжность вывода.
Сколько нужно данных
Планируйте выборку до запуска. Для сравнения двух конверсий укажите исходную конверсию, минимальный полезный эффект, уровень значимости, мощность и распределение трафика. Единица анализа — например, уникальный пользователь — должна быть одинаковой в обеих группах.
| Параметр | Учебный пример |
|---|---|
| Базовая конверсия | 2% |
| Минимальный эффект | Рост до 2,4%: +0,4 процентного пункта, или +20% относительно базы |
| Уровень значимости | 5%, двусторонняя проверка |
| Мощность | 80% |
| Разделение | 50/50 |
| Приближённая выборка | Около 21 100 пользователей на вариант; зависит от метода расчёта |
Это расчётный пример для независимых наблюдений и одного основного сравнения, без поправки на непрерывное подглядывание. При 1 000 подходящих пользователей в день на весь тест суммарно около 42 200 наблюдений потребуют примерно 43 дня. Планируйте также полные циклы спроса и отсутствие крупных изменений кампаний.
Если доступного трафика не хватает, зафиксируйте ограничение. Интервью и проверка удобства интерфейса помогут найти проблемы, но не дадут того же статистического вывода, что рандомизированный эксперимент.
Что именно проверяет ваша гипотеза
Изменение одного элемента упрощает объяснение причины эффекта. Однако A/B-тест может сравнивать и две версии страницы с несколькими согласованными изменениями. Тогда вы проверяете пакет изменений целиком и не приписываете результат одной кнопке.
Чтобы выделить вклад отдельных элементов, нужен соответствующий дизайн эксперимента и достаточный трафик. Не разбивайте тест автоматически на множество вариантов: дополнительные сравнения меняют требования к анализу.
Что делать с результатом
| Исход | Что с ним делать |
|---|---|
| Вариант лучше | Внедрить и записать правило |
| Вариант хуже | Записать: это тоже знание |
| Статистически значимой разницы нет | Записать интервал неопределённости; это не доказывает равенства вариантов |
| Данных не хватило | Отметить, что вывод не получен |
Вторая и третья строки ценны не меньше первой. Знание о том, что гипотеза не работает, экономит будущие тесты — но только если оно записано. Без журнала через год кто-нибудь предложит проверить то же самое, и цикл повторится. Простая таблица «дата, что меняли, сколько конверсий, что получилось» решает это за пять минут после каждого теста.
Источники и проверка рекомендаций
Частые вопросы
Сколько данных нужно для A/B-теста?
Универсального числа конверсий или недель нет. Рассчитайте пользователей на вариант по базовой конверсии, минимальному эффекту, значимости и мощности.
Можно ли менять несколько элементов сразу?
Да, если гипотеза относится к новой версии целиком. Такой тест не показывает отдельный вклад каждого элемента.
Когда останавливать тест?
По заранее выбранному плану: объёму данных и правилам анализа. Для досрочной остановки нужны методы, которые её учитывают.
Что означает отсутствие значимой разницы?
Что в выбранном тесте не получено достаточно оснований отвергнуть нулевую гипотезу. Это не доказательство одинаковой эффективности.
Сделаем сайт, который приносит заявки
Спроектируем структуру под запросы, соберём и запустим — с учётом SEO с первого дня.
Обсудить разработку
