A/B-тест кажется способом получить объективный ответ, но чаще даёт ответ, которого нет: разница появляется на малых числах, исчезает на больших и появляется снова. Разбираем четыре ошибки, из-за которых это происходит, и порядок, который их снимает.
Коротко
- Тест показывает разницу только при достаточном числе конверсий.
- Менять нужно что-то одно, иначе результат не объясним.
- Останавливать тест при появлении разницы — способ поймать случайность.
- Неудачный тест тоже результат, если записан.
Как устроен корректный тест
Одна гипотеза
Сформулированная до запуска: что меняем и что ожидаем.
Два варианта
Отличающиеся одним элементом.
Случайное распределение
Посетители делятся между вариантами без систематики.
Заранее заданный объём
Сколько конверсий нужно набрать до выводов.
Вывод после набора
А не тогда, когда появилась разница.
Четвёртый и пятый шаги делают тест тестом. Без них вы смотрите на график и останавливаетесь, когда он показывает то, что хотелось увидеть, — а он рано или поздно покажет что угодно. Решение о сроке и объёме принимается до старта именно поэтому.
Четыре типичные ошибки
| Ошибка | К чему приводит |
|---|---|
| Слишком мало конверсий | Разница случайна, а выглядит убедительно |
| Несколько изменений сразу | Непонятно, что сработало |
| Остановка при появлении разницы | Результат подогнан под ожидание |
| Слишком короткий период | Не захвачен недельный цикл |
Первая ошибка встречается чаще остальных вместе взятых. При двадцати конверсиях в каждом варианте разница в четверть выглядит впечатляюще и почти наверняка ничего не значит. Чтобы говорить о различии уверенно, нужны десятки конверсий на вариант, а лучше сотни — и это ограничение не обходится ускорением теста.
Сколько нужно данных
Недостаточно
- Несколько конверсий на вариант
- Неделя при небольшом трафике
- Разница в несколько процентов
- Данные только по будням
Можно делать выводы
- Десятки конверсий на вариант
- Минимум две полные недели
- Разница в разы или в десятки процентов
- Захвачены будни и выходные
Для небольшого сайта это означает неприятный вывод: тестировать можно не всё. При десяти заявках в месяц набрать статистику на вариант нереально — тест растянется на полгода, за которые изменится всё остальное. В такой ситуации разумнее вносить очевидные улучшения без теста и проверять результат по общей динамике.
Почему одно изменение за раз
Иначе непонятна причина
Изменили заголовок, кнопку и картинку — что сработало?
Иначе нечего переносить
Смысл теста — в правиле, применимом дальше.
Иначе эффекты могут гасить друг друга
Одно улучшило, другое ухудшило, итог нулевой.
Третий пункт объясняет часть «безрезультатных» тестов. Новая версия страницы с пятью изменениями показала ту же конверсию — и вывод «ничего не работает» неверен: возможно, три изменения помогли, а два помешали. Разделив их, вы получили бы три улучшения вместо нуля.
Что делать с результатом
| Исход | Что с ним делать |
|---|---|
| Вариант лучше | Внедрить и записать правило |
| Вариант хуже | Записать: это тоже знание |
| Разницы нет | Записать и не проверять это снова |
| Данных не хватило | Отметить, что вывод не получен |
Вторая и третья строки ценны не меньше первой. Знание о том, что гипотеза не работает, экономит будущие тесты — но только если оно записано. Без журнала через год кто-нибудь предложит проверить то же самое, и цикл повторится. Простая таблица «дата, что меняли, сколько конверсий, что получилось» решает это за пять минут после каждого теста.
Частые вопросы
Сколько данных нужно для A/B-теста?
Десятки конверсий на каждый вариант, а лучше сотни, и минимум две полные недели, чтобы захватить будни и выходные. При двадцати конверсиях на вариант разница в четверть почти наверняка случайна.
Можно ли менять несколько элементов сразу?
Тогда непонятно, что сработало, и нечего переносить на другие страницы. Хуже того, эффекты могут гасить друг друга: часть изменений помогла, часть помешала, и итог выглядит нулевым.
Когда останавливать тест?
По заранее заданному объёму конверсий, а не когда появилась разница. График рано или поздно покажет что угодно, и остановка в удобный момент подгоняет результат под ожидание.
Что делать, если трафика мало?
Принять, что тестировать можно не всё: при десяти заявках в месяц тест растянется на полгода. Разумнее вносить очевидные улучшения без теста и смотреть на общую динамику.
Сделаем сайт, который приносит заявки
Спроектируем структуру под запросы, соберём и запустим — с учётом SEO с первого дня.
Обсудить разработку