Типичные ошибки A/B-тестов и как их избежать

Тест может быть проведён аккуратно и дать неверный вывод. Разбираем ошибки по этапам: подготовка, проведение, толкование.

Коротко

Главные ошибки — на этапе подготовки.
Ранняя остановка искажает результат.
Технические сбои портят данные.
Отрицательный результат — тоже результат.

Ошибки подготовки

Ошибка	Последствие
Нет гипотезы, только идея	Результат ничему не учит
Не выбран основной показатель	Выберут после результатов
Не определена длительность	Остановят, когда понравится
Тестируют мелочь при малом трафике	Заведомо ничего не выйдет
Не проверили, что варианты работают	Половина видит поломку
Меняют несколько вещей сразу	Причина неизвестна

Пятая строка встречается чаще, чем кажется, и полностью обесценивает тест. Прежде чем запускать, оба варианта нужно открыть самому — с компьютера и телефона, пройти до отправки формы и убедиться, что заявка доходит.

Ошибки подготовки теста — Проверьте оба варианта руками.

Ошибки во время теста

Ошибка	Что портит
Остановка при первом перевесе	Случайность принята за результат
Правки в вариантах по ходу	Данные до и после несравнимы
Запуск рекламной акции параллельно	Меняется состав аудитории
Изменение бюджета рекламы	То же
Разное распределение трафика	Сравнивают разное
Тест захватывает праздники	Нетипичное поведение

Третья и четвёртая строки — частая причина странных результатов. Если во время теста запустили новую кампанию, в варианты пошёл другой трафик: сравниваются уже не страницы, а аудитории.

Ошибки во время теста — Параллельная акция меняет аудиторию.

Технические ошибки

Портят данные

Человек видит разные варианты в разных визитах
Вариант мигает при загрузке
Тест замедляет страницу
Цели считаются не для всех вариантов
Тест не работает на мобильных
Боты попадают в выборку

Как проверить

Зайти несколько раз
Посмотреть загрузку
Сверить число целей
Проверить с телефона

Вторая строка слева искажает результат незаметно. Если посетитель на долю секунды видит исходный вариант, а затем страница перерисовывается, часть людей успевает уйти — и проигрывает не содержание варианта, а мигание.

Технические ошибки тестов — Мигание проигрывает за вас.

Ошибки толкования

Ошибка	Почему неверно
«Незначимо — значит, не работает»	Данных не хватило
Победа по второстепенному показателю	Показатель выбран после
Победа в одном сегменте	Следствие числа проверок
Рост кликов без роста заявок	Измерили не то
Перенос вывода на другие страницы	Там другая аудитория
Игнорирование качества заявок	Заявок больше, продаж нет

Последняя строка возвращает к главному правилу: показатель теста должен быть связан с деньгами. Вариант, дающий больше заявок худшего качества, выигрывает тест и проигрывает в кассе.

Ошибки толкования результата — Показатель должен быть про деньги.

Что делать с отрицательным результатом

Реакция	Правильно ли
Внедрить всё равно, потому что красивее	Нет
Считать тест неудачей	Нет, это результат
Разобраться, почему гипотеза неверна	Да
Записать вывод	Да
Поставить следующую гипотезу	Да

Отрицательный результат экономит деньги: он останавливает внедрение изменения, которое сделало бы хуже. Тест, показавший, что идея не работает, окупается ровно этим — и это стоит проговаривать, когда команда расстроена.

Короткий список проверок

Гипотеза записана

С наблюдением и причиной.

Показатель и срок определены

До запуска.

Оба варианта проверены вручную

С телефона тоже.

Ничего не меняется по ходу

Ни на сайте, ни в рекламе.

Решение в конце срока

По основному показателю.

Вывод записан

Любой.

Шесть пунктов закрывают большинство описанных ошибок. Они не требуют знания статистики — только дисциплины в том, чтобы решить всё заранее и не трогать тест руками. Про цикл в целом — в статье про повышение конверсии сайта.