Сколько трафика нужно для достоверного A/B-теста

Сколько трафика нужно для достоверного теста

Вопрос «сколько нужно посетителей» не имеет одного ответа, и любая названная цифра будет неверной для части случаев. Разбираем, от чего это зависит.

Коротко

Объём зависит от конверсии и размера эффекта.
Мелкие изменения требуют больше данных.
Тест держат целыми неделями.
При малом трафике тестируют иначе.

От чего зависит объём

Величина	Как влияет
Текущая конверсия	Чем ниже, тем больше нужно данных
Ожидаемое изменение	Чем мельче, тем больше нужно
Требуемая уверенность	Чем строже, тем больше
Число вариантов	Каждый требует своей выборки

Именно поэтому здесь нет универсального числа вроде «нужно столько-то посетителей». Оно вычисляется из перечисленных величин калькулятором размера выборки, и подставлять чужую цифру бессмысленно: при другой конверсии она даёт совсем другой ответ.

От чего зависит нужный объём — Универсального числа нет.

Почему мелкие изменения трудно проверить

Чем меньше ожидаемая разница между вариантами, тем больше наблюдений нужно, чтобы отличить её от случайных колебаний. Изменение, которое даёт заметный сдвиг, видно быстро; изменение, дающее едва заметный, требует объёмов, недоступных большинству сайтов — и это главная причина, по которой тесты мелких правок не заканчиваются ничем.

Что тестируем	Реалистично ли при небольшом трафике
Оттенок кнопки	Практически нет
Формулировка заголовка	Иногда
Наличие цены на странице	Да, эффект обычно крупный
Длина формы	Да
Структура страницы целиком	Да

Что реально проверить при малом трафике — Мелкое отличить невозможно.

Сколько держать по времени

Правило	Почему
Целое число недель	Будни и выходные ведут себя по-разному
Минимум один полный цикл	У аудитории своя недельная картина
Не останавливать при «хорошем» результате	Ранняя остановка искажает
Не растягивать бесконечно	Меняются сезон и трафик
Учитывать цикл сделки	Если считаете продажи

Первая строка — частая ошибка: тест, запущенный в среду и остановленный в понедельник, захватывает разное число будних дней в вариантах. Кратность неделе убирает этот перекос без всяких расчётов.

Сколько держать тест по времени — Целое число недель.

Почему нельзя останавливать досрочно

Как обычно происходит

Смотрят результат каждый день
Видят перевес одного варианта
Останавливают тест
Внедряют и не получают эффекта

Как правильно

Определить длительность заранее
Дождаться её
Смотреть, чтобы убедиться в работоспособности
Решение принимать в конце

В начале теста разница между вариантами скачет случайно, и почти всегда наступает момент, когда один выглядит победителем. Остановка именно в этот момент означает, что вы приняли случайное колебание за результат — и это самая частая причина «тестов, которые не подтвердились».

Что делать при небольшом трафике

Подход	Когда подходит
Тестировать только крупные изменения	Всегда при малом трафике
Считать микроконверсии	Их больше, чем заявок
Сравнивать периоды	При заметных правках
Наблюдать за людьми	Качественно вместо количественного
Опрашивать клиентов	Причины вместо чисел
Объединять страницы в тест	Если изменение общее

Вторая строка часто спасает положение: заявок мало, а нажатий на кнопку и открытий формы заметно больше. Промежуточный показатель годится, если он действительно связан с заявкой. Про них — в статье про микроконверсии.

Что делать при небольшом трафике — Микроконверсии спасают.

Когда честнее не тестировать

Ситуация	Что делать вместо
Явная поломка	Просто починить
Отсутствие цены	Добавить
Неработающая форма	Исправить немедленно
Совсем мало посетителей	Наблюдение и разговоры
Изменение обязательно по другим причинам	Внедрить и следить

Тестировать очевидные исправления — трата времени. Если форма не отправляется или на странице нет цены, вопрос не в том, лучше ли будет с исправлением, а в том, почему этого до сих пор нет.

Частые вопросы

Сколько посетителей нужно для теста?

Универсального числа нет: объём зависит от текущей конверсии, ожидаемого размера изменения и требуемой уверенности. Он вычисляется калькулятором размера выборки.

Почему мелкие изменения трудно проверить?

Чем меньше разница между вариантами, тем больше наблюдений нужно, чтобы отличить её от случайных колебаний. Для небольшого сайта такие объёмы недостижимы.

Можно ли остановить тест, когда виден победитель?

Нет. В начале разница скачет случайно, и почти всегда наступает момент кажущегося перевеса. Остановка в этот момент — это принятие случайности за результат.

Что делать при небольшом трафике?

Тестировать только крупные изменения, считать микроконверсии, наблюдать за людьми и опрашивать клиентов. Качественные методы дают причины вместо чисел.