В Директе есть встроенный инструмент сравнения настроек, который делит аудиторию и считает статистику сам. Разбираем его ограничения и то, как читать результат.
Коротко
- Одна гипотеза и один параметр за эксперимент.
- Вариантов от 2 до 20, активных экспериментов до 50.
- Бюджеты должны быть пропорциональны выборкам.
- В отчёте есть подсветка по p-value.
Где доступны эксперименты
| Тип кампании | Доступность |
|---|---|
| Единая перфоманс-кампания для сайтов | Доступны |
| Единая перфоманс-кампания для приложений | Доступны |
| Кампании с показами в мессенджерах | Исключены |
| Медийные кампании | Доступны |
Третья строка — исключение внутри ЕПК, а не отдельный тип кампании. Справка оговаривает его прямо, и это стоит учитывать при планировании тестов: часть мест показа под инструмент не подпадает.
Ограничения, которые задают масштаб
| Ограничение | Значение |
|---|---|
| Активных экспериментов всего | не более 50 |
| Активных в одной кампании, ЕПК | не более 5 |
| Активных в одной кампании, медийные | не более 4 |
| Уникальных кампаний в эксперименте | не более 50 |
| Вариантов в одном эксперименте | от 2 до 20 |
Последняя строка выглядит щедро, но в ней же и ловушка. Двадцать вариантов технически возможны, а статистически почти бесполезны: чем больше вариантов, тем меньше данных на каждый и тем дольше ждать различимого результата. Справка отдельно советует проверять «только одну гипотезу с одним параметром» в рамках эксперимента. Про общую механику тестирования — в статье про A/B-тестирование.
Как собрать корректное сравнение
Сформулировать гипотезу
Один параметр, а не набор правок.
Создать две идентичные кампании
Отличаются только проверяемой настройкой.
Разделить аудиторию
Справка рекомендует поровну.
Сверить бюджеты с выборками
Они должны быть пропорциональны.
Выбрать основную метрику и цель
Метрика отражает гипотезу.
Указать срок анализа
Когда планируете смотреть отчёт.
Четвёртый шаг пропускают чаще всего, а он ломает весь тест. Справка прямо просит проверить, что бюджеты кампаний пропорциональны выборкам: если на половину аудитории выделен вдвое меньший бюджет, сравнивать будет нечего — разница объяснится деньгами, а не настройкой.
Предупреждение, которое легко пропустить
Одна фраза в справке стоит отдельного абзаца: «Остановленная кампания будет запущена автоматически после добавления в нее эксперимента». То есть добавление кампании в эксперимент включает показы — даже если кампания была намеренно остановлена.
| Ситуация | Что произойдёт |
|---|---|
| Кампания остановлена и добавлена в эксперимент | Запустится автоматически |
| Нужно проверить разные ставки | Та же кампания в оба варианта плюс корректировки |
| Эксперимент не остановлен вручную | Продолжается, срок анализа на это не влияет |
Третья строка — вторая неочевидность. Поле длительности показывает, через сколько дней вы ожидаете увидеть результат, но «сам эксперимент будет длиться, пока вы его не остановите». То есть это ориентир для вас, а не таймер.
Как читать отчёт
| Элемент отчёта | Что означает |
|---|---|
| Все варианты сравниваются с контрольным | Базовая логика |
| Основная метрика стоит первой | На подсчёт не влияет |
| Считаются все доступные метрики | Не только основная |
| Данные из Мастера отчётов | Источник один и тот же |
| Можно развернуть по кампаниям | Внутри варианта |
Вторая строка снимает частое заблуждение. Основная метрика — это способ зафиксировать, что именно вы проверяли; на расчёт результатов она не влияет, в отчёте посчитаются все метрики. Про сам Мастер отчётов — в статье про построение отчётов в Директе.
Подсветка по p-value
Директ подсвечивает ячейки в зависимости от статистической значимости. По справке: если значение p-value составляет менее 0,2, применяется слабое выделение, если менее 0,05 — яркое. Цвет при этом зависит от эффективности результата: например, рост показов окрашивает ячейку в зелёный, а рост цены конверсии — в красный.
| Значение p-value | Выделение |
|---|---|
| Менее 0,2 | Слабое |
| Менее 0,05 | Яркое |
Слабое выделение — не повод принимать решение. Оно означает лишь, что различие заметно, но вероятность случайности ещё велика. Яркое выделение соответствует привычному порогу 0,05. Что такое статистическая значимость простыми словами — в отдельной статье про статистическую значимость.
Частые вопросы
Где доступны A/B-эксперименты в Директе?
В Единой перфоманс-кампании для продвижения сайтов и приложений, кроме кампаний с показами в мессенджерах, и в медийных кампаниях.
Сколько вариантов можно сравнивать?
От 2 до 20 в одном эксперименте. При этом справка советует проверять одну гипотезу с одним параметром.
Что будет, если добавить в эксперимент остановленную кампанию?
Она будет запущена автоматически после добавления.
Останавливается ли эксперимент сам по истечении срока?
Нет. Указанная длительность показывает, когда вы планируете смотреть отчёт, а эксперимент длится, пока вы его не остановите.
Что означает подсветка в отчёте?
Она зависит от p-value: менее 0,2 — слабое выделение, менее 0,05 — яркое. Цвет отражает, улучшился показатель или ухудшился.
Настроим контекстную рекламу
Соберём запросы, разведём кампании по структуре и доведём стоимость заявки до вашей экономики.
Обсудить контекст
