Статистическая значимость в A/B-тестах простыми словами

Статистическая значимость простыми словами

Слово «значимость» в отчётах по тестам понимают неверно чаще, чем верно. Разбираем, что оно означает и о чём не говорит.

Коротко

Значимость отвечает на один узкий вопрос.
Значимый результат может быть бесполезным.
Малая разница на малых числах — шум.
Много тестов дают ложные победы.

Что означает значимость

Статистическая значимость отвечает на узкий вопрос: насколько правдоподобно, что наблюдаемая разница между вариантами возникла случайно. Если она значима, случайное совпадение маловероятно. Это всё, что она сообщает — и в частности, она ничего не говорит о том, велика ли разница и стоит ли она внедрения.

На что отвечает	На что не отвечает
Случайна ли разница	Велика ли она
Можно ли верить наличию эффекта	Окупится ли внедрение
Хватило ли данных	Правильную ли вещь измерили
Отличаются ли варианты	Будет ли так же завтра

Что означает значимость — Только про случайность.

Что такое случайное колебание

Пример	Что происходит
Первые сто посетителей	Разница может быть любой
Один крупный заказ	Сдвигает всю картину
Выходные и будни	Разное поведение
Скачок трафика из одного источника	Меняет состав аудитории
Праздники и погода	Влияют на спрос

Чем меньше наблюдений, тем сильнее случайность. Разница «пять заявок против трёх» выглядит как рост в полтора раза и не означает ничего: на таких числах любое распределение вероятно.

Что такое случайное колебание — Пять против трёх не значит ничего.

Значимо не значит важно

Частая путаница

«Результат значим — надо внедрять»
«Разница маленькая, но значимая — это успех»
«Незначимо — значит, не работает»
«Значимо — значит, будет всегда»

Как правильнее

Значимо и разница стоит внедрения
Оценить размер эффекта в деньгах
Незначимо — значит, данных не хватило
Перепроверить через время

Третья строка слева — самая частая ошибка толкования. Отсутствие значимости не доказывает, что варианты одинаковы: оно означает, что имеющихся данных недостаточно, чтобы отличить их друг от друга.

Значимо не значит важно — «Незначимо» — не доказательство.

Почему много тестов дают ложные победы

Если проверять достаточно много вариантов и показателей, часть из них покажет «значимую» разницу просто по случайности. Это свойство самого метода: чем больше проверок, тем выше шанс наткнуться на случайное совпадение, которое выглядит как открытие.

Что усиливает риск	Как снизить
Много вариантов в одном тесте	Ограничить число
Много показателей	Выбрать один основной заранее
Ежедневные проверки	Смотреть итог в конце
Разрезание по сегментам	Сегменты — гипотеза, а не вывод

Почему много тестов дают ложные победы — Свойство метода.

Отдельно про сегменты

Разрезание результата по сегментам после теста — самый лёгкий способ получить ложный вывод. Если разбить аудиторию на десять групп, в какой-то из них вариант почти наверняка «выиграет»: это не находка, а следствие числа проверок. Такой результат годится только как новая гипотеза для отдельного теста.

Как не надо	Как надо
Найти выигравший сегмент после теста	Заранее назвать сегмент интереса
Внедрить по этому сегменту	Поставить отдельный тест
Отчитаться о победе	Отчитаться об общем результате

Что это значит на практике

Назвать основной показатель заранее

Один.

Определить длительность заранее

И дождаться.

Оценить размер эффекта

Не только значимость.

Перевести эффект в деньги

Стоит ли внедрения.

Перепроверить важное

Повторным тестом.

Последний шаг применяют к решениям, которые дорого откатывать. Повторение теста стоит времени и снимает главный риск: внедрить случайность как правило и потом строить на ней другие решения.

Частые вопросы

Что означает статистическая значимость?

Что наблюдаемая разница вряд ли возникла случайно. Это всё: она не говорит, велика ли разница и окупится ли внедрение.

Значит ли «незначимо», что варианты одинаковы?

Нет. Это означает, что имеющихся данных недостаточно, чтобы отличить их друг от друга.

Почему нельзя смотреть результат каждый день?

В начале разница скачет случайно, и почти всегда возникает момент кажущегося перевеса. Чем больше проверок, тем выше шанс принять случайность за результат.

Можно ли разрезать результат по сегментам?

Только как источник новой гипотезы. Если разбить аудиторию на десять групп, в какой-то вариант «выиграет» почти наверняка — это следствие числа проверок.