Тест в рассылке настраивается в два клика, а выводы из него делают неверные чаще, чем верные. Разбираем, как проверять, чтобы результату можно было верить.
Коротко
- Одна проверка — одно изменение.
- Делить базу нужно случайно.
- Судить по переходам, а не по открытиям.
- На малой базе выводы делать нельзя.
Что можно проверять
| Что | По какому показателю судить |
|---|---|
| Тема письма | Открытия, но проверять переходы |
| Имя отправителя | Открытия |
| Предзаголовок | Открытия |
| Текст кнопки | Переходы |
| Структура письма | Переходы |
| Время отправки | Открытия и переходы |
Первая строка содержит главную ловушку тестов темы. Тема может поднять открытия и обрушить переходы: люди открыли, не нашли обещанного и ушли. Тема, выигравшая по открытиям и проигравшая по переходам, — проигравшая.
Почему одно изменение за раз
Изменили тему и кнопку сразу
Два отличия.
Второй вариант выиграл
Результат есть.
Что сработало — неизвестно
Тема, кнопка или оба.
Повторить результат нельзя
Непонятно, что повторять.
Смысл теста не в том, чтобы один раз получить больше переходов, а в том, чтобы узнать правило. Проверка с двумя изменениями даёт выигрыш без знания: следующее письмо придётся угадывать заново.
Как делить базу
| Правило | Почему |
|---|---|
| Деление случайное | Иначе сравниваются разные люди |
| Части сопоставимого размера | Чтобы шум был одинаковым |
| Не делить по активности | Активные исказят результат |
| Не делить по городу или полу | Это уже другое сравнение |
| Отправлять одновременно | Иначе примешается время |
Последняя строка нарушается чаще всего при ручных проверках. Отправив вариант А утром, а вариант Б вечером, вы проверяете не тексты, а время отправки: варианты должны уходить одновременно, если время не является предметом проверки. Про сегменты — в статье про сегментацию базы.
Почему на малой базе нельзя
На небольшой базе разница между вариантами чаще всего случайна. Если каждая половина получила по сто писем, разница в несколько переходов ничего не значит: тот же результат получился бы при одинаковых письмах просто из-за того, что люди ведут себя по-разному. Формулы расчёта размера выборки здесь не приводятся: они требуют допущений, которые в рассылке не проверить.
| Ситуация | Что делать |
|---|---|
| База маленькая | Копить наблюдения, а не тестировать каждое письмо |
| Разница в несколько переходов | Считать её отсутствием разницы |
| Результат меняется от выпуска к выпуску | Гипотеза не подтвердилась |
| Одна и та же закономерность повторяется | Вот это вывод |
Последняя строка — рабочий способ учиться на небольшой базе. Вместо статистики по одному письму копится серия наблюдений: если короткие темы выигрывают пять раз подряд, это надёжнее любого единичного теста.
Сколько ждать результата
| Момент | Что учесть |
|---|---|
| Первые часы | Приходят самые активные |
| Первые сутки | Основная часть открытий |
| Вторые сутки | Дочитывают остальные |
| Дальше | Прирост незначительный |
Решение по результатам первого часа почти всегда неверное. В первый час отвечают самые активные подписчики, и их поведение не описывает базу: подождать сутки стоит даже тогда, когда разница выглядит убедительной.
Как встроить в работу
Одна гипотеза на выпуск
Не больше.
Записать, что проверяете
До отправки.
Дождаться суток
Не смотреть раньше.
Записать результат
Включая «разницы нет».
Повторить на следующем выпуске
Прежде чем менять правило.
Четвёртый шаг важнее остальных и делается реже всех. Отрицательные результаты — половина знания: без записи «разницы нет» вы будете проверять одно и то же каждые полгода. Журнал проверок за год стоит больше любого отраслевого отчёта, потому что он про вашу базу.
Частые вопросы
Можно ли менять два элемента письма в одном тесте?
Нет. Если выиграл вариант с двумя отличиями, непонятно, что сработало, и повторить результат не получится. Смысл проверки — узнать правило, а не выиграть один раз.
Как правильно делить базу для теста?
Случайно, на части сопоставимого размера, не по активности и не по городу, и отправлять варианты одновременно — иначе к результату примешается время отправки.
Можно ли тестировать на небольшой базе?
Единичный тест на малой базе ничего не покажет: разница в несколько переходов случайна. Вместо этого копят серию наблюдений по выпускам.
По какому показателю судить о теме письма?
По переходам. Тема может поднять открытия и обрушить переходы — люди открыли, не нашли обещанного и ушли.
Читайте также
Сделаем сайт, который приносит заявки
Спроектируем структуру под запросы, соберём и запустим — с учётом SEO с первого дня.
Обсудить разработку
