Тест, поставленный на идею «а давайте попробуем», не даёт знания даже при положительном результате. Разбираем, как формулировать гипотезу.
Коротко
- Гипотеза строится на наблюдении, а не на вкусе.
- В ней есть объяснение, почему сработает.
- Проверяется одно изменение за раз.
- Гипотезы приоритизируют до запуска.
Из чего состоит гипотеза
| Часть | Пример |
|---|---|
| Наблюдение | Половина бросает форму на поле «ИНН» |
| Объяснение | Люди не знают его наизусть |
| Изменение | Убрать поле из первого шага |
| Предсказание | Больше дойдёт до отправки |
| Как измерим | Доля отправивших форму |
Наличие второй части превращает эксперимент в знание. Если изменение не сработало, при наличии объяснения вы узнаёте, что неверна именно эта причина; без объяснения вы узнаёте только, что этот вариант не лучше — и не понимаете почему.
Откуда берутся наблюдения
| Источник | Что даёт |
|---|---|
| Аналитика форм | Где бросают |
| Записи сессий | Где путаются |
| Карта прокрутки | Докуда доходят |
| Вопросы менеджерам | Чего не хватает |
| Наблюдение за человеком | Где застревает |
| Отчёты по устройствам | Где разрыв |
Гипотеза без наблюдения — это идея, и тестировать её дорого. Каждый тест занимает недели трафика: тратить их на предположения, не подкреплённые данными, значит проверять случайные догадки вместо реальных проблем.
Как выбрать, что тестировать первым
| Критерий | Вопрос |
|---|---|
| Масштаб | Сколько людей затронет |
| Ожидаемый эффект | Насколько заметное изменение |
| Уверенность | Насколько сильное наблюдение |
| Сложность | Сколько работы на внедрение |
| Обратимость | Легко ли откатить |
Первый критерий важнее остальных. Изменение на странице, которую видят все, при небольшом эффекте даёт больше, чем сильное изменение на странице, куда заходят единицы — и результат теста будет виден раньше.
Почему одно изменение за раз
Меняем всё сразу
- Результат есть, причина неизвестна
- Одно улучшило, другое ухудшило
- Нечего переносить на другие страницы
- Следующий тест начинается с нуля
Одно изменение
- Понятно, что сработало
- Вывод переносится дальше
- Накапливается знание об аудитории
- Следующая гипотеза точнее
Исключение — когда меняется весь блок целиком и разделить его нельзя. Тогда это проверка блока, а не элемента, и формулировать гипотезу нужно на уровне блока: «этот блок мешает» или «этот блок не нужен».
Что не является гипотезой
| Формулировка | Чего не хватает |
|---|---|
| «Сделаем кнопку ярче» | Наблюдения и причины |
| «У конкурента так сделано» | Связи с вашей аудиторией |
| «Мне кажется, так лучше» | Всего |
| «В статье писали, что работает» | Проверки на своих данных |
| «Надо обновить дизайн» | Конкретики и измеримости |
Вторая и четвёртая строки — самые коварные, потому что выглядят обоснованными. Чужой результат получен на чужой аудитории с другим трафиком: он годится как источник идеи, но не как основание считать, что у вас будет так же.
Зачем записывать гипотезы
| Что фиксировать | Зачем |
|---|---|
| Формулировку до запуска | Чтобы не подгонять под результат |
| Ожидаемое изменение | Сравнить с фактом |
| Показатель | Один основной |
| Дату начала и конца | Не останавливать раньше |
| Результат и вывод | Накопление знаний |
Первая строка защищает от самообмана. Когда показатель выбирается после просмотра результатов, почти всегда находится тот, по которому вариант выиграл: фиксация до запуска — единственная защита от этого. Про сам механизм — в статье про A/B-тестирование сайта.
Частые вопросы
Чем гипотеза отличается от идеи?
Наличием наблюдения и объяснения. При неудаче гипотеза даёт знание — неверна была причина; идея даёт только «этот вариант не лучше».
Откуда брать наблюдения?
Из аналитики форм, записей сессий, карт прокрутки, вопросов менеджерам и наблюдения за живым человеком. Тест на предположение тратит недели трафика впустую.
Можно ли менять несколько вещей сразу?
Только если это единый блок, который нельзя разделить. Иначе результат есть, а причина неизвестна, и следующий тест начинается с нуля.
Зачем записывать гипотезу до запуска?
Чтобы не подгонять показатель под результат. Если выбирать метрику после просмотра данных, почти всегда найдётся та, по которой вариант выиграл.
Читайте также
Сделаем сайт, который приносит заявки
Спроектируем структуру под запросы, соберём и запустим — с учётом SEO с первого дня.
Обсудить разработку
