Если падение совпало с релизом, виновник почти всегда в нём. Разбираем, как подтвердить догадку и какие правки ломают трафик чаще всего.
Коротко
- Сопоставление дат сужает поиск до одного релиза.
- Проверять HTML, который получил робот.
- Переобход может занять до нескольких месяцев.
- Чаще всего ломают директивы и ответы сервера.
Сопоставить даты
Первый шаг — найти точку начала падения с точностью до дня, и для этого Google предлагает расширить период до 16 месяцев и сравнить с тем же периодом прошлого года: так видно, что падение не сезонное и началось в конкретный момент.
| Что сопоставляем | Где смотреть |
|---|---|
| Дата начала падения | Отчёты поиска, по дням |
| Даты релизов и правок | История изменений в системе разработки |
| Смена шаблона или CMS | Журнал работ |
| Работы хостинга или CDN | Письма и тикеты провайдера |
Четвёртая строка попадает в слепую зону чаще остальных. Правку мог внести не разработчик: включённая защита от ботов на CDN, обновление настроек хостинга, смена сертификата. Google специально оговаривает, что обход должен быть разрешён не только в robots.txt, но и на уровне CDN или хостинга — значит, их изменения тоже надо проверять.
Смотреть глазами робота, а не браузера
Это главный технический приём в таком разборе. Google предлагает проверять через инструмент проверки URL, «to see the HTML that Googlebot received while crawling the page» — какой HTML получил робот при обходе. Яндекс объясняет, почему это необходимо: «Заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером».
| Инструмент | Что показывает |
|---|---|
| Проверка URL в Search Console | HTML, полученный роботом |
| Проверка ответа сервера в Вебмастере | Код ответа для робота |
| Браузер | Только то, что видите вы |
Поэтому фраза «но у меня всё открывается» не является аргументом. Страница может нормально работать в браузере и отдавать роботу ошибку, редирект или пустой ответ — особенно если на сайте появилась защита от автоматических обращений. Разбор выпавших страниц — в статье про страницы, пропавшие из индекса.
Что ломается чаще всего
Список причин исключения страниц из поиска у Яндекса удобно читать как чек-лист правок: почти каждая строка — результат чьего-то изменения.
| Что сломалось | Какая правка могла это сделать |
|---|---|
| Ответ сервера 3XX, 4XX или 5XX | Редиректы, переезд, ошибка в коде |
| Запрет в robots.txt или noindex | Выкладка тестовых настроек на прод |
| Страница перенаправляет робота | Новая логика редиректов |
| Дубль другой страницы | Изменение структуры адресов |
| Страница не каноническая | Правка rel="canonical" в шаблоне |
| Адрес признан неглавным | Работы с зеркалами и доменами |
Вторая строка — классика, и она заслуживает отдельной проверки при каждом релизе. Запрет на индексирование с тестового стенда, попавший в прод, обрушивает трафик полностью и выглядит как катастрофа, хотя лечится одной строкой. Яндекс добавляет к этому сюжету ещё один вариант: если запрет в robots.txt размещали не вы, стоит обратиться к хостинг-провайдеру или регистратору.
Весь сайт или отдельный раздел
Этот вопрос задаёт направление поиска, и Google делит технические проблемы именно так: они бывают на уровне всего сайта — например, сайт недоступен — и на уровне отдельных страниц.
| Масштаб | Где искать правку |
|---|---|
| Упал весь сайт | Сервер, домен, robots.txt, общий шаблон |
| Упал один раздел | Шаблон раздела, его редиректы, его адреса |
| Упали отдельные страницы | Правки этих страниц |
Определить масштаб помогает таблица страниц в отчётах поиска: Google предлагает искать в ней закономерности. Если просели страницы одного типа — например, все карточки или все страницы пагинации — виновата правка шаблона, а не сайт целиком. Про отчёты — в статье про Google Search Console.
Почему исправление не даёт мгновенного эффекта
Ожидания здесь обычно завышены, а сроки в документации названы прямо. Google: обход «can take anywhere from several days to several months», в зависимости от того, как часто системы считают нужным обновлять страницу; при изменениях можно запросить переобход. Яндекс: страница может появиться в поиске «в течение двух недель после того, как робот узнает о ее изменении».
| Система | Срок после исправления |
|---|---|
| От нескольких дней до нескольких месяцев | |
| Яндекс | До двух недель после того, как робот узнает |
| Ускорение | Запрос на переобход |
Отсюда правило поведения после починки: не делать новых правок «на всякий случай». Если вносить изменения, пока предыдущие ещё не переобойдены, вы потеряете возможность понять, что именно помогло. Про переобход — в статье про переобход страниц в Вебмастере.
Как не попадать в это снова
Фиксировать даты релизов
Чтобы было с чем сопоставлять.
Проверять robots.txt после каждой выкладки
Самая частая поломка.
Проверять ответ сервера для робота
А не только в браузере.
Следить за изменениями на CDN и хостинге
Правку мог внести не разработчик.
Не менять много сразу
Иначе причину не выделить.
Последний шаг — не только про аварии. Google советует избегать радикальных изменений при небольших колебаниях позиций: если менять многое одновременно, вы не узнаете, что сработало, а что навредило. Это одинаково верно и для восстановления после аварии, и для обычной работы. Общая методика — в опорной статье про просадки трафика.
Частые вопросы
Как понять, что трафик упал из-за правок на сайте?
Сопоставить дату начала падения с датами релизов. Для этого удобно расширить период отчёта до 16 месяцев и сравнить с тем же периодом прошлого года, чтобы исключить сезонность.
Почему страница открывается в браузере, но робот её не видит?
Заголовки, которые робот запрашивает у сервера, отличаются от браузерных. Проверять нужно инструментами: проверкой URL в Search Console и проверкой ответа сервера в Вебмастере.
Какие правки ломают трафик чаще всего?
Попавший на прод запрет индексирования в robots.txt или метатегом, новые редиректы, изменения структуры адресов, правки канонических ссылок и работы с зеркалами.
Как быстро трафик вернётся после исправления?
У Google обход может занять от нескольких дней до нескольких месяцев, у Яндекса страница появляется в поиске в течение двух недель после того, как робот узнает об изменении. Ускорить можно запросом на переобход.
Можно ли вносить другие правки, пока ждёшь восстановления?
Не стоит: если менять многое одновременно, невозможно понять, что помогло. Google отдельно советует избегать радикальных изменений при небольших колебаниях позиций.
Продвинем сайт в поиске
Соберём семантику, доведём структуру и текст до уровня топа и будем вести проект до заявок.
Обсудить SEO-продвижение
