Между публикацией страницы и её появлением в поиске проходит несколько этапов, и на каждом она может застрять. Разбираем этот путь по шагам, показываем, где он обрывается чаще всего, и что можно ускорить.
Коротко
- Путь в поиск состоит из нескольких шагов, и оборваться может любой.
- Ускоряют обход, а не индексацию: решение принимает поиск.
- Чаще всего мешают запреты и низкая ценность страницы.
- Массовые проблемы с индексацией — признак технической причины.
Путь страницы в поиск
Робот узнаёт об адресе
Из ссылок, карты сайта или отправки вручную.
Робот приходит на страницу
Если ему не запрещено.
Страница загружается
Код ответа 200, содержимое отдаётся.
Содержимое обрабатывается
Включая то, что рисует скрипт.
Поиск решает, включать ли в индекс
Это решение принимает он, а не вы.
Последний шаг объясняет, почему «ускорить индексацию» можно только частично. Вы управляете первыми четырьмя: даёте знать об адресе, не мешаете обходу, отдаёте содержимое. Решение о включении в индекс остаётся за поиском, и оно зависит от ценности страницы.
Чем ускорить обход
| Способ | Что даёт |
|---|---|
| Карта сайта | Робот видит список адресов |
| Внутренние ссылки | Новая страница доступна с других |
| Переобход в панели вебмастера | Приоритетное посещение |
| IndexNow | Уведомление об изменениях |
| Быстрый сервер | Робот успевает обойти больше |
| Отсутствие мусорных адресов | Бюджет обхода тратится на нужное |
Вторая строка работает лучше всех и стоит меньше всех. Страница, на которую нет ни одной ссылки внутри сайта, обнаруживается последней и переобходится реже — а ссылка из раздела или соседней статьи ставится за минуту. Про инструменты — в статьях про карту сайта, IndexNow и ускорение индексации.
Где путь обрывается чаще всего
Технические причины
- Запрет в robots.txt
- Мета-тег noindex
- Канонический адрес на другую страницу
- Код ответа не 200
- Содержимое рисуется скриптом и не отдаётся
Содержательные причины
- Страница почти пустая
- Дублирует другую
- Нет спроса по теме
- Страница не связана ссылками
Левый столбец чинится за час, правый — неделями. Поэтому проверку всегда начинают слева: убедиться, что страница вообще доступна роботу, дешевле, чем переписывать содержимое. Разбор — в статье про причины, по которым страница не индексируется.
Как проверить конкретную страницу
Найдите её в панели вебмастера
Там виден статус и причина.
Проверьте код ответа
Должен быть 200.
Посмотрите исходный код
Нет ли noindex и чужого canonical.
Проверьте robots.txt
Не закрыт ли раздел целиком.
Посмотрите, как её видит робот
Отдаётся ли содержимое без скриптов.
Отправьте на переобход
Только после четырёх предыдущих шагов.
Порядок важен: переобход стоит последним. Отправлять на обход страницу, закрытую от индексирования, бессмысленно — робот придёт, увидит запрет и уйдёт. Про инструмент — в статье про переобход страниц.
Если не индексируется много страниц
| Признак | Где искать причину |
|---|---|
| Не индексируется целый раздел | Запрет в robots.txt или на шаблоне |
| Новые страницы не попадают вовсе | Карта сайта, ссылки, доступность |
| Страницы выпадают со временем | Ценность содержимого, дубли |
| Индексируются не те страницы | Фильтры, сортировки, параметры |
| Медленный обход | Скорость сервера, объём мусорных адресов |
Первая строка обнаруживается за пять минут и встречается чаще, чем можно ожидать. Запрет, поставленный на время разработки и забытый, — типичная история: сайт работает, страницы есть, а в поиске их нет. Проверка занимает одно обращение к файлу robots.txt — про него в статье про robots.txt.
Частые вопросы
Из чего состоит путь страницы в поиск?
Робот узнаёт об адресе, приходит на страницу, получает содержимое, обрабатывает его и поиск решает, включать ли страницу в индекс. Последнее решение принимаете не вы.
Как ускорить индексацию?
Ускорить можно обход: карта сайта, внутренние ссылки, переобход в панели вебмастера, IndexNow, быстрый сервер и отсутствие мусорных адресов. Дешевле всего — внутренние ссылки.
Почему страница не попадает в индекс?
Чаще всего из-за запрета в robots.txt, мета-тега noindex, канонического адреса на другую страницу или кода ответа не 200. Содержательные причины — пустая страница, дубль, отсутствие спроса.
Что делать, если не индексируется целый раздел?
Проверить robots.txt и шаблон раздела: запрет, поставленный на время разработки и забытый, — типичная причина, и проверка занимает пять минут.
Продвинем сайт в поиске
Соберём семантику, доведём структуру и текст до уровня топа и будем вести проект до заявок.
Обсудить SEO-продвижение
