Страница опубликована неделю назад, а в поиске её нет. Причин может быть около двенадцати, и они лежат в трёх разных слоях: запреты, доступность и качество. Проверять их наугад — долго, поэтому разбираем по порядку: от того, что проверяется за минуту, к тому, что требует работы.
Коротко
- Сначала проверяют запреты: robots.txt, noindex, canonical на другую страницу.
- Потом доступность: код ответа, ссылки на страницу, глубина вложенности.
- В последнюю очередь — качество: тонкая или дублирующая страница может не попасть в индекс.
- Панель вебмастера обычно прямо называет причину исключения.
Первым делом: посмотрите, что говорит панель
Прежде чем перебирать гипотезы, откройте проверку адреса в Яндекс Вебмастере или Search Console. В большинстве случаев там прямо написана причина: «запрещено в robots.txt», «страница с перенаправлением», «обнаружена, не проиндексирована», «неканоническая».
Это экономит часы. Дальнейший чек-лист нужен, когда причина названа неочевидно или не названа вовсе.
Дайте времени. Если страница опубликована вчера, её отсутствие в индексе — ещё не проблема. Нормальный срок — от нескольких дней до пары недель. Бить тревогу имеет смысл, когда прошёл месяц и робот на странице уже был.
Слой 1: запреты
Проверяется за пять минут, и сюда попадает большинство случаев.
| Причина | Как проверить |
|---|---|
| Запрет в robots.txt | Анализатор в Вебмастере: подставьте адрес |
| Мета-тег noindex | Поиск по исходному коду страницы |
| Заголовок X-Robots-Tag | Вкладка «Сеть» в инструментах разработчика |
| Canonical на другую страницу | Поиск rel=canonical в коде |
| Страница за авторизацией | Откройте в режиме инкогнито |
| Закрыта от роботов на сервере | Проверьте ответ для user-agent робота |
Самая коварная пара. Noindex вместе с запретом в robots.txt. Робот не может открыть страницу, значит не видит noindex, но и не индексирует её. При этом в панели причина будет названа как запрет в robots.txt, а сняв только его, вы получите noindex.
Слой 2: доступность
Страница не запрещена, но робот до неё не добирается или получает не то, что ожидает.
- Код ответа не 200. Редирект, 404, 500 — ничего из этого не индексируется. Проверяется любым сервисом проверки заголовков.
- На страницу нет ссылок. Страница-сирота, до которой не дойти с сайта. Робот про неё просто не знает.
- Слишком глубокая вложенность. Пятый уровень от главной обходится редко и неохотно.
- Нет в карте сайта. Не критично при хорошей перелинковке, но для новых страниц ускоряет обнаружение.
- Контент подгружается скриптами. Робот может видеть пустую страницу вместо текста.
- Сервер медленный или недоступен. Если робот регулярно получает таймауты, частота обхода падает.
Быстрая проверка сразу для нескольких пунктов: посмотрите страницу глазами робота через инструмент проверки в панели вебмастера. Он покажет, какой код получен и какой контент отрисован.
Слой 3: качество
Самый неприятный слой: технически всё в порядке, робот страницу видел, но в индекс не взял. В панели это обычно выглядит как «обнаружена, не проиндексирована» или «малоценная страница».
| Причина | Что делать |
|---|---|
| Тонкий контент: пара предложений | Дописать или объединить с соседней |
| Дубль другой страницы сайта | Объединить, склеить или различить содержимым |
| Скопированный чужой текст | Переписать, добавить своё |
| Страница-пустышка из шаблона | Наполнить или закрыть от индексации |
| Нет спроса на тему вообще | Объединить с более широкой страницей |
| Молодой сайт без доверия | Время, ссылки, наполнение остального сайта |
Про массовые страницы. Если не индексируются сотни однотипных страниц — фильтров, гео-страниц, карточек с одинаковыми описаниями — дело почти всегда в качестве, а не в технике. Поиск видит их как малоценные и отказывается тратить на них место в индексе.
Что делать после того, как нашли причину
Устраните причину
Снимите запрет, почините код ответа, добавьте ссылки, допишите содержимое.
Отправьте на переобход
В Вебмастере есть инструмент переобхода страниц, в Search Console — запрос индексирования.
Подключите IndexNow, если его нет
Протокол уведомляет поиск об изменениях сразу, без ожидания планового обхода.
Добавьте внутренние ссылки
Ссылка с индексируемой страницы — самый естественный сигнал, что на новую стоит зайти.
Подождите и проверьте снова
От нескольких дней до пары недель. Повторные отправки на переобход каждый день ничего не ускоряют.
Частые вопросы
Сколько ждать, прежде чем считать, что страница не индексируется?
Для сайта с регулярным обходом — одну-две недели. Для молодого или редко обновляемого — до месяца. Если робот на странице уже был, а в индексе её нет, ждать дальше бессмысленно, нужно искать причину.
Что означает «обнаружена, но не проиндексирована»?
Поиск знает об адресе, но решил не включать его в индекс. Технических запретов при этом нет. Чаще всего причина в качестве: страница тонкая, дублирует другую или не представляет ценности для выдачи.
Помогает ли повторная отправка на переобход?
Один раз после исправления — да. Отправлять один и тот же адрес каждый день бесполезно: это не повышает приоритет и не ускоряет обход.
Может ли страница выпасть из индекса сама?
Да. Причины: страница перестала отвечать 200, появился дубль, качество перестало удовлетворять требованиям, или сайт попал под фильтр. Массовое выпадение страниц — повод проверить техническое состояние сайта целиком.
Читайте также
Продвинем сайт в поиске
Соберём семантику, доведём структуру и текст до уровня топа и будем вести проект до заявок.
Обсудить SEO-продвижение
