При просадке трафика первый вопрос — не выпали ли страницы из поиска. Яндекс называет причину исключения прямо, и для каждой есть своё решение. Разбираем список целиком.
Коротко
- Причина исключения указана в Вебмастере явно.
- Малоценные страницы — не признак нарушений.
- Робот видит не то же, что браузер.
- Возврат в поиск — до двух недель.
Где смотреть
Причину не нужно вычислять — она указана в интерфейсе. Путь: Яндекс Вебмастер → «Индексирование» → «Страницы в поиске» → «Исключённые страницы». Напротив каждой страницы будет написано, по какой причине она не в поиске.
| Шаг | Что делать |
|---|---|
| Открыть раздел «Индексирование» | В Яндекс Вебмастере |
| Перейти в «Страницы в поиске» | Общий список |
| Выбрать «Исключённые страницы» | С указанием причины |
Сразу снимем лишнюю тревогу по поводу самого списка. Справка указывает: «Наличие и количество исключенных страниц в сервисе не должно влиять на положение сайта в результатах поиска». То есть большое число в этом отчёте само по себе не является проблемой — важно, какие именно страницы там оказались и почему.
Малоценные и маловостребованные
Это самая частая и самая пугающая формулировка, поэтому разберём её отдельно. Справка объясняет: «Алгоритм принял решение не включать страницу в поиск, поскольку у нее мало шансов оказаться востребованной пользователями».
| Когда так происходит | Формулировка справки |
|---|---|
| Нет контента | «Страница не содержит контента» |
| Дубль известной страницы | «Дублирует уже известные роботу страницы» |
| Контент не отвечает интересам | «Не вполне отвечает интересам пользователей» |
И два важных уточнения, которые меняют реакцию. Первое: «Это автоматический регулярный процесс, поэтому решение алгоритма может измениться» — статус не приговор. Второе: «Если у сайта есть такие страницы, это не означает, что у него есть нарушения и ограничения в ранжировании». Проверить наличие ограничений можно отдельно, на странице «Оптимизация сайта» → «Безопасность и нарушения». Про саму проблему — в статье про малополезный контент.
Какие типы страниц попадают сюда чаще всего, справка называет прямо: большое количество почти одинаковых товаров, отличающихся «только цветом, размером или конфигурацией», страницы пагинации, подбора товара и сравнений, а также «страницы-картинки, на которых совсем нет текстового контента».
Технические причины
| Причина | Чем проверять |
|---|---|
| Ошибка загрузки: статус 3XX, 4XX или 5XX | Инструмент «Проверка ответа сервера» |
| Запрет в robots.txt или метатегом noindex | Удалить запрещающие директивы |
| Страница перенаправляет робота | Убедиться, что редирект нужен |
| Дубль другой страницы | Раздел про дублирование |
| Страница не каноническая | Проверить rel="canonical" |
| Адрес сайта признан неглавным | Разгруппировка сайтов |
У второй строки есть неожиданная рекомендация, и её стоит запомнить. Справка пишет: «Если вы самостоятельно не размещали запрет в файле robots.txt, обратитесь к хостинг-провайдеру или регистратору доменного имени для выяснения подробностей». И отдельно: «проверьте, не было ли блокировки доменного имени в связи с истечением срока регистрации». То есть запрет мог появиться не от вас. Про сам файл — в статье про robots.txt.
Почему в браузере страница открывается
Это ловушка, из-за которой проблему считают несуществующей. Справка объясняет: «Заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером. Поэтому исключенные страницы могут открываться в браузере корректно».
| Кто обращается | Что может видеть |
|---|---|
| Браузер | Страница открывается нормально |
| Робот | Ошибка или запрет |
Поэтому проверять нужно не глазами, а инструментом. «Проверка ответа сервера» показывает, что отдаётся именно роботу. И вторая причина расхождения из справки: если страница исключена из-за ошибки загрузки, она «исчезнет из списка исключенных только в том случае, если при новом обращении робота станет доступна» — то есть список обновится не сразу после починки.
Через сколько страница вернётся
Срок в справке назван конкретный. Робот продолжает посещать исключённые страницы, а алгоритм проверяет вероятность их показа «перед каждым обновлением поисковой базы». Отсюда вывод: «страница может появиться в поиске в течение двух недель после того, как робот узнает о ее изменении».
Найти причину в отчёте
Она указана напротив страницы.
Устранить её
По таблице решений.
Отправить страницу на переобход
Чтобы робот узнал об изменении.
Ждать до двух недель
Срок из справки.
Третий шаг пропускают чаще всего, а он сокращает ожидание. Без переобхода робот узнает об изменениях тогда, когда дойдёт сам, и двухнедельный отсчёт начнётся позже. Про инструмент — в статье про переобход страниц в Вебмастере.
Страницы, которых уже нет
В списке исключённых встречаются адреса, удалённые с сайта давно, и это не ошибка сервиса. Справка объясняет: там отображаются страницы, «к которым робот обращался, но не проиндексировал (это могут быть уже несуществующие страницы, если ранее они были известны роботу)».
| Условие удаления из списка | Деталь |
|---|---|
| Недоступна для робота некоторое время | Первое условие |
| На неё не ссылаются другие страницы | Ни внутренние, ни внешние |
Второе условие объясняет, почему удалённые страницы висят в списке месяцами: на них всё ещё ведут внутренние ссылки или внешние источники. Если адрес мешает в отчётах, начинать нужно с того, чтобы убрать ссылки на него внутри сайта. Специально «удалять» такую страницу из списка не требуется — на ранжирование её наличие не влияет.
Частые вопросы
Где посмотреть, какие страницы выпали из поиска Яндекса?
В Яндекс Вебмастере: «Индексирование» → «Страницы в поиске» → «Исключённые страницы». Напротив каждой указана причина исключения.
Страница признана малоценной — это нарушение?
Нет. Справка указывает, что наличие таких страниц не означает нарушений и ограничений в ранжировании. Наличие ограничений проверяется отдельно, в разделе «Безопасность и нарушения».
Почему исключённая страница нормально открывается в браузере?
Потому что заголовки, которые робот запрашивает у сервера, отличаются от заголовков браузера. Проверять нужно инструментом «Проверка ответа сервера».
Через сколько страница вернётся в поиск?
В течение двух недель после того, как робот узнает об изменении. Чтобы он узнал быстрее, страницу отправляют на переобход.
Почему в списке исключённых есть удалённые страницы?
Там показываются адреса, к которым робот обращался, но не проиндексировал. Страница уходит из списка, когда становится недоступна роботу и на неё не ссылаются ни внутренние, ни внешние источники.
Продвинем сайт в поиске
Соберём семантику, доведём структуру и текст до уровня топа и будем вести проект до заявок.
Обсудить SEO-продвижение
