Проверка «сколько страниц в индексе» чаще всего делается оператором site:, и почти всегда даёт неверное число. Разбираем, чем считать правильно.
Коротко
- site: возвращает не все проиндексированные адреса.
- Без запроса он не ранжирует — порядок случайный.
- Точные числа — в отчёте об индексировании.
- Список примеров ограничен тысячей адресов.
Почему оператор site: не подходит
| Что сказано в документации | Что это значит |
|---|---|
| Оператор возвращает не обязательно все проиндексированные адреса | Число заведомо неполное |
| Это нужно учитывать при подсчёте числа адресов | Прямая оговорка против такого применения |
| Без запроса результаты не ранжируются | Порядок не значит ничего |
| Сверху обычно самый короткий адрес | В остальном порядок относительно случаен |
Третья и четвёртая строки закрывают ещё один распространённый приём — смотреть, какая страница «первая по site:». Порядок в такой выдаче относительно случаен и о важности страницы для поиска не говорит. Оператор годится, чтобы убедиться в наличии конкретной страницы, и не годится, чтобы считать.
Чем считать правильно
| Инструмент | Что даёт |
|---|---|
| Отчёт об индексировании в Search Console | Точные итоги по Google |
| Страницы в поиске в Вебмастере | Список и причины исключения по Яндексу |
| Проверка адреса | Состояние одной конкретной страницы |
| Выгрузка из панелей | Работа со списком в таблице |
Про итоги в отчёте сказано, что они полны и точны с точки зрения Google, хотя небольшие расхождения возможны. Это принципиально иной статус, чем у оценки оператора: здесь есть на что опереться в отчёте клиенту. Про панель — в статье про Google Search Console.
Ограничение в тысячу примеров
Список примеров адресов в отчёте ограничен тысячей и не гарантирует показ всех адресов в данном состоянии. То есть итоговые числа точные, а вот перечень адресов — выборка: для крупного каталога полного списка исключённых страниц из отчёта не получить.
| Задача | Хватает ли отчёта |
|---|---|
| Узнать, сколько страниц в индексе | Да |
| Понять основные причины исключения | Да |
| Получить полный список исключённых | Нет при крупном сайте |
| Проверить конкретные адреса | Через проверку адреса |
| Сверить список из тысяч адресов | Нужен обходной путь |
Для последней строки обычно сопоставляют два списка: адреса из карты сайта и адреса, по которым были показы. Страница с нулём показов за длительный период почти наверняка не в индексе или не востребована — способ приблизительный, но применимый к любому объёму.
Какие бывают причины исключения
| Группа | Причины из отчёта |
|---|---|
| Запреты | Закрыто в robots.txt, помечено noindex |
| Ошибки доступа | 404, 403, 401, другие 4xx, ошибка сервера 5xx |
| Переадресации | Страница с переадресацией, ошибка переадресации |
| Дубли | Альтернативная страница с каноническим адресом, дубль без выбранного адреса, дубль с другим адресом по выбору Google |
| Решение робота | Просканировано и пока не проиндексировано, обнаружено и пока не проиндексировано |
| Прочее | «Мягкий» 404 |
Группы требуют разных действий, и это главная причина читать отчёт по группам, а не по числу. Запреты и ошибки доступа — ваша работа и правится быстро; дубли требуют решения о канонических адресах; строки про решение робота говорят о ценности страниц, а не о технике. Про дубли — в статье о том, как найти дубли страниц.
Как это устроено у Яндекса
Раздел страниц в поиске
Сколько и какие страницы участвуют.
Список исключённых с причинами
С формулировками статуса.
Выгрузка списка
Для работы в таблице.
Сравнение с картой сайта
Чего не хватает.
Формулировки причин у Яндекса различаются между собой сильнее, чем кажется по названиям. «Малоценная или маловостребованная страница» и обычное исключение требуют разной реакции, и путать их не стоит — разобрано в статье про разницу между «Исключено» и «Малоценной страницей».
Как встроить проверку в работу
| Периодичность | Что проверять |
|---|---|
| Раз в месяц | Число в индексе и динамику |
| Раз в месяц | Рост исключённых и его причину |
| После крупных правок | Не выпали ли разделы |
| После переезда | Все ли адреса заменились |
| При запуске раздела | Дошёл ли робот |
Вторая строка ловит большинство проблем на ранней стадии. Резкий рост числа исключённых почти всегда означает изменение на сайте — новый запрет, поломку шаблона или появление дублей; заметить его через месяц дешевле, чем через полгода. Про причины — в статье о том, почему страница не индексируется.
Частые вопросы
Можно ли считать страницы в индексе оператором site:?
Нет. В документации сказано, что оператор не обязательно возвращает все проиндексированные адреса, и это нужно учитывать при попытке подсчитать их число.
Почему порядок результатов по site: странный?
Без поискового запроса оператор не ранжирует результаты: обычно сверху оказывается самый короткий адрес, а в остальном порядок относительно случаен.
Насколько точны числа в отчёте об индексировании?
Итоги «проиндексировано и не проиндексировано» названы полными и точными с точки зрения Google, хотя небольшие расхождения возможны.
Почему в отчёте видно не все адреса?
Список примеров ограничен тысячей адресов и не гарантирует показ всех адресов в данном состоянии. Итоговые числа при этом точные.
Читайте также
Продвинем сайт в поиске
Соберём семантику, доведём структуру и текст до уровня топа и будем вести проект до заявок.
Обсудить SEO-продвижение
