В индексе оказались страницы сортировок, поиска по сайту и копии с параметрами — обычная ситуация для любого движка. Разбираем, откуда они берутся, как их найти и в каком порядке убирать.
Коротко
- Мусорные адреса обычно порождает сам движок.
- Они тратят бюджет обхода и размывают сигналы.
- Убирать нужно причину, а не каждый адрес по отдельности.
- Массовое закрытие без разбора опасно.
Откуда они берутся
| Источник | Как выглядит |
|---|---|
| Сортировки и вид отображения | Один список с разными параметрами |
| Фильтры | Сочетания признаков без спроса |
| Внутренний поиск | Страницы результатов по запросам |
| Пагинация | Десятки страниц одного списка |
| Метки для отслеживания | Копии адресов с хвостом параметров |
| Технические копии | Версии для печати, старые разделы |
Первая и пятая строки дают больше всего адресов и обе появляются без участия человека. Движок формирует их автоматически, и сайт, который никто специально не портил, за год обрастает тысячами лишних адресов. Про фильтры — в статье про фильтры каталога.
Чем они мешают
Тратят бюджет обхода
Робот ходит по мусору вместо товаров.
Размывают сигналы
Несколько адресов одной страницы делят их между собой.
Портят отчёты
Трафик распределён по копиям.
Иногда показываются вместо нужных
В выдаче оказывается адрес с параметрами.
Создают впечатление заброшенности
Если попадаются человеку.
Первый пункт особенно заметен на больших каталогах. Когда мусорных адресов в разы больше рабочих, новые товары индексируются неделями просто потому, что робот занят другим. Про бюджет — в статье про краулинговый бюджет.
Как их найти
Посмотрите число страниц в индексе
Сравните с реальным числом страниц сайта.
Выгрузите список из панели вебмастера
Отсортируйте по шаблону адреса.
Найдите повторяющиеся параметры
Sort, page, search, utm и подобные.
Сгруппируйте по типу
Работать нужно с группами, а не с адресами.
Оцените объём каждой группы
Начинать с самой большой.
Первый шаг сразу показывает масштаб. Если на сайте четыреста страниц, а в индексе двенадцать тысяч, дальше можно не гадать — почти всё лишнее порождено движком. Разница в разы означает системную причину, а не отдельные ошибки.
В каком порядке убирать
| Очередь | Что делать |
|---|---|
| Первая | Найти и убрать причину: ссылки на мусорные адреса внутри сайта |
| Вторая | Настроить канонические адреса для копий |
| Третья | Закрыть от индексирования то, что не должно быть в поиске |
| Четвёртая | Запретить обход служебных разделов |
| Пятая | Убрать самые вредные адреса инструментом удаления |
Первая строка важнее остальных четырёх. Пока внутри сайта есть ссылки на адреса с параметрами, робот будет находить их снова — сколько бы вы ни закрывали. Причина почти всегда в шаблоне: сортировка, переключатель вида или счётчик формируют ссылку, которая попадает в обход.
Чего делать не стоит
Опасно
- Закрывать по маске, не проверив, что попадает
- Удалять страницы, которые приносят трафик
- Менять всё сразу одним изменением
- Закрывать пагинацию целиком
- Запрещать обход того, что уже в индексе
Безопасно
- Проверять маску на списке адресов
- Смотреть трафик по каждой группе
- Убирать группами и наблюдать
- Сначала canonical, потом запреты
Пятая строка слева — та же ловушка, что и в статье про закрытие страниц. Запрет обхода не убирает из индекса то, что там уже есть: робот перестаёт заходить и не узнаёт о запрете индексирования. Сначала noindex и переобход, и только потом, если нужно, запрет обхода. Про порядок — в статье про закрытие страниц от индексации.
Частые вопросы
Откуда в индексе берутся лишние страницы?
Их порождает движок: сортировки и виды отображения, сочетания фильтров, результаты внутреннего поиска, пагинация, метки для отслеживания и технические копии.
Чем мусорные страницы мешают?
Тратят бюджет обхода, размывают сигналы между копиями, портят отчёты и иногда показываются в выдаче вместо нужных страниц.
Как быстро оценить масштаб проблемы?
Сравнить число страниц в индексе с реальным числом страниц сайта. Разница в разы означает системную причину, а не отдельные ошибки.
С чего начинать уборку?
С причины: пока внутри сайта есть ссылки на адреса с параметрами, робот будет находить их снова. Источник почти всегда в шаблоне — сортировка или переключатель вида.
Продвинем сайт в поиске
Соберём семантику, доведём структуру и текст до уровня топа и будем вести проект до заявок.
Обсудить SEO-продвижение
