Страница попала в поиск, а быть там не должна: тестовая версия, персональные данные, устаревшая акция, дубль. Способов убрать её четыре, они решают разные задачи и не заменяют друг друга. Разбираем, какой выбрать в вашей ситуации и что делать, если убрать нужно прямо сейчас.
Коротко
- Основной инструмент — мета-тег noindex; страница при этом должна быть открыта для обхода.
- Удаление страницы с сайта работает, но старый адрес должен отдавать 404 или 410.
- Инструменты удаления в панелях вебмастера скрывают страницу быстро, но временно.
- Запрет в robots.txt из индекса не убирает — это самая частая ошибка.
Четыре способа и когда какой
| Способ | Когда подходит | Скорость |
|---|---|---|
| Мета-тег noindex | Страница нужна людям, но не в поиске | Дни-недели |
| Удаление с сайта, ответ 404 или 410 | Страница не нужна вообще | Недели |
| 301-редирект | Есть куда перенаправить посетителя | Недели |
| Инструмент удаления в панели | Нужно срочно скрыть | Часы, но временно |
Запрета в robots.txt в этом списке нет намеренно. Он не удаляет страницу из индекса. Более того, он мешает удалению: робот не может открыть страницу и не видит на ней noindex. Если хотите убрать страницу — сначала откройте её для обхода.
Основной способ: noindex
Подходит, когда страница должна остаться доступной людям, но не должна быть в выдаче: страница благодарности, личный кабинет, результаты внутреннего поиска, служебные разделы.
Поставьте мета-тег в head
<meta name="robots" content="noindex">. Для файлов вроде PDF используйте заголовок X-Robots-Tag.
Убедитесь, что страница открыта в robots.txt
Иначе робот не увидит тег. Проверьте адрес в анализаторе.
Отправьте на переобход
Чтобы робот пришёл раньше планового срока.
Дождитесь удаления
Обычно от нескольких дней до пары недель. Зависит от того, как часто робот заходит на страницу.
Не закрывайте в robots.txt после
Соблазн есть, но тогда робот перестанет видеть noindex, и при переиндексации страница может вернуться.
Удаление страницы совсем
Если страница не нужна ни людям, ни поиску, её удаляют. Но важно, что именно начнёт отдавать сервер на её адресе.
| Ответ сервера | Что означает | Когда использовать |
|---|---|---|
| 404 | Страница не найдена | Обычное удаление |
| 410 | Удалена навсегда | Когда точно не вернётся |
| 301 | Переехала на другой адрес | Есть подходящая замена |
| 200 с пустой страницей | Страница есть и она пустая | Не использовать |
Код 410 поиск обрабатывает чуть решительнее, чем 404, но разница на практике невелика. Главное — не оставлять на месте удалённой страницы пустышку с кодом 200: для поиска это существующая страница низкого качества.
Если у страницы был трафик. Прежде чем удалять, проверьте, не приходили ли на неё люди из поиска. Если приходили, лучше поставить 301 на близкую по смыслу страницу — иначе вы теряете и посетителей, и накопленные сигналы.
Если убрать нужно срочно
Бывают ситуации, когда ждать неделю нельзя: в выдачу попали персональные данные, внутренние документы, тестовая версия сайта с реальными ценами.
Уберите доступ к странице
Удалите её или закройте авторизацией. Это первое, что нужно сделать, — пока страница открыта, её видят и без поиска.
Используйте инструмент удаления в панели
И Яндекс Вебмастер, и Search Console позволяют скрыть адрес из выдачи в ускоренном порядке.
Помните, что это временно
Инструмент скрывает страницу на ограниченный срок. Если за это время не устранить причину, она вернётся.
Параллельно сделайте постоянное решение
noindex, удаление или редирект — то, что подходит по ситуации.
Проверьте сохранённые копии и кэш
Страница может оставаться доступной в архивах и кэше сторонних сервисов.
Массовое удаление
Когда убрать нужно не одну страницу, а сотни — фильтры, старые акции, дубли с параметрами, — ручной подход не работает.
- Сформулируйте правило, а не список. «Все адреса с параметром sort», «весь раздел /archive/» — так задача решается настройкой, а не перебором.
- Для целых разделов удобен X-Robots-Tag. Одно правило в конфигурации сервера закрывает весь каталог.
- Проверьте, нет ли среди них нужных. Массовые операции опаснее всего именно этим: под правило легко попадает то, что должно остаться.
- Не спешите закрывать всё в robots.txt. Сначала дайте роботу увидеть noindex на всех этих страницах.
- Следите за динамикой в панели. Число страниц в индексе должно снижаться постепенно, а не обвалиться разом.
Проверяйте правило на выборке. Прежде чем применять массовое закрытие, прогоните маску по списку всех адресов сайта и глазами просмотрите, что под неё попало. Восстанавливать случайно выброшенный из индекса раздел придётся месяцами.
Частые вопросы
Уберёт ли robots.txt страницу из поиска?
Нет. Он запрещает обход, а не индексацию: страница может остаться в выдаче без описания. Хуже того, запрет мешает удалению — робот не увидит noindex на закрытой странице.
Через сколько страница пропадёт после noindex?
После ближайшего обхода: обычно от нескольких дней до пары недель. Ускорить можно отправкой на переобход. Если прошёл месяц, а страница на месте, проверьте, точно ли робот видит тег.
Что лучше при удалении: 404 или 410?
Разница невелика. 410 говорит, что страница удалена навсегда, и поиск обрабатывает такой ответ чуть решительнее. Если не уверены, что страница не вернётся, достаточно 404.
Инструмент удаления в панели убирает страницу навсегда?
Нет, он скрывает адрес из выдачи на ограниченный срок. Это способ выиграть время. Постоянное решение — noindex, удаление страницы или редирект — нужно сделать параллельно.
Читайте также
Продвинем сайт в поиске
Соберём семантику, доведём структуру и текст до уровня топа и будем вести проект до заявок.
Обсудить SEO-продвижение
