Тестовая копия сайта в поиске — это дубль всего сайта целиком. Разбираем, почему привычный способ её закрыть не работает и какой работает.
Коротко
- Закрытая файлом страница всё равно может попасть в поиск.
- Мета-тег запрета не сработает, если обход запрещён.
- Надёжный способ — закрыть доступ авторизацией.
- Копию в индексе убирают отдельно.
Почему robots.txt не спасает
В документации сказано прямо: если страница закрыта файлом robots.txt или робот не может получить к ней доступ, он никогда не увидит правило запрета индексации, и страница всё равно может появиться в результатах поиска. Файл управляет обходом, а не показом: адрес, о котором поиск узнал по ссылке, может попасть в выдачу и без обхода.
| Что делает | Что не делает |
|---|---|
| Просит не обходить | Не запрещает показывать адрес |
| Экономит обход | Не убирает страницу из поиска |
| Действует как рекомендация | Не закрывает доступ людям |
Третья строка — отдельная причина не считать файл защитой. Он общедоступен, и перечень закрытых разделов в нём читает кто угодно: список адресов тестовых версий в robots.txt встречается регулярно. Про файл — в статье о том, как составить robots.txt.
Почему нельзя совмещать запреты
Закрыли обход в файле
Робот не заходит на страницу.
Поставили мета-тег запрета
Он в коде страницы.
Робот его не видит
Потому что не заходит.
Страница может остаться в поиске
Запрет не сработал.
В документации это сформулировано как требование: чтобы правило запрета индексации сработало, страница не должна быть закрыта файлом robots.txt и должна быть доступна роботу. Комбинация «запретить обход и поставить мета-тег» выглядит надёжнее по отдельности взятых мер, а на деле отключает вторую.
Какие способы работают
| Способ | Насколько надёжно | Когда подходит |
|---|---|---|
| Закрыть доступ авторизацией | Надёжно | Тестовые версии |
| Ограничить доступ по адресам | Надёжно | Внутренние стенды |
| Мета-тег запрета при открытом обходе | Работает | Отдельные страницы |
| Заголовок ответа с запретом | Работает | Файлы и разделы |
| Только robots.txt | Не гарантирует | Для экономии обхода |
Первая строка названа среди постоянных способов убрать содержимое из поиска: ограничение доступа позволяет нужным людям видеть страницу и при этом не пускает поисковых роботов. Для тестовой версии это и есть правильное решение — она и не должна быть доступна посторонним.
Если копия уже в поиске
Открыть обход тестовой версии
Иначе запрет не увидят.
Поставить запрет индексации
Мета-тегом или заголовком.
Дождаться переобхода
Страницы выпадут постепенно.
Ускорить через инструмент удаления
Временная мера.
Потом закрыть доступ совсем
Когда страницы выпали.
Порядок здесь важнее скорости, и первый шаг выглядит противоречиво. Чтобы убрать страницы из поиска, их сначала нужно сделать доступными роботу — иначе он не увидит запрет. Закрывать доступ совсем стоит после того, как страницы выпали. Запросы через инструмент удаления действуют около шести месяцев, то есть это отсрочка, а не решение.
Как не допустить повторения
| Мера | Что предотвращает |
|---|---|
| Авторизация на тестовом стенде по умолчанию | Попадание копии в поиск |
| Разные настройки для боевой и тестовой версии | Перенос запрета на боевую |
| Проверка запретов в день запуска | Сайт без индексации |
| Проверка тестового адреса после запуска | Забытая копия |
| Запрет ссылок на тестовую версию | Робот узнаёт о ней по ссылке |
Вторая строка — причина зеркальной ошибки, которая обходится дороже. Когда настройки общие, запрет индексации вместе с кодом уезжает на боевой сайт, и он не попадает в поиск вообще. Обе ошибки — следствие одной причины: одинаковой конфигурации на разных стендах. Про запреты — в статье о том, как закрыть страницу от индексации.
Как проверить, что всё закрыто
Открыть тестовый адрес в браузере без входа
Должно просить доступ.
Поискать адрес в поиске
Ни одной страницы.
Проверить заголовки ответа
Нет ли лишних запретов на боевой.
Посмотреть ссылки на тестовую версию
Их не должно быть нигде.
Четвёртый шаг объясняет, откуда поиск вообще узнаёт о тестовых адресах. Обычно это ссылка из задачи, письма или публичного репозитория: робот проходит по ней и добавляет адрес, даже не обойдя саму страницу.
Частые вопросы
Достаточно ли закрыть тестовый сайт в robots.txt?
Нет. В документации сказано, что закрытая файлом страница всё равно может появиться в результатах поиска — файл управляет обходом, а не показом адреса.
Почему мета-тег запрета иногда не работает?
Если обход страницы запрещён в robots.txt, робот не увидит мета-тег. Для срабатывания запрета страница должна быть доступна роботу.
Какой способ закрыть тестовый сайт самый надёжный?
Ограничение доступа авторизацией: оно позволяет нужным людям видеть страницы и при этом не пускает поисковых роботов.
Копия сайта уже в поиске — что делать?
Сначала открыть обход, поставить запрет индексации, дождаться переобхода и выпадения страниц, и только потом закрывать доступ совсем.
Читайте также
Продвинем сайт в поиске
Соберём семантику, доведём структуру и текст до уровня топа и будем вести проект до заявок.
Обсудить SEO-продвижение
