Теги:robots.txt

Как закрыть тестовый сайт от индексации

Запрет в robots.txt не гарантирует отсутствие в поиске.

Подробнее

Clean-param в robots.txt: как использовать

Убирает параметры из учёта, не закрывая саму страницу.

Подробнее

Директива Disallow и Allow: порядок применения

Побеждает более длинный путь, а не более ранняя строка.

Подробнее

Как закрыть страницу от индексации: все способы

Запретить обход и убрать из индекса — разные задачи.

Подробнее

Как составить robots.txt: директивы и типичные ошибки

robots.txt управляет обходом, но не индексацией — и на этой разнице ломается большинство сайтов. Разбираем директивы, порядок правил и ошибки.

Подробнее