Теги:robots.txt

Как составить robots.txt: директивы и типичные ошибки

robots.txt управляет обходом, но не индексацией — и на этой разнице ломается большинство сайтов. Разбираем директивы, порядок правил и ошибки.

Подробнее