Теги:индексация

Краулинговый бюджет: что это и как его экономить

Для сайта на сто страниц это не проблема, для магазина на сто тысяч — ключевая. Разбираем, что тратит обход впустую и как его перераспределить.

Подробнее

Мета-тег robots и X-Robots-Tag: разница и применение

Единственный надёжный способ убрать страницу из поиска — noindex. Разбираем значения тега, заголовок X-Robots-Tag и главный конфликт с robots.txt.

Подробнее

XML-карта сайта: как сделать и что в неё включать

Карта сайта — список адресов, которые вы считаете достойными индексации. Разбираем, что в неё включать, что игнорируется поиском и где ограничения.

Подробнее

Как составить robots.txt: директивы и типичные ошибки

robots.txt управляет обходом, но не индексацией — и на этой разнице ломается большинство сайтов. Разбираем директивы, порядок правил и ошибки.

Подробнее

Пагинация и SEO: полное руководство по оптимизации

Пагинация и SEO: полное руководство по оптимизации

Подробнее