Теги:краулинговый бюджет

Как настроить серверные заголовки Last-Modified и ETag

Неправильно настроенный заголовок хуже, чем его отсутствие.

Подробнее

Краулинговый бюджет: что это и как его экономить

Для сайта на сто страниц это не проблема, для магазина на сто тысяч — ключевая. Разбираем, что тратит обход впустую и как его перераспределить.

Подробнее