Теги:краулинговый бюджет

Логи сервера: как анализировать обход роботами

Логи показывают то, чего не видно ни в одной панели.

Подробнее

Как настроить серверные заголовки Last-Modified и ETag

Неправильно настроенный заголовок хуже, чем его отсутствие.

Подробнее

Краулинговый бюджет: что это и как его экономить

Для сайта на сто страниц это не проблема, для магазина на сто тысяч — ключевая. Разбираем, что тратит обход впустую и как его перераспределить.

Подробнее