Логи сервера — единственный источник, который показывает поведение робота целиком, а не в виде сводки. Разбираем, что из них извлекать и как не обмануться.
Коротко
- В логах виден каждый запрос, а не выборка.
- Имя робота в логе — строка, которую передаёт клиент.
- Google публикует адреса роботов, Яндекс — нет.
- Проверка подлинности идёт через DNS-запросы.
Что записано в логе
| Поле | Что даёт |
|---|---|
| Адрес клиента | Кто обратился |
| Дата и время | Когда и как часто |
| Запрошенный адрес | Какая страница |
| Код ответа | Что сервер отдал |
| Размер ответа | Сколько данных |
| Название клиента | Чем представился |
Последняя строка — просто текст, который клиент передаёт о себе сам. Поэтому строка «робот такой-то» в логе доказательством не является: проверка подлинности делается отдельно, по адресу.
На какие вопросы отвечают логи
| Вопрос | Есть ли ответ в панели |
|---|---|
| Заходил ли робот на конкретную страницу | Частично |
| Как часто он обходит разделы | Нет |
| Куда уходит большая часть обхода | Нет |
| Какие коды ответа он получает | Частично |
| Ходит ли он по служебным адресам | Нет |
| Сколько времени занимает ответ ему | Нет |
Третья строка — главная находка большинства разборов логов. Часто выясняется, что значительная часть обхода уходит на страницы с параметрами, фильтры или служебные адреса, а карточки товаров обходятся редко. Про это — в статье про краулинговый бюджет.
Как проверить робота Google
Обратный запрос по адресу из лога
Получить имя хоста.
Прямой запрос по имени
Получить адрес обратно.
Сверить адреса
Должны совпасть.
Либо сверить со списком
Google публикует адреса в машиночитаемом виде.
Четвёртый способ удобнее при большом объёме: публикуются отдельные списки для обычных роботов, специальных роботов и запросов, вызванных действием пользователя. Разделение важно: не всякое обращение от Google — обход для поиска.
Как проверить робота Яндекса
Списка адресов у Яндекса нет, и это официальная позиция: роботы используют автономные сети, а сами адреса часто меняются, поэтому их список не разглашается. Значит, перечни «IP-адресов робота Яндекса», которые встречаются в статьях и настройках, официальными быть не могут — и на них нельзя строить ни проверку, ни блокировку.
| Шаг | Что должно получиться |
|---|---|
| Обратный запрос по адресу | Имя хоста |
| Проверка окончания имени | yandex.ru, yandex.net или yandex.com |
| Прямой запрос по имени | Тот же адрес, что был в логе |
В панели Яндекса есть готовый инструмент проверки адреса — он избавляет от ручных запросов при разовых проверках. Про разделы панели — в статье про Яндекс Вебмастер.
Как разбирать логи на практике
Взять период не меньше месяца
Неделя даёт искажённую картину.
Отфильтровать настоящих роботов
Остальное — фон.
Сгруппировать по разделам
Куда уходит обход.
Посмотреть коды ответа
Ошибки роботу видны не так, как вам.
Сверить со списком нужных страниц
Что вообще не обходилось.
Последний шаг даёт результат, который не получить иначе. Страница, которую робот ни разу не запросил за месяц, не попадёт в индекс независимо от её содержания — и причина обычно в том, что на неё нет внутренних ссылок. Про перелинковку — в статье про перелинковку сайта.
Типичные находки
| Находка | Что делать |
|---|---|
| Обход уходит на адреса с параметрами | Настроить обработку параметров |
| Робот ходит по старым адресам | Проверить переадресации |
| Ошибки сервера при обходе | Смотреть нагрузку и лимиты |
| Целые разделы не обходятся | Искать отсутствие ссылок |
| Чужие сканеры создают нагрузку | Решать, ограничивать ли |
Третья строка объясняет часть «плавающей» индексации. Если сервер отвечает ошибками во время обхода, робот получает не страницы, а сбои, и делает выводы соответствующие — при этом в браузере сайт работает нормально. Про коды — в статье про ошибки 5xx.
Частые вопросы
Что можно узнать из логов, чего нет в панелях?
Как часто робот обходит разделы, куда уходит большая часть обхода, ходит ли он по служебным адресам и сколько времени занимает ответ ему.
Можно ли доверять названию робота в логе?
Нет: это строка, которую клиент передаёт о себе сам. Подлинность проверяется отдельно, по адресу.
Публикует ли Яндекс список адресов своих роботов?
Нет. В справке сказано, что роботы используют автономные сети, а адреса часто меняются, поэтому список не разглашается. Проверка делается обратным и прямым DNS-запросом: имена роботов заканчиваются на yandex.ru, yandex.net или yandex.com.
Как проверить робота Google?
Обратным запросом по адресу из лога и прямым запросом по полученному имени — адреса должны совпасть. Либо сверкой со списками адресов, которые Google публикует в машиночитаемом виде.
Читайте также
Продвинем сайт в поиске
Соберём семантику, доведём структуру и текст до уровня топа и будем вести проект до заявок.
Обсудить SEO-продвижение
