«На странице есть текст, а поиск его не видит» — жалоба, за которой почти всегда стоит разница между исходным кодом и тем, что рисует браузер. Разбираем, как посмотреть на страницу глазами робота.
Коротко
- Браузер выполняет скрипты, робот сначала получает голый код.
- Проверять нужно то, что отдаёт сервер.
- Инструменты панелей показывают отрисованную версию.
- Расхождение объясняет большую часть странных случаев.
Почему картинка расходится
Сервер отдаёт исходный код
То, что приходит первым.
Браузер выполняет скрипты
И достраивает страницу.
Вы видите результат
Уже после выполнения.
Робот сначала получает исходник
Отрисовка — отдельный этап.
Из этого следует практическое правило: смотреть нужно на исходный код, а не на страницу. Текст, который вы видите в браузере, может отсутствовать в том, что отдал сервер, — и тогда его судьба зависит от того, дойдёт ли дело до отрисовки. Про это — в статье про JavaScript-сайты и SEO.
Способы проверки
| Способ | Что показывает |
|---|---|
| Просмотр исходного кода страницы | Что отдал сервер |
| Инспектор элементов в браузере | Что получилось после скриптов |
| Инструмент проверки адреса в панели | Как страницу видит поиск |
| Запрос страницы без браузера | Чистый ответ сервера |
| Отключение скриптов в браузере | Грубая, но быстрая проверка |
Первые две строки путают чаще всего, и разница между ними принципиальна. Просмотр исходного кода показывает то, что пришло с сервера; инспектор элементов — то, что получилось после выполнения скриптов. Если текст есть только во втором, для робота он существует лишь при условии успешной отрисовки.
На что смотреть в коде
Есть ли основной текст
Хотя бы фрагмент, поиском по коду.
На месте ли заголовки
Title и H1 в коде, а не в скрипте.
Видны ли ссылки меню и каталога
Как обычные ссылки с адресом.
Нет ли запретов индексирования
Мета-тег robots и канонический адрес.
Что в заголовках ответа
Код ответа и служебные заголовки.
Третий пункт решает судьбу каталогов. Если переходы по разделам сделаны обработчиками нажатия, а не ссылками с адресом, робот не сможет по ним пройти — и большая часть сайта останется ненайденной. Про требования к ссылкам — в статье про JavaScript-сайты.
Что это объясняет
Симптом
- Текст есть, а страница считается пустой
- Товары не индексируются
- В сниппете не тот текст
- Страница отмечена как малоценная
- Разделы не попадают в индекс
Частая причина
- Содержимое подгружается скриптом
- Переходы не являются ссылками
- Мета-теги проставляются скриптом
- Робот получил пустой каркас
- Навигация работает только в браузере
Четвёртая строка связывает эту проверку со статусами панелей. Страница, признанная малоценной, нередко оказывается технически пустой для робота — и проверка кода объясняет статус за минуту. Про статусы — в статье про малоценные страницы.
Что делать при расхождении
| Что обнаружено | Решение |
|---|---|
| Текста нет в исходном коде | Отдавать его с сервера |
| Мета-теги ставит скрипт | Перенести в разметку страницы |
| Навигация без ссылок | Сделать обычные ссылки с адресом |
| Часть содержимого за кнопкой | Отдавать в коде, скрывать оформлением |
| Робот получает ошибку | Проверить ограничения и защиту |
Последняя строка встречается не так редко, как кажется. Защита от ботов, ограничение частоты запросов или фильтрация по стране могут отдавать роботу не то, что человеку. Проверяется это сравнением ответа сервера при обычном и роботном обращении. Полный порядок — в статье про технический аудит.
Частые вопросы
Чем то, что видит робот, отличается от картинки в браузере?
Браузер выполняет скрипты и достраивает страницу, а робот сначала получает исходный код от сервера. Отрисовка — отдельный этап, и до неё содержимого может не быть.
Как посмотреть страницу глазами робота?
Открыть исходный код страницы, а не инспектор элементов, и использовать инструмент проверки адреса в панели вебмастера. Быстрая грубая проверка — отключить скрипты в браузере.
Что проверять в исходном коде?
Есть ли основной текст, на месте ли title и H1, видны ли ссылки меню и каталога как обычные ссылки с адресом, нет ли запретов индексирования и какой код ответа.
Почему товары не индексируются, хотя они есть на сайте?
Частая причина — переходы по разделам сделаны обработчиками нажатия, а не ссылками с адресом: робот не может по ним пройти, и часть каталога остаётся ненайденной.
Читайте также
Продвинем сайт в поиске
Соберём семантику, доведём структуру и текст до уровня топа и будем вести проект до заявок.
Обсудить SEO-продвижение
