Теги:meta robots

Мета-тег robots и X-Robots-Tag: разница и применение

Единственный надёжный способ убрать страницу из поиска — noindex. Разбираем значения тега, заголовок X-Robots-Tag и главный конфликт с robots.txt.

Подробнее