Про трафик из ChatGPT ходит много оценок и мало проверяемых фактов. Разбираем то, что документировано — архитектуру краулеров и управление доступом, — и честно отделяем от того, что проверить нельзя.
Коротко
- GPTBot отвечает за обучение, OAI-SearchBot — за поиск.
- Запрет GPTBot не закрывает показ в ChatGPT Search.
- Изменения robots.txt применяются около суток.
- Отчёта для владельцев сайтов у OpenAI нет.
Четыре краулера и зачем каждый
Это главное, что стоит знать: краулер не один, и задачи у них разные. Путаница вокруг «запретить ChatGPT» чаще всего возникает именно потому, что их считают одним ботом.
| User-agent | Для чего используется |
|---|---|
| OAI-SearchBot | Поиск и показ сайтов в результатах ChatGPT Search |
| GPTBot | Обучение генеративных моделей |
| OAI-AdsBot | Проверка безопасности страниц объявлений |
| ChatGPT-User | Действия пользователей в ChatGPT и Custom GPTs |
Отсюда вывод, который меняет типовое решение. Запрет GPTBot, по документации, означает, что контент не должен использоваться для обучения моделей — но это не то же самое, что отказ от показа в ChatGPT Search: за показ отвечает OAI-SearchBot. То есть распространённая настройка «закрыли GPTBot» решает одну задачу и не решает другую.
Как управлять доступом
Управление идёт через robots.txt, и для каждого бота своя директива. Отдельная деталь: на применение изменений в документации указано около суток.
| Задача | Какому боту закрыть доступ |
|---|---|
| Не использовать контент для обучения | GPTBot |
| Не показываться в ChatGPT Search | OAI-SearchBot |
| Оба варианта сразу | GPTBot и OAI-SearchBot |
| Остаться в поиске, но не в обучении | Только GPTBot |
Последняя строка — наиболее частый практический выбор, и он возможен именно потому, что боты разные. Если цель — сохранить видимость, но не отдавать контент на обучение, закрывать нужно один бот, а не всю группу. Про сам файл — в статье про robots.txt.
Для проверки, что к вам ходит именно бот OpenAI, а не кто-то под его именем, документация публикует диапазоны IP-адресов отдельными файлами для каждого краулера. Это полезно при разборе логов и при настройке правил на уровне CDN.
ChatGPT-User — особый случай
Этот user-agent отличается от остальных по природе, и в документации есть прямая оговорка: он «не используется для автоматического краулинга». Он появляется, когда действие инициировал пользователь — в ChatGPT или в Custom GPTs.
| Краулер | Кто инициирует обход |
|---|---|
| GPTBot | OpenAI, автоматически |
| OAI-SearchBot | OpenAI, автоматически |
| ChatGPT-User | Пользователь, своим запросом |
Практическое значение в том, как читать логи. Обращения ChatGPT-User — это следы живых пользовательских сценариев, а не массового обхода. По ним можно судить, что сервисом интересуются применительно к вашему сайту, но делать из них оценку трафика нельзя: визит бота и визит человека — разные события.
Где смотреть переходы
Здесь главное отличие от поисковых систем: инструмента для владельцев сайтов у OpenAI нет. Ни отчёта вида Search Console, ни метрики видимости, ни статистики упоминаний в документации не описано.
| Источник | Что можно получить |
|---|---|
| Документация OpenAI | Сведения о краулерах и IP, отчётов нет |
| Своя веб-аналитика | Переходы по источнику перехода |
| Логи сервера | Обращения краулеров по user-agent |
Поэтому единственный проверяемый способ оценить переходы — своя аналитика. Смотреть нужно отчёт по источникам, где переходы с домена сервиса будут видны как обычные переходы по ссылке. Про отчёт — в статье про источники трафика в Метрике.
Сравните с поисковыми системами, и разница станет очевидной. У Google ИИ-ответы включены в общий поисковый трафик Search Console, у Яндекса есть отдельный инструмент с метрикой доли упоминаний. У OpenAI не предусмотрено ни того, ни другого — значит, любые цифры по трафику из ChatGPT, кроме ваших собственных, являются чужой оценкой. Про измерение в поиске — в статье про измерение результата в ИИ-поиске.
Что проверить нельзя
Разделить известное и неизвестное здесь важнее, чем в большинстве тем, потому что оценок в обсуждениях много, а источников мало.
| Документировано | Не документировано |
|---|---|
| Названия и назначение краулеров | Объём переходов на сайты |
| Управление через robots.txt | Доля рынка и динамика |
| Диапазоны IP-адресов | Данные по России |
| Срок применения изменений | Способ измерить свою видимость |
Поэтому к любым процентам в презентациях стоит задавать один вопрос: откуда данные. Если источник не назван или это оценка сторонней платформы, цифра может быть полезной как ориентир, но не является фактом. Это ровно тот подход, который Google рекомендует в своей документации: проверять утверждения по официальным источникам и думать критически.
Что делать на практике
Решить вопрос про обучение отдельно
GPTBot — это только обучение.
Решить вопрос про показ отдельно
OAI-SearchBot — это показ в ChatGPT Search.
Прописать директивы в robots.txt
И дать около суток на применение.
Проверить логи по user-agent
Сверяясь с опубликованными IP.
Настроить отчёт по источникам
Переходы видны как обычные ссылочные.
Не строить прогнозы по чужим оценкам
Своя аналитика — единственный проверяемый источник.
Первые два шага стоит проговорить с владельцем сайта как два разных решения, потому что у них разная цена. Отказ от обучения моделей не влияет на видимость; отказ от показа в поиске сервиса — влияет. Смешивать их в одно «закрыть ChatGPT» — значит принимать решение, которого никто не принимал осознанно.
Частые вопросы
Сколько краулеров у OpenAI?
Четыре: OAI-SearchBot для поиска и показа в ChatGPT Search, GPTBot для обучения моделей, OAI-AdsBot для проверки страниц объявлений и ChatGPT-User для действий пользователей.
Если закрыть GPTBot, сайт исчезнет из ChatGPT Search?
Нет. Запрет GPTBot означает, что контент не должен использоваться для обучения моделей. За показ в результатах ChatGPT Search отвечает отдельный краулер OAI-SearchBot.
Как быстро применяются изменения в robots.txt?
В документации указано около 24 часов.
Где посмотреть трафик из ChatGPT?
Только в своей веб-аналитике, по отчёту источников: переходы будут видны как обычные переходы по ссылке. Отчёта для владельцев сайтов у OpenAI не предусмотрено.
Чем отличается ChatGPT-User от остальных краулеров?
Он связан с действиями пользователей в ChatGPT и Custom GPTs и, по документации, не используется для автоматического краулинга.
Продвинем сайт в поиске
Соберём семантику, доведём структуру и текст до уровня топа и будем вести проект до заявок.
Обсудить SEO-продвижение
