robots.txt — текстовый файл по адресу /robots.txt, формат которого описан в стандарте Robots Exclusion Protocol. Каждый добросовестный бот первым делом читает его и ищет правила для своего user-agent. Файл управляет обходом, а не показом: чтобы убрать страницу из выдачи, нужен тег noindex, а не запрет в robots.txt.
Какие боты ИИ-компаний бывают
Главное, что нужно понимать: у большинства компаний отдельные боты для обучения моделей, для поиска и для действий пользователя, и настройки у них независимы. Можно запретить обучение и при этом оставить показ сайта в ответах.
| User-agent | Кому принадлежит | За что отвечает |
|---|---|---|
| GPTBot | OpenAI | Сбор материалов, которые могут использоваться при обучении моделей |
| OAI-SearchBot | OpenAI | Показ сайтов в результатах поиска ChatGPT |
| ChatGPT-User | OpenAI | Действия по запросу пользователя; по описанию OpenAI не подчиняется robots.txt |
| ClaudeBot | Anthropic | Сбор материалов для обучения |
| Claude-User, Claude-SearchBot | Anthropic | Запросы пользователя и поиск: у них отдельные правила |
| PerplexityBot | Perplexity | Показ сайтов в поиске Perplexity, не используется для обучения базовых моделей |
| Perplexity-User | Perplexity | Действия пользователя; в основном игнорирует robots.txt |
| Google-Extended | Управление использованием контента в Gemini; на включение в Google Search и ранжирование не влияет | |
| YandexAdditional, YandexAdditionalBot | Яндекс | Использование материалов в ответах Алисы и Нейро (по справке Яндекса) |
| CCBot | Common Crawl | Открытый датасет, который используют при обучении языковых моделей |
| Applebot-Extended | Apple | Управление использованием материалов в моделях Apple |
| Meta-ExternalAgent | Meta | Сбор материалов для моделей Meta |
Не закрывайте краулеры, через которые ассистенты показывают ссылки на сайты: OAI-SearchBot, PerplexityBot, Claude-SearchBot, YandexAdditional. Многие сайты по умолчанию ставят Disallow: / для всех незнакомых ботов и становятся невидимыми для ответов нейросетей. Запрет GPTBot или ClaudeBot отключает только обучение.
Как проверить свой robots.txt
- Откройте https://ваш-сайт/robots.txt. Файл должен отдавать код 200 и текст.
- Найдите правило для User-agent: *. Строка Disallow: / там закрывает сайт целиком.
- Проверьте отдельные блоки для ИИ-ботов из таблицы выше и убедитесь, что поисковые боты не закрыты.
- Добавьте строку Sitemap: с адресом карты сайта.
- После правки подождите: по данным OpenAI, изменения robots.txt могут учитываться около суток.
Частые вопросы
Закрытая в robots.txt страница пропадёт из выдачи?
Не обязательно. Страница может остаться в индексе по внешним ссылкам, без описания. Чтобы убрать её из выдачи, используйте тег noindex и не закрывайте страницу в robots.txt, иначе бот не увидит сам тег.
Нужно ли разрешать ИИ-ботов?
Если вы хотите, чтобы ассистенты называли ваш бренд и ссылались на сайт, поисковых ботов закрывать нельзя. Обучающих (GPTBot, ClaudeBot) можно закрыть, если не хотите, чтобы материалы использовались при обучении. Как это связано с видимостью, объясняет руководство по GEO.
Чем robots.txt отличается от llms.txt?
robots.txt задаёт правила доступа, llms.txt ничего не запрещает и работает как справочник. Подробнее — на странице llms.txt.