Генератор ai.txt
Контролируйте доступ AI-краулеров к вашему сайту. Разрешайте или блокируйте GPTBot, Claude, Gemini, Perplexity и других — одним кликом.
Контролируете AI-доступ? Контролируйте и лидов
Когда AI-поисковики направляют пользователей на ваш сайт, важно не потерять заявки. Site-Inbox собирает все лиды и отправляет в Telegram мгновенно. Попробовать →
Как пользоваться генератором
- Укажите адрес сайта и email для связи — они попадут в комментарии в начале файла.
- Выберите пресет: разрешить всё, запретить всё, «Только поиск», «Без китайских ботов» или «Только OpenAI + Anthropic». Затем при необходимости переключите отдельных ботов вручную.
- Скопируйте результат и сохраните его как ai.txt в корне сайта.
- Те же блоки User-agent добавьте в robots.txt — именно этот файл проверяют краулеры AI-компаний.
Что такое ai.txt
Единого стандарта ai.txt не существует. Под этим названием встречается несколько независимых предложений — например, вариант компании Spawning, где файл описывает, какие типы контента можно использовать для обучения ИИ. Ни одно из них пока не стало общепринятым.
Генератор на этой странице использует привычный синтаксис robots.txt — User-agent, Allow, Disallow — и добавляет комментарии о назначении каждого бота. Так файл одновременно документирует вашу позицию и служит готовым блоком для вставки в robots.txt.
AI-боты и robots.txt
Крупные AI-компании публикуют имена своих краулеров и заявляют, что соблюдают robots.txt. При этом у многих компаний несколько ботов с разными задачами — обучение, поиск, загрузка страницы по запросу пользователя, — и закрывать их можно по отдельности.
- OpenAI: GPTBot собирает данные для обучения моделей, OAI-SearchBot индексирует сайты для поиска в ChatGPT, ChatGPT-User открывает страницы по запросу пользователя — к таким запросам правила robots.txt могут применяться иначе.
- Anthropic: ClaudeBot собирает данные для обучения, Claude-User и Claude-SearchBot отвечают за запросы пользователей и поиск. Старые имена Claude-Web и anthropic-ai до сих пор встречаются в инструкциях, но актуальные — перечисленные выше.
- Google-Extended — не отдельный робот, а токен в robots.txt: он запрещает использовать контент для обучения и ответов Gemini, но не влияет на индексацию в Google Поиске.
- Applebot-Extended — аналогичный токен Apple для обучения моделей Apple Intelligence.
- PerplexityBot (AI-поиск Perplexity), CCBot (Common Crawl — открытый архив, который используется во многих датасетах), Bytespider (ByteDance), Meta-ExternalAgent (Meta).
Ограничения
- Правила добровольны. Это просьба, а не техническая защита: недобросовестный бот может проигнорировать файл или представиться обычным браузером.
- Запрет не действует задним числом: данные, попавшие в датасеты раньше, останутся там.
- Запрет поисковых AI-ботов уменьшает шанс, что сайт будут цитировать со ссылкой в ответах ChatGPT или Perplexity. Частый компромисс — закрыть обучение и оставить поиск (пресет «Только поиск»).
- Список ботов постоянно меняется. Раз в несколько месяцев сверяйте имена с официальной документацией компаний.
- Для жёсткой блокировки нужна фильтрация на уровне сервера или CDN по User-Agent и диапазонам IP-адресов, которые публикуют некоторые компании.
Частые вопросы
Что такое ai.txt?
Это файл в корне сайта, в котором владелец описывает, каким AI-ботам разрешён доступ к контенту. Единого стандарта ai.txt нет: под этим названием существует несколько независимых предложений. Генератор использует синтаксис robots.txt, поэтому те же правила можно сразу перенести в robots.txt.
Нужно ли использовать и robots.txt, и ai.txt?
Главный файл — robots.txt: именно его проверяют краулеры OpenAI, Anthropic, Google и других компаний. ai.txt полезен как отдельный документ с вашей позицией по использованию контента в ИИ, но правила для AI-ботов обязательно продублируйте в robots.txt.
Повлияет ли запрет Google-Extended на позиции в Google?
Нет. По документации Google, токен Google-Extended управляет использованием контента для обучения и ответов моделей Gemini и не влияет на индексацию и ранжирование в Google Поиске. Ответы ИИ в самом поиске управляются обычным Googlebot.
Как запретить обучение, но остаться в AI-поиске?
Закройте ботов, которые собирают данные для обучения (GPTBot, ClaudeBot, Google-Extended, CCBot и другие), и оставьте поисковых: OAI-SearchBot, PerplexityBot. Это делает пресет «Только поиск». Так сайт может появляться в ответах со ссылкой на источник.
Гарантирует ли запрет, что контент не попадёт в нейросети?
Нет. Правила в ai.txt и robots.txt — просьба, а не техническая защита: добросовестные боты их соблюдают, недобросовестные могут игнорировать. Кроме того, запрет не удаляет данные, собранные раньше. Для жёсткой блокировки нужна фильтрация на сервере или в CDN.
Решаете, как AI-боты будут работать с вашим контентом? Начните с robots.txt — в нашем генераторе есть пресет для AI-краулеров. А если сайт приносит заявки, Site-Inbox соберёт их со всех форм в одну панель с уведомлениями в Telegram.