Генератор ai.txt

# ai.txt — AI Crawler Policy
# https://example.com
# Generated by site-inbox.ru/tools/ai-txt-generator
# Date: 2026-05-18

# Allowed AI Agents
User-agent: GPTBot
Allow: /
# Purpose: Обучение GPT моделей (OpenAI)

User-agent: ChatGPT-User
Allow: /
# Purpose: Просмотр страниц в ChatGPT (OpenAI)

User-agent: OAI-SearchBot
Allow: /
# Purpose: SearchGPT поиск (OpenAI)

User-agent: Claude-Web
Allow: /
# Purpose: Просмотр страниц в Claude (Anthropic)

User-agent: Anthropic-ai
Allow: /
# Purpose: Обучение Claude моделей (Anthropic)

User-agent: Google-Extended
Allow: /
# Purpose: Обучение Gemini (Google)

User-agent: Gemini
Allow: /
# Purpose: Gemini Apps (контекст) (Google)

User-agent: PerplexityBot
Allow: /
# Purpose: AI-поиск (Perplexity)

User-agent: CCBot
Allow: /
# Purpose: Open-source датасет (Common Crawl)

User-agent: cohere-ai
Allow: /
# Purpose: Обучение Cohere моделей (Cohere)

User-agent: Meta-ExternalAgent
Allow: /
# Purpose: Обучение Llama моделей (Meta)

User-agent: Applebot-Extended
Allow: /
# Purpose: Apple Intelligence (Apple)

# Disallowed AI Agents
User-agent: Bytespider
Disallow: /
# Purpose: Обучение моделей TikTok (ByteDance)

Контролируете AI-доступ? Контролируйте и лидов

Когда AI-поисковики направляют пользователей на ваш сайт, важно не потерять заявки. LeadHUB собирает все лиды и отправляет в Telegram мгновенно. Попробовать →