Генератор robots.txt

Как пользоваться генератором

• Укажите адрес сайта — он нужен, чтобы записать в директиву Sitemap полный URL карты сайта.
• Выберите пресет, близкий к вашему проекту: стандартный сайт, WordPress, Next.js, интернет-магазин, отдельные правила для Яндекса и Google или блокировка AI-ботов.
• Отредактируйте группы User-agent: добавьте или уберите пути в Allow и Disallow, при необходимости впишите дополнительные директивы, например Clean-param.
• Скопируйте результат в файл robots.txt и положите его в корень домена.
• Проверьте файл в Яндекс.Вебмастере и Google Search Console — как это сделать, описано ниже.

Основные директивы

• User-agent — к какому роботу относится группа правил: «*» — ко всем, Yandex — к роботам Яндекса, Googlebot — к основному роботу Google. Робот выбирает самую конкретную подходящую группу: если для Yandex есть своя группа, правила из «*» для него уже не действуют.
• Disallow — запрещает обход адресов, начинающихся с указанного пути. «Disallow: /» закрывает весь сайт, пустой «Disallow:» не запрещает ничего.
• Allow — разрешает обход внутри закрытого раздела. При конфликте Яндекс и Google применяют правило с более длинным, то есть более точным, путём.
• «*» в пути означает любую последовательность символов, «$» — конец адреса. Например, «Disallow: /*.pdf$» закрывает все PDF-файлы.
• Sitemap — полный адрес карты сайта. Директив может быть несколько, и они не привязаны к конкретной группе User-agent.

Особенности Яндекса

Clean-param — директива Яндекса, которая сообщает, что указанные GET-параметры не меняют содержимое страницы: UTM-метки, идентификаторы сессий, реферальные коды. Робот перестанет считать такие адреса отдельными страницами и не будет тратить на них обход. Google эту директиву не поддерживает — для него используйте rel="canonical".

Host и Crawl-delay Яндекс больше не учитывает: главное зеркало определяется по 301-редиректу, а скорость обхода настраивается в Яндекс.Вебмастере.

User-agent: Yandex
Disallow: /admin/
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content /

Sitemap: https://example.ru/sitemap.xml

Частые ошибки

• Закрыты CSS, JavaScript или изображения. Поисковики отрисовывают страницы как браузер, и без стилей и скриптов страница может выглядеть для них пустой или неадаптированной под мобильные.
• Попытка спрятать приватный раздел. robots.txt публичен и сам подсказывает, где лежит админка. Закрытые разделы защищают паролем, а не директивами.
• Забытый «Disallow: /» после разработки — одна из самых частых причин, почему новый сайт не появляется в поиске.
• Неверное имя или расположение: файл называется строчными буквами, лежит в корне хоста, сохранён в UTF-8. Крупные файлы обрезаются — у Google лимит 500 КиБ, всё, что дальше, игнорируется.

Как проверить robots.txt

В Яндекс.Вебмастере откройте «Инструменты» → «Анализ robots.txt»: сервис покажет ошибки синтаксиса и проверит, разрешён ли обход конкретных адресов.

В Google Search Console отчёт о файле robots.txt находится в «Настройках»: он показывает, какую версию файла видит Google, когда она была загружена и какие строки не удалось разобрать. Доступность отдельной страницы для робота проверяется инструментом «Проверка URL».

Правильный robots.txt помогает поисковикам находить нужные страницы, но трафик ценен, только если заявки с сайта не теряются. Посмотрите другие бесплатные инструменты для вебмастеров или узнайте, как Site-Inbox собирает заявки со всех форм в одну панель с уведомлениями в Telegram.