Как пользоваться
- 1Введите домен — инструмент загрузит /robots.txt.
- 2При необходимости отредактируйте правила прямо в поле.
- 3Укажите путь и выберите user-agent.
- 4Посмотрите результат: разрешено или запрещено, и какое правило сработало.
Как определяется результат
Проверка следует правилам Google: из всех подходящих правил Allow и Disallow побеждает самое длинное (наиболее конкретное), а при равной длине — Allow. Поддерживаются подстановочный знак * и символ конца строки $. Сработавшее правило подсвечивается, а все директивы Sitemap выводятся списком.
Особенности robots.txt для Яндекса
Яндекс тоже применяет принцип самого длинного совпадения, но поддерживает и собственные директивы. Clean-param помогает исключить дубли страниц с UTM-метками и другими параметрами. Директиву Host Яндекс больше не учитывает — главное зеркало теперь определяется 301-редиректом, а Crawl-delay заменила настройка скорости обхода в Яндекс Вебмастере. Для проверки правил под Яндекс выбирайте отдельный блок User-agent: Yandex, если он есть.
Частые вопросы
Закрытая в robots.txt страница не попадёт в индекс?
Не обязательно. Disallow запрещает обход, но Google может проиндексировать URL по внешним ссылкам без содержимого. Чтобы надёжно убрать страницу из выдачи, используйте мета-тег robots noindex и не закрывайте её в robots.txt.
Изменения в поле сохраняются на сайте?
Нет. Редактирование нужно для тестирования правил; готовый файл нужно загрузить на сервер самостоятельно.
Как закрыть сайт от нейросетей?
Добавьте отдельные блоки Disallow: / для GPTBot, ClaudeBot, CCBot, Google-Extended и других. Быстрее всего сделать это в нашем генераторе robots.txt.
Результаты не радуют?
Обратитесь в Webin Agency: быстрые сайты с SEO-оптимизацией, интернет-магазины и ведение Google Ads.