Введите адрес сайта — сервис автоматически загрузит файл robots.txt и разберёт его по директивам. Покажет ошибки, предупреждения, все Sitemap и позволит проверить любой URL: разрешён он для индексирования или заблокирован.
Что такое robots.txt и зачем его проверять
Файл robots.txt — это текстовый документ в корне сайта, который сообщает поисковым роботам какие страницы можно индексировать, а какие нет. Он не является обязательным, но его отсутствие или некорректное содержимое может привести к серьёзным проблемам с индексацией.
Ошибка в одну строку — например Disallow: / для всех User-agent — полностью закрывает сайт от поисковых систем. Такое случается при переносе сайта, смене CMS или случайном редактировании файла. Поисковики узнают об этом только при следующем обходе — и сайт может выпасть из индекса незаметно для владельца.
Регулярная проверка robots.txt помогает убедиться что нужные страницы открыты для индексирования, закрытые разделы действительно защищены, а Sitemap указан корректно.
Структура файла robots.txt
Файл состоит из групп правил. Каждая группа начинается с директивы User-agent и содержит набор инструкций для указанного бота.
- User-agent — имя поискового робота. Звёздочка * означает правило для всех ботов. Можно указывать конкретные роботы: Googlebot, YandexBot, Bingbot и другие.
- Disallow — запрещает роботу обходить указанный путь. Disallow: / закрывает весь сайт, Disallow: /admin/ — только раздел /admin/. Пустое значение Disallow: означает что всё разрешено.
- Allow — явно разрешает путь, даже если он попадает под запрет вышестоящего Disallow. Используется для точечных исключений.
- Crawl-delay — задержка в секундах между запросами робота. Помогает снизить нагрузку на сервер, но слишком большое значение замедляет индексацию.
- Sitemap — ссылка на карту сайта в формате XML. Поисковики используют её для обнаружения новых страниц. Рекомендуется указывать всегда — это ускоряет индексацию новых материалов.
Частые ошибки в robots.txt
- Disallow: / для всех ботов. Самая критичная ошибка — полный запрет индексирования. Часто возникает на тестовых серверах и случайно попадает в продакшн при деплое.
- Отсутствие директивы Sitemap. Технически файл валиден без неё, но поисковики находят новые страницы медленнее. Особенно важно для крупных сайтов и интернет-магазинов с регулярным обновлением контента.
- Дублирующиеся правила. Одинаковые Disallow для одного User-agent не вредят индексации, но засоряют файл и затрудняют поддержку.
- Слишком большой Crawl-delay. Значение больше 10 секунд существенно замедляет обход сайта роботом. Для большинства сайтов достаточно значения 1–2.
- Закрытые CSS и JS файлы. Если в robots.txt запрещён доступ к папкам со стилями и скриптами — Google не может корректно отрендерить страницы и оценить их содержимое. Папки /css/, /js/, /assets/ должны быть открыты.
- Кириллица в путях без кодирования. Пути с русскими символами должны быть в URL-encoded формате — иначе robots.txt может некорректно интерпретироваться разными роботами.
Как проверить доступность конкретной страницы
После загрузки robots.txt переключитесь на вкладку «Проверить URL». Выберите нужного бота из списка — сервис автоматически определит всех User-agent из файла — и введите адрес страницы.
Инструмент применит те же алгоритмы которые используют поисковые роботы: сначала ищет специфичное правило для выбранного бота, затем общее правило для *. Более длинный и точный путь имеет приоритет над коротким. Если правило не найдено — доступ разрешён по умолчанию.
Это особенно полезно при отладке: вы видите не только результат но и конкретное правило которое его определило.
Robots.txt и Яндекс.Вебмастер
Яндекс предоставляет собственный инструмент проверки robots.txt в Яндекс.Вебмастере — раздел «Индексирование → Анализ robots.txt». Он позволяет проверить файл непосредственно с точки зрения YandexBot.
Однако для быстрой проверки без авторизации и доступа к Вебмастеру — наш инструмент позволяет сделать то же самое прямо в браузере, для любого сайта, без необходимости подтверждать права на него.
Аналогичный инструмент для Googlebot доступен в Google Search Console — «Проверка URL». Используйте оба инструмента для комплексной диагностики.
Часто задаваемые вопросы
Robots.txt — это гарантия что страница не попадёт в индекс?
Нет. Robots.txt носит рекомендательный характер — добросовестные поисковики его соблюдают, но вредоносные боты могут игнорировать. Для надёжного закрытия страницы используйте мета-тег noindex или HTTP-заголовок X-Robots-Tag.
Как закрыть одну страницу и оставить открытым весь остальной сайт?
Добавьте строку Disallow: /url-stranitsy/ в группу для нужного User-agent. Если нужно закрыть для всех — используйте User-agent: *.
Влияет ли robots.txt на скорость индексации?
Напрямую — нет. Но директива Crawl-delay и неоптимальные правила могут замедлить обход сайта роботом, что косвенно влияет на скорость попадания новых страниц в индекс.
Нужен ли robots.txt маленькому сайту?
Желательно. Минимальный корректный файл с указанием Sitemap помогает поисковикам быстрее находить страницы и не тратить время на служебные разделы.
Что делать если robots.txt возвращает ошибку 404?
Это нормально — отсутствие файла означает что все страницы разрешены к индексированию. Но рекомендуется создать файл хотя бы с директивой Sitemap.
Другие бесплатные SEO-инструменты
Загляните в полный каталог онлайн-инструментов — там собраны счётчик слов и символов для SEO-текстов, генератор UTM-меток, генератор паролей и другие бесплатные сервисы для ежедневной работы.
