Генератор robots.txt
Файл для управления индексацией. Понимают и Яндекс, и Google.
• Файл должен лежать строго в корне: сайт.ру/robots.txt.
• Disallow закрывает обход, но страница всё равно может попасть в индекс по ссылкам. Для гарантии — мета-тег
noindex на самой странице.• Обычно закрывают: админку, корзину, поиск по сайту, страницы с параметрами (?sort=, ?utm=).
• После загрузки проверь файл в Яндекс.Вебмастере → «Анализ robots.txt» и в Google Search Console.
Что такое robots.txt
robots.txt — это текстовый файл в корне сайта, который подсказывает поисковым роботам, какие страницы можно обходить, а какие не нужно. Он помогает закрыть от индексации служебные разделы, корзину, личный кабинет и дубли. Инструмент собирает корректный файл из нужных правил без ошибок в синтаксисе.
Основные директивы
- User-agent — для какого робота правило (* — для всех);
- Disallow — что запретить к обходу;
- Allow — что разрешить;
- Sitemap — ссылка на карту сайта.
Как использовать
Готовый файл сохраните как robots.txt и положите в корень сайта — он должен открываться по адресу вашсайт/robots.txt. Не закрывайте случайно важные страницы: ошибка в одной строке может убрать из поиска весь раздел. После изменений проверьте файл в панелях Яндекс Вебмастера и Google Search Console.
Вопросы и ответы
Гарантирует ли Disallow, что страница не попадёт в поиск? Не на 100%: для надёжного исключения используйте мета-тег noindex.
Где размещать файл? Строго в корне сайта, имя файла — robots.txt в нижнем регистре.
Нужен ли robots.txt маленькому сайту? Желательно — хотя бы чтобы указать карту сайта и закрыть служебные страницы.