Веб-разработка
Что такое robots.txt?
robots.txt — это текстовый файл в корне сайта (example.com/robots.txt) с правилами для поисковых роботов. В нём указывают, какие разделы сайта роботам можно сканировать, а какие — нет, и где находится карта сайта.
Основные директивы: User-agent — для какого робота правило (звёздочка означает всех), Disallow — запрещённый путь, Allow — разрешённое исключение, Sitemap — адрес карты сайта. Правила группируются по роботам и читаются сверху вниз.
Важно понимать: robots.txt запрещает сканирование, но не гарантирует, что страница не попадёт в индекс. Если на неё ведут ссылки, Google может показать её адрес в поиске. Чтобы страницу точно не индексировали, используют meta robots с noindex.
Где применяется
В robots.txt закрывают служебные разделы: админ-панель, корзину, личный кабинет, внутренний поиск, страницы с фильтрами и параметрами, тестовые разделы. Это экономит ресурсы робота на сканирование полезных страниц.
SEO-специалисты проверяют robots.txt после каждого запуска или переезда сайта: случайная строка Disallow: / закрывает от поиска весь сайт. Проверить правила можно в Google Search Console.
Пример
Типичный robots.txt для сайта на WordPress.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /*?s=
Sitemap: https://example.com/sitemap.xml
Частые вопросы
Защищает ли robots.txt приватные страницы?
Нет. Файл открыт для всех, и любой может увидеть, какие разделы вы закрыли. Он лишь просит добросовестных роботов не сканировать пути. Приватные данные защищают паролем и авторизацией.
Чем Disallow отличается от noindex?
Disallow запрещает роботу заходить на страницу, но адрес всё равно может попасть в поиск. noindex разрешает зайти, но просит не показывать страницу в результатах. Если страница закрыта в robots.txt, робот не увидит её noindex.
Где должен лежать robots.txt?
Только в корне домена: https://example.com/robots.txt. Для каждого поддомена нужен отдельный файл. Если файла нет, роботы считают, что сканировать можно всё.
Обучение фронтенд-разработке в OWU
Освойте фронтенд-разработку на практических курсах с менторами и реальными проектами.
Выбрать курс