Phone icon Связаться с нами

Веб-разработка

Что такое robots.txt?

robots.txt — это текстовый файл в корне сайта (example.com/robots.txt) с правилами для поисковых роботов. В нём указывают, какие разделы сайта роботам можно сканировать, а какие — нет, и где находится карта сайта.

Основные директивы: User-agent — для какого робота правило (звёздочка означает всех), Disallow — запрещённый путь, Allow — разрешённое исключение, Sitemap — адрес карты сайта. Правила группируются по роботам и читаются сверху вниз.

Важно понимать: robots.txt запрещает сканирование, но не гарантирует, что страница не попадёт в индекс. Если на неё ведут ссылки, Google может показать её адрес в поиске. Чтобы страницу точно не индексировали, используют meta robots с noindex.

Где применяется

В robots.txt закрывают служебные разделы: админ-панель, корзину, личный кабинет, внутренний поиск, страницы с фильтрами и параметрами, тестовые разделы. Это экономит ресурсы робота на сканирование полезных страниц.

SEO-специалисты проверяют robots.txt после каждого запуска или переезда сайта: случайная строка Disallow: / закрывает от поиска весь сайт. Проверить правила можно в Google Search Console.

Пример

Типичный robots.txt для сайта на WordPress.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /*?s=

Sitemap: https://example.com/sitemap.xml
Запрет служебных разделов и ссылка на карту сайта.

Частые вопросы

Защищает ли robots.txt приватные страницы?

Нет. Файл открыт для всех, и любой может увидеть, какие разделы вы закрыли. Он лишь просит добросовестных роботов не сканировать пути. Приватные данные защищают паролем и авторизацией.

Чем Disallow отличается от noindex?

Disallow запрещает роботу заходить на страницу, но адрес всё равно может попасть в поиск. noindex разрешает зайти, но просит не показывать страницу в результатах. Если страница закрыта в robots.txt, робот не увидит её noindex.

Где должен лежать robots.txt?

Только в корне домена: https://example.com/robots.txt. Для каждого поддомена нужен отдельный файл. Если файла нет, роботы считают, что сканировать можно всё.

Обучение фронтенд-разработке в OWU

Освойте фронтенд-разработку на практических курсах с менторами и реальными проектами.

Выбрать курс