Веб-розробка
Що таке robots.txt?
robots.txt — це текстовий файл у корені сайту (example.com/robots.txt) з правилами для пошукових роботів. У ньому вказують, які розділи сайту роботам можна сканувати, а які — ні, і де знаходиться карта сайту.
Основні директиви: User-agent — для якого робота правило (зірочка означає всіх), Disallow — заборонений шлях, Allow — дозволений виняток, Sitemap — адреса карти сайту. Правила групуються за роботами й читаються зверху вниз.
Важливо розуміти: robots.txt забороняє сканування, але не гарантує, що сторінка не потрапить в індекс. Якщо на неї ведуть посилання, Google може показати її адресу в пошуку. Щоб сторінку точно не індексували, використовують meta robots з noindex.
Де застосовується
У robots.txt закривають службові розділи: адмін-панель, кошик, особистий кабінет, внутрішній пошук, сторінки з фільтрами й параметрами, тестові розділи. Це економить ресурси робота на сканування корисних сторінок.
SEO-фахівці перевіряють robots.txt після кожного запуску чи переїзду сайту: випадковий рядок Disallow: / закриває від пошуку весь сайт. Перевірити правила можна в Google Search Console.
Приклад
Типовий robots.txt для сайту на WordPress.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /*?s=
Sitemap: https://example.com/sitemap.xml
Часті запитання
Чи захищає robots.txt приватні сторінки?
Ні. Файл відкритий для всіх, і будь-хто може побачити, які розділи ви закрили. Він лише просить сумлінних роботів не сканувати шляхи. Приватні дані захищають паролем і авторизацією.
Чим Disallow відрізняється від noindex?
Disallow забороняє роботу заходити на сторінку, але адреса все одно може потрапити в пошук. noindex дозволяє зайти, але просить не показувати сторінку в результатах. Якщо сторінку закрито в robots.txt, робот не побачить її noindex.
Де має лежати robots.txt?
Тільки в корені домену: https://example.com/robots.txt. Для кожного піддомену потрібен окремий файл. Якщо файлу немає, роботи вважають, що сканувати можна все.
Навчання фронтенд-розробці в OWU
Опануйте фронтенд-розробку на практичних курсах із менторами та реальними проєктами.
Обрати курс