Phone icon Зв'язатись з нами

Веб-розробка

Що таке robots.txt?

robots.txt — це текстовий файл у корені сайту (example.com/robots.txt) з правилами для пошукових роботів. У ньому вказують, які розділи сайту роботам можна сканувати, а які — ні, і де знаходиться карта сайту.

Основні директиви: User-agent — для якого робота правило (зірочка означає всіх), Disallow — заборонений шлях, Allow — дозволений виняток, Sitemap — адреса карти сайту. Правила групуються за роботами й читаються зверху вниз.

Важливо розуміти: robots.txt забороняє сканування, але не гарантує, що сторінка не потрапить в індекс. Якщо на неї ведуть посилання, Google може показати її адресу в пошуку. Щоб сторінку точно не індексували, використовують meta robots з noindex.

Де застосовується

У robots.txt закривають службові розділи: адмін-панель, кошик, особистий кабінет, внутрішній пошук, сторінки з фільтрами й параметрами, тестові розділи. Це економить ресурси робота на сканування корисних сторінок.

SEO-фахівці перевіряють robots.txt після кожного запуску чи переїзду сайту: випадковий рядок Disallow: / закриває від пошуку весь сайт. Перевірити правила можна в Google Search Console.

Приклад

Типовий robots.txt для сайту на WordPress.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /*?s=

Sitemap: https://example.com/sitemap.xml
Заборона службових розділів і посилання на карту сайту.

Часті запитання

Чи захищає robots.txt приватні сторінки?

Ні. Файл відкритий для всіх, і будь-хто може побачити, які розділи ви закрили. Він лише просить сумлінних роботів не сканувати шляхи. Приватні дані захищають паролем і авторизацією.

Чим Disallow відрізняється від noindex?

Disallow забороняє роботу заходити на сторінку, але адреса все одно може потрапити в пошук. noindex дозволяє зайти, але просить не показувати сторінку в результатах. Якщо сторінку закрито в robots.txt, робот не побачить її noindex.

Де має лежати robots.txt?

Тільки в корені домену: https://example.com/robots.txt. Для кожного піддомену потрібен окремий файл. Якщо файлу немає, роботи вважають, що сканувати можна все.

Навчання фронтенд-розробці в OWU

Опануйте фронтенд-розробку на практичних курсах із менторами та реальними проєктами.

Обрати курс