Robots.txt для початківців: призначення, структура, перевірка та приклади використання

Robots.txt — це важливий для кожного веб-майстра файл. Він допомагає керувати поведінкою пошукових роботів і оптимізувати індексацію сайту. Правильне налаштування robots.txt дозволяє покращити видимість сайту в пошукових системах і уникнути проблем з дублюванням контенту. У цій статті ми розглянемо основи robots.txt, його структуру, директиви та найкращі практики використання.

Файл robots.txt — це простий текстовий файл, розміщений в кореневому каталозі веб-сайту. Його основна мета — повідомити пошуковим роботам, які сторінки або розділи сайту можна сканувати, а які — ні.

Robots.txt допомагає вирішити кілька важливих завдань:

• Управління навантаженням на сервер. Блокуючи доступ до неважливих сторінок, можна зменшити кількість запитів до сервера і запобігти його перевантаженню;
• Запобігання індексації службових сторінок. Деякі сторінки, наприклад, результати внутрішнього пошуку або сторінки з особистими даними користувачів, не повинні потрапляти в індекс пошукових систем.

Крім того, з допомогою robots.txt можна вказати місцезнаходження файлу sitemap.xml, що полегшує пошуковим роботам сканування та індексацію сайту.

Robots.txt має просту структуру і складається з одного або декількох блоків директив. Кожен блок починається з рядка User-agent, який вказує, до якого пошукового робота застосовуються директиви.

Основні директиви robots.txt:

• User-agent: вказує пошукового робота, для якого призначені директиви;
• Disallow: забороняє доступ до певних сторінок або розділів сайту;
• Allow: дозволяє доступ до сторінок або розділів, заборонених директивою Disallow;
• Crawl-delay: встановлює затримку між запитами робота до сервера;
• Sitemap: вказує адресу файлу sitemap.xml.

Приклад простого файлу robots.txt:

User-agent:

Disallow: /admin/

Allow: /public/

Sitemap: https://example.com/sitemap.xml

Цей файл забороняє всім роботам доступ до каталогу /admin/, але дозволяє сканувати каталог /public/ і повідомляє про місцезнаходження файлу sitemap.xml.

Існує кілька методів перевірки файлу robots.txt, які включають як ручне тестування, так і використання спеціалізованих інструментів.

Ручна перевірка

Відкрийте веб-браузер і введіть URL веб-сайту, який ви хочете перевірити, з додаванням /robots.txt. Наприклад, https://www.example.com/robots.txt. Це відобразить файл robots.txt у вашому браузері, дозволяючи безпосередньо переглянути його вміст.

Перевірте наявність синтаксичних помилок або неправильних налаштувань, які можуть завадити пошуковим системам сканувати важливі частини сайту. Поширені проблеми включають неправильні шляхи або відсутні директиви.

Інструменти Google

Використовуйте Google Search Console для перевірки файлу robots.txt. Звіт про robots.txt у Search Console показує, які файли знайшов Google, коли вони востаннє сканувалися, а також будь-які попередження або помилки.

Цей інструмент може допомогти виявити проблеми, які можуть бути непомітними при ручній перевірці.

Сторонні інструменти

Screaming Frog SEO Spider. Цей інструмент дозволяє імітувати сканування пошукових систем і перевіряти, як файл robots.txt впливає на процес сканування.

Ahrefs Site Audit: надає інформацію про те, як файл robots.txt впливає на SEO-здоров'я вашого сайту.

Ryte's Robots.txt Checker: спеціальний інструмент для аналізу та тестування файлів robots.txt, щоб переконатися, що вони правильно налаштовані.

Щоб ефективно використовувати robots.txt, слід дотримуватися кількох правил:

• Розміщуйте файл robots.txt в кореневому каталозі сайту, щоб пошукові роботи могли легко його знайти.
• Регулярно оновлюйте robots.txt відповідно до змін структури сайту і появи нових сторінок.
• Використовуйте директиву Disallow з обережністю, щоб не заблокувати важливі сторінки від індексації.
• Перевіряйте синтаксис robots.txt за допомогою спеціальних інструментів, наприклад, Google Search Console.

Важливо пам'ятати, що robots.txt не є засобом захисту від несанкціонованого доступу. Він лише інформує пошукових роботів про ваші побажання, але не може завадити їм проіндексувати сторінку, якщо на неї є посилання з інших сайтів. Для надійного захисту використовуйте більш ефективні методи, наприклад, авторизацію або метатег noindex.

Нижче наведено кілька прикладів практичних налаштувань файла для різних сценаріїв, які можуть бути корисними для реального сайту.

Базове налаштування для всіх пошукових систем

Це стандартне налаштування, яке дозволяє всім пошуковим роботам сканувати сайт, але блокує доступ до адміністративних сторінок.

User-agent: *

Disallow: /admin/

Disallow: /login/

Disallow: /private/

Sitemap: https://www.example.com/sitemap.xml

Пояснення:

• `User-agent: *` — директиви застосовуються до всіх пошукових роботів.
• `Disallow: /admin/` — забороняє доступ до адміністративного розділу.
• `Sitemap` — вказує на розташування XML-карти сайту.

Блокування внутрішніх сторінок пошуку

Внутрішні сторінки пошуку часто не мають цінності для індексації, тому їх можна заблокувати.

User-agent: *

Disallow: /search

Пояснення: `Disallow: /search` — блокує всі сторінки, які починаються з `/search`, включаючи сторінки з параметрами, наприклад, `/search?query=example`.

Блокування PDF-файлів

Якщо на сайті є PDF-документи, які не потрібно індексувати, їх можна заблокувати за допомогою спеціальних символів.

User-agent: *

Disallow: /*.pdf$

Пояснення: `/*.pdf$` — блокує всі URL, які закінчуються на `.pdf`.

Дозвіл на сканування важливих сторінок у заборонених розділах

Якщо потрібно дозволити доступ до окремих сторінок у розділі, який загалом заблокований, використовуйте директиву `Allow`.

User-agent: *

Disallow: /private/

Allow: /private/public-page.html

Пояснення:

• `Disallow: /private/` — блокує весь розділ `/private/`.
• `Allow: /private/public-page.html` — дозволяє доступ до конкретної сторінки в цьому розділі.

Блокування доступу для конкретного бота

Якщо потрібно заблокувати доступ до сайту для певного бота, наприклад, GPTBot, можна використати наступне налаштування:

User-agent: GPTBot

Disallow: /

Пояснення:

• `User-agent: GPTBot` — директиви застосовуються лише до GPTBot.
• `Disallow: /` — забороняє доступ до всього сайту.

Оптимізація для великих сайтів

Для великих сайтів із великою кількістю сторінок важливо оптимізувати бюджет сканування, блокуючи дубльований або малозначущий контент.

User-agent: *

Disallow: /filters/

Disallow: /sort/

Disallow: /cart/

Disallow: /checkout/

Sitemap: https://www.example.com/sitemap.xml

Пояснення:

• `Disallow: /filters/` та `Disallow: /sort/` — блокує сторінки з фільтрами та сортуванням, які можуть створювати дубльований контент.
• `Disallow: /cart/` та `Disallow: /checkout/` — блокує сторінки кошика та оформлення замовлення, які не мають значення для пошукових систем.

Блокування тестових середовищ

Якщо на сервері є тестові або розробницькі середовища, їх потрібно заблокувати від індексації.

User-agent: *

Disallow: /staging/

Disallow: /test/

Пояснення: `Disallow: /staging/` та `Disallow: /test/` — блокує доступ до тестових розділів сайту.

Вказівка на кілька XML-карт сайту

Якщо сайт має кілька XML-карт (наприклад, для різних мовних версій), їх можна вказати у файлі robots.txt.

User-agent: *

Sitemap: https://www.example.com/sitemap-main.xml

Sitemap: https://www.example.com/sitemap-en.xml

Sitemap: https://www.example.com/sitemap-ua.xml

Пояснення: кожна `Sitemap` вказує на окрему XML-карту сайту.

Затримка між запитами для ботів

Для зменшення навантаження на сервер можна встановити затримку між запитами для певних ботів.

User-agent: Bingbot

Crawl-delay: 10

Пояснення: `Crawl-delay: 10` — встановлює затримку в 10 секунд між запитами для Bingbot.

Блокування доступу до API

Якщо сайт має API, який не повинен бути доступним для пошукових систем, його можна заблокувати.

User-agent: *

Disallow: /api/

Пояснення: `Disallow: /api/` — блокує доступ до всіх URL, які починаються з `/api/`.

Файл robots.txt — це потужний інструмент для управління індексацією сайту пошуковими системами. Він допомагає оптимізувати сканування сайту, запобігти індексації службових сторінок і покращити видимість ресурсу в пошуковій видачі. Дотримуючись найкращих практик і регулярно оновлюючи robots.txt, ви можете ефективно контролювати роботу пошукових роботів на своєму сайті.