Власники сайтів іноді стикаються з парадоксальною ситуацією: Google Search Console відмовляється індексувати сторінку, посилаючись на заборону noindex. При цьому перевірка HTML-коду показує, що жодних заборонних директив немає. Це викликає плутанину, адже вебмайстер бачить одну картину, а пошуковий робот – зовсім іншу.
Джон Мюллер з команди пошуку Google підтвердив, що такі звіти не є помилкою системи. За його словами, у більшості випадків тег noindex дійсно існує, але він відображається виключно для Googlebot.
Приховані механізми блокування
Проблема часто криється не в статичному коді сайту, а в тому, як сервер обробляє запити від різних користувачів. Мюллер зазначив, що сторінка може мати директиву noindex, яка показується лише пошуковій системі. Це значно ускладнює процес налагодження, оскільки звичайний відвідувач або адміністратор сайту бачить "чисту" сторінку.
Однією з найпоширеніших причин є кешування на стороні сервера або CDN (наприклад, Cloudflare). Система може запам'ятати стару версію HTTP-заголовків, коли сторінка дійсно була закрита від індексації. У результаті:
- Користувачу віддається свіжий контент.
- Googlebot, який часто сканує сайт, отримує застарілий заголовок із забороною.
Також проблемою може стати блокування на рівні мережевих фільтрів. Деякі налаштування захисту можуть сприймати активність бота як підозрілу і віддавати йому код відповіді 520 або приховано додавати noindex.
Ефективні методи діагностики
Щоб виявити "фантомний" noindex, недостатньо просто переглянути код у браузері. Необхідно подивитися на сторінку "очима" пошукової системи. Найкращим інструментом для цього є Google Rich Results Test.
Цей сервіс відправляє запит із реальних IP-адрес Google. Якщо сервер або CDN блокує бота чи показує йому спеціальну версію сторінки, інструмент це зафіксує. У звіті з'явиться повідомлення "Page not eligible" або "Crawl failed", а в деталях можна буде побачити виявлений тег noindex.
Альтернативний метод – підміна User Agent. Використовуючи спеціальні розширення для браузера або програми типу Screaming Frog, можна представитися сайту як Googlebot. Це дозволить побачити, чи змінюється відповідь сервера залежно від того, хто запитує сторінку.
Замість паніки варто методично перевірити HTTP-заголовки та налаштування кешування, адже "фантомна" помилка зазвичай має цілком реальну технічну причину.
