Техническое SEOОпубликовано26.05.2026

X-Robots-Tag (HTTP-заголовок для роботов)

X-Robots-Tag — HTTP-заголовок для управления индексацией и сканированием страниц и файлов. Работает как мета-тег robots, но применим к любым типам файлов: PDF, изображениям, видео.

Кратко

X-Robots-Tag — HTTP-заголовок ответа сервера, управляющий поведением поисковых роботов в отношении индексации и сканирования ресурса. Поддерживает те же директивы, что и мета-тег robots (noindex, nofollow, noarchive и др.), но применяется на уровне сервера.

Что такое X-Robots-Tag

X-Robots-Tag — HTTP-заголовок, который сервер добавляет в ответ при отдаче ресурса. Он управляет поведением поисковых роботов: разрешает или запрещает индексацию, следование по ссылкам, кэширование страницы и другие действия.

Главное преимущество X-Robots-Tag перед мета-тегом <meta name="robots"> — он работает на уровне HTTP-ответа и применим к любым типам ресурсов: HTML-страницам, PDF-документам, изображениям, видеофайлам и другим ресурсам, у которых нет HTML-тега <head>.

X-Robots-Tag и мета-тег robots используют одинаковые директивы. Если оба присутствуют — применяется более строгая директива. Роботы должны сначала загрузить страницу, чтобы прочитать заголовок, поэтому X-Robots-Tag не заменяет robots.txt для блокировки сканирования.

Поддерживаемые директивы

noindex
Запрещает добавление страницы в поисковый индекс.
nofollow
Запрещает роботу переходить по ссылкам на этой странице.
noarchive
Запрещает Google кэшировать страницу и показывать ссылку на кэш.
nosnippet
Запрещает показ текстового или видео-сниппета в выдаче.
none
Эквивалент noindex + nofollow — полный запрет индексации и следования по ссылкам.
max-snippet:N
Ограничивает длину текстового сниппета до N символов.
max-image-preview:[none|standard|large]
Управляет размером превью изображений в выдаче.

X-Robots-Tag vs. мета-тег robots

ПараметрX-Robots-TagМета-тег robots
Уровень примененияHTTP-заголовок (сервер)HTML-тег (страница)
Типы ресурсовЛюбые (HTML, PDF, изображения)Только HTML-страницы
Способ добавленияКонфигурация сервера / .htaccess / кодТег в <head>
Читается роботомДо загрузки тела страницыПосле загрузки и парсинга HTML
ОхватМожно применять глобально через маску URLИндивидуально для каждой страницы

Когда использовать X-Robots-Tag

  • PDF и документы: закрыть от индексации технические PDF, прайс-листы или контракты через заголовок сервера
  • Изображения: ограничить показ превью через max-image-preview:none для защиты авторских прав
  • Промежуточные сборки: запретить индексацию тестового окружения через X-Robots-Tag: noindex на уровне сервера
  • API-ответы: добавить noindex к JSON-эндпоинтам, которые Google может попытаться проиндексировать
  • Архивные страницы: запретить кэширование через noarchive без скрытия страницы из индекса

Как добавить X-Robots-Tag

  • Apache (.htaccess): Header set X-Robots-Tag "noindex, nofollow" — глобально или по условию
  • Nginx: add_header X-Robots-Tag "noindex"; в блоке location или server
  • PHP: header('X-Robots-Tag: noindex'); перед выводом контента
  • Node.js/Next.js: через middleware или в конфигурации headers в next.config.ts
  • CDN: Cloudflare Workers или Rules позволяют добавлять заголовки без изменения сервера
FAQ

Частые вопросы

robots.txt запрещает сканирование — робот не скачивает страницу вообще. X-Robots-Tag запрещает индексацию — робот скачивает страницу, читает заголовок и не добавляет её в индекс. Для PDF-документов X-Robots-Tag эффективнее, так как robots.txt не может управлять конкретными типами контента.
Да. В Nginx и Apache можно задавать заголовок через блоки location/Directory или через RewriteRule с условием по URL. В приложении (PHP, Node.js) — программно, на основе логики роутинга.
Да. Яндекс поддерживает X-Robots-Tag с теми же директивами, что и Google: noindex, nofollow, noarchive. Проверить поведение можно в Яндекс Вебмастере через инструмент проверки robots.
Оба учитываются, применяется более строгое ограничение. Если в X-Robots-Tag noindex, а в мета-теге index — страница не будет проиндексирована.
Прямые контакты

Обсудим ваш проект?

Расскажите о целях и сайте — предложу формат работы и следующий шаг.

[email protected]@pavelbarushkaLinkedIn