Мета-тег Robots
Мета-тег для управления индексацией конкретной страницы.
Кратко
Meta Robots — это HTML-тег, размещаемый в разделе <head> страницы. Он даёт поисковым роботам инструкции по индексации данной страницы и переходу по ссылкам на ней. Наиболее частые директивы: noindex (не индексировать страницу), nofollow (не передавать вес по ссылкам) и noarchive (не показывать сохранённую копию).
Что такое meta robots
Meta Robots — это гибкий способ управления поведением поисковых роботов на уровне отдельной страницы. В отличие от robots.txt, который запрещает сканирование, meta robots может разрешить сканирование, но запретить добавление в индекс (noindex) или запретить переход по ссылкам (nofollow).
Основные директивы
- noindex — не добавлять страницу в индекс поисковой системы
- nofollow — не переходить по ссылкам на этой странице (вес не передаётся)
- noarchive — не показывать ссылку «Сохранённая копия» в сниппете
- nosnippet — не показывать сниппет (описание) в выдаче
- max-snippet:[число] — максимальная длина сниппета
Пример использования
HTML
<meta name="robots" content="noindex, follow" />
<!-- не индексировать, но переходить по ссылкам -->Директива noindex работает только если страница уже доступна для сканирования (не заблокирована robots.txt). Если robots.txt запрещает сканирование, Google не увидит meta robots и страница может остаться в индексе.
FAQ
Частые вопросы
Да, например noindex, nofollow — запретить индексацию и не передавать вес по ссылкам. Порядок не важен.
Meta robots — HTML-тег, работает только на HTML-страницах. X-Robots-Tag — HTTP-заголовок, подходит для любых типов файлов (PDF, изображения).
Обычно в течение нескольких дней до нескольких недель. Страница может быть удалена из индекса только после следующего краулинга, на котором Google увидит директиву.
Прямые контакты
Обсудим ваш проект?
Расскажите о целях и сайте — предложу формат работы и следующий шаг.