Robots.txt

Текстовый файл с инструкциями для поисковых роботов.

Это "фейс-контроль" вашего сайта. Файл лежит в корне домена (example.com/robots.txt) и говорит ботам, куда им можно заходить, а куда нет.

Основные директивы:

• User-agent: * (Для всех роботов)
• Disallow: /admin/ (Запрет на сканирование админки)
• Allow: /admin/images/ (Разрешение на вложенную папку)
• Sitemap: https://... (Указание пути к карте сайта)

Частая ошибка:

Закрытие CSS и JS файлов через Disallow. Google нужно видеть стили, чтобы понять, что сайт адаптивен. Не блокируйте ресурсы, необходимые для рендеринга страницы.