Googlebot

Поисковый робот (краулер) компании Google.

Главный посетитель вашего сайта

Googlebot — это программа, которая сканирует интернет. Существует два основных типа: Desktop и Smartphone. Сейчас Google использует Mobile-First Indexing, то есть основным считается робот, имитирующий мобильное устройство.

Что нужно знать:

• User-Agent: Строка, по которой сервер определяет бота. Не блокируйте его в firewall!
• JavaScript: Googlebot умеет исполнять JS (рендеринг), но это занимает время. Для SEO лучше отдавать контент в HTML (SSR).
• IP-адреса: Всегда проверяйте, что бот настоящий, через обратный DNS (Reverse DNS Lookup), чтобы отличить его от парсеров и скликивателей.

Проверка подлинности бота: Verifying Googlebot. Существуют отдельные боты для десктопа и смартфона; с Mobile-First Indexing основным считается мобильный краулер. Управление доступом — через robots.txt.