Technical SEO
Googlebot
Описание термина
Поисковый робот (краулер) компании Google.
Поисковый робот (краулер) компании Google.
Главный посетитель вашего сайта
Googlebot — это программа, которая сканирует интернет. Существует два основных типа: Desktop и Smartphone. Сейчас Google использует Mobile-First Indexing, то есть основным считается робот, имитирующий мобильное устройство.
Что нужно знать:
- User-Agent: Строка, по которой сервер определяет бота. Не блокируйте его в firewall!
- JavaScript: Googlebot умеет исполнять JS (рендеринг), но это занимает время. Для SEO лучше отдавать контент в HTML (SSR).
- IP-адреса: Всегда проверяйте, что бот настоящий, через обратный DNS (Reverse DNS Lookup), чтобы отличить его от парсеров и скликивателей.
Проверка подлинности бота: Verifying Googlebot. Существуют отдельные боты для десктопа и смартфона; с Mobile-First Indexing основным считается мобильный краулер. Управление доступом — через robots.txt.