Googlebot

Роль в поиске

Краулер обнаруживает URL (из ссылок, sitemap, GSC), ставит их в очередь, запрашивает HTTP-ответ и связанные ресурсы, при необходимости рендерит страницу как браузер и передаёт результат дальше по конвейеру индексирования. Это не «один запрос»: к одной странице могут относиться десятки внутренних загрузок CSS, JS и шрифтов.

Варианты бота

Для веб-поиска ключевой сценарий — mobile-first: основной обход идёт от имени смартфон-агента, поэтому мобильная версия и паритет с десктопом критичны. Отдельно существуют Googlebot Image, Googlebot Video, Googlebot News и другие — у них свои задачи и паттерны нагрузки.

• Сравнивайте ответы для mobile и desktop User-Agent, если есть подозрение на разный контент.
• Не смешивайте в аналитике трафик реальных пользователей и визиты ботов без фильтрации.
• Учитывайте префetch и AdsBot там, где они влияют на метрики и нагрузку.

Рендеринг и JS

Googlebot исполняет JavaScript, но это отдельная стадия с очередью и тайм-аутами. Если критический контент появляется только после тяжёлого клиентского рендера, вы рискуете задержкой индексации и неполным пониманием страницы. SSR, гидратация и разумное разбиение чанков снижают риск.

• Отдавайте важный текст и мета-теги в HTML первого ответа, когда это возможно.
• Не блокируйте для Googlebot ресурсы, без которых страница «пустая» в рендере.
• Следите за ошибками в консоли и за бесконечными клиентскими редиректами.

Бюджет и логи

Краул-бюджет — не «лимит страниц в день» в абсолютных числах, а динамика: качество сайта, свежесть, ошибки и полезность влияют на интенсивность обхода. Бесконечные параметры, дубли и медленные ответы размывают внимание робота.

• Убирайте мусорные параметры и канонизируйте дубли.
• Стабилизируйте 5xx и тайм-ауты — они напрямую бьют по обходу.
• В логах отделяйте Googlebot от других ботов и скликивателей проверкой IP/домена.