Crawl Budget (краулинговый бюджет) — это не «абстракция из доков Google», а реальное ограничение на крупных сайтах: Googlebot не успевает переобходить всё подряд. Если бюджет съедают дубли, фасетные комбинации и мёртвые шаблоны, важные URL сидят в очереди на индексацию неделями.
Оптимизация = данные из логов + чистый Robots.txt + политика параметров и Canonical, плюс снятие crawl traps. Малый сайт часто не упирается в бюджет; порог осмысленности работ — обычно 10k+ URL и заметная очередь в GSC.
Log Analysis
Разбор серверных логов (при необходимости скрипты на Python): топ путей по обходам бота, коды 4xx/5xx, частота визитов. Краулер показывает «как могло бы быть»; логи — как было на сервере.
Robots.txt
Аудит и правила под шаблоны: закрытие служебных зон, мусорных списков, агрессивной пагинации без ценности. Без двусмысленных Allow/Disallow, конфликтующих с XML-файлами и прод-страницами.
URL Parameters
Учёт UTM, сортировки, фильтров: что индексируем, что схлопываем через Canonical, что режем noindex. Согласование с настройками параметров в Search Console там, где это ещё поддерживается логикой сайта.
Crawl Traps
Бесконечные фасеты, календари, сессионные хвосты в URL — бот застревает в комбинаторике. Закрываю ловушки правилами, редиректами и шаблонными ограничениями, чтобы бюджет шёл в деньги и охват.
Что входит в услугу
Процесс работы
Цикл без «магии»: карта обхода → устранение ловушек → подтверждение по панелям и логам.
Анализ логов
Сбор логов, фильтрация ботов, топ URL по обходам, зоны 404/500 и «пожиратели» бюджета. Сверка с приоритетными разделами из бизнеса и Индексация (Indexing) в GSC.
Очистка
Правки robots, шаблонов ссылок, canonical/noindex, закрытие параметров. ТЗ разработчикам — с примерами URL до/после, чтобы не сломать нужные списки.
Мониторинг
Отслеживание Coverage, Crawl Stats, динамики обходов. Повторный срез логов после выката — убеждаемся, что бот перестал тонуть в мусоре.
Структура работ по краул-бюджету
Упор на логи и гигиену URL; мониторинг в GSC фиксирует, что очередь разжалась и важные шаблоны снова в обходе.
Логи и диагностика (30%)
Log File Analysis, коды ответа, топ путей бота
Robots и ловушки (28%)
Robots.txt, crawl traps, закрытие мусорных веток
Параметры и дубли (24%)
Canonical, фильтры, пагинация, noindex
Контроль в GSC (18%)
Coverage, обходы, регрессии после релизов