Техническое SEOОпубликовано02.05.2026

Краулинговый бюджет (Crawl Budget)

Лимит ресурсов, которые поисковая система выделяет на сканирование вашего сайта. Особенно важен для крупных сайтов (10k+ страниц).

Кратко

Crawl Budget (краулинговый бюджет) — количество URL, которое поисковый робот может и хочет просканировать на вашем сайте за определённый период. Если бюджет расходуется на мусорные страницы, новые полезные материалы могут остаться неиндексированными.

Что такое Crawl Budget

Лимит ресурсов, которые поисковик выделяет на сканирование вашего сайта. Экономика внимания. Актуально для сайтов с 10k+ страниц.

Почему он важен

Если бот тратит время на сканирование дублей фильтров или сессионных URL, он не успеет проиндексировать новые полезные товары. Оптимизация бюджета — это закрытие мусора в robots.txt и улучшение перелинковки.

Факторы, которые влияют на бюджет

  • Популярность сайта — чем больше ссылок, тем выше бюджет
  • Скорость ответа сервера — медленные ответы снижают бюджет
  • Количество мусорных страниц — дубли, фильтры, сессии
  • Обновляемость контента — частые изменения увеличивают бюджет

Как оптимизировать краулинговый бюджет

  • Закрыть ненужные страницы в robots.txt (но не от индексации, а от сканирования)
  • Использовать noindex на страницах-мусорках (фильтры, сортировки, сессии)
  • Обеспечить быструю загрузку сервера (кеширование, CDN)
  • Перелинковывать важные страницы, чтобы робот добирался до них быстро
  • Правильно настроить XML Sitemap — включать только канонические полезные URL
  • Избегать бесконечных пространств (календари, пагинация с перебором дат)
Закрытие страниц в robots.txt не экономит бюджет, если на них есть внешние или внутренние ссылки — робот всё равно попытается их сканировать, увидит блокировку и потратит время. Для экономии бюджета лучше использовать noindex или блокировку по параметрам URL в GSC.
FAQ

Частые вопросы

Обычно нет. Google легко просканирует 1000 страниц за один раз. Проблемы с индексацией на маленьком сайте вызваны другими факторами: ошибками сервера, блокировкой в robots.txt или плохой перелинковкой.
Google не раскрывает абсолютное число. Вы можете оценить его косвенно в Google Search Console → отчёт «Статистика сканирования» (Crawl Stats). Смотрите тренд — сколько запросов в день делает Googlebot и сколько страниц он сканирует.
Увеличьте скорость сервера (уменьшите TTFB), закройте мусорные параметры URL в настройках GSC, удалите дубли, настройте чистую перелинковку и обновите XML Sitemap.
Да. Если у вас много страниц пагинации с неканоническими параметрами (page=2, page=3…), Google может их сканировать. Используйте rel=«prev»/«next» (устарело, но иногда работает) или блокируйте глубокие страницы пагинации через параметры URL.
Вероятно, бюджет уходит на устаревший или мусорный контент. Проверьте, нет ли дублей, бесконечных фильтров, сессионных URL. Запретите сканирование ненужных динамических параметров через инструмент «Параметры URL» в GSC.
Прямые контакты

Обсудим ваш проект?

Расскажите о целях и сайте — предложу формат работы и следующий шаг.

[email protected]@pavelbarushkaLinkedIn