Сканирование (Crawling)

Процесс обнаружения и обхода страниц поисковыми роботами (пауками).

Первый шаг алгоритма

Перед тем как добавить страницу в индекс, робот должен её найти. Он переходит по ссылкам (внутренним и внешним), как по нитям паутины.

Краулинговый бюджет:

Для больших сайтов (10k+ страниц) ресурсы бота ограничены. Если он потратит время на сканирование мусорных страниц (дубли, сессии), он может не добраться до важных новых товаров. Управление краулингом через robots.txt и анализ логов — ключевая задача технического SEO. Понятие краулингового бюджета напрямую связано с тем, как часто Googlebot заходит на сайт.