Technical SEO
Сканирование (Crawling)
Описание термина
Процесс обнаружения и обхода страниц поисковыми роботами (пауками).
Процесс обнаружения и обхода страниц поисковыми роботами (пауками).
Первый шаг алгоритма
Перед тем как добавить страницу в индекс, робот должен её найти. Он переходит по ссылкам (внутренним и внешним), как по нитям паутины.
Краулинговый бюджет:
Для больших сайтов (10k+ страниц) ресурсы бота ограничены. Если он потратит время на сканирование мусорных страниц (дубли, сессии), он может не добраться до важных новых товаров. Управление краулингом через robots.txt и анализ логов — ключевая задача технического SEO. Понятие краулингового бюджета напрямую связано с тем, как часто Googlebot заходит на сайт.