Ключевая задача технаря — увидеть то, что поверхностный краулер не покажет: как реально ходит Googlebot, что отдаётся при Сканирование (Crawling), где утекает Crawl Budget (краулинговый бюджет) и почему страдает Индексация (Indexing).
Без этого слоя Core Web Vitals, Robots.txt и Canonical работают «вхолостую»: контент и ссылки не дадут эффекта, если бот не получает стабильный 200, корректный рендер и понятную иерархию URL.
Deep Crawl и JS SEO
Сканирование с рендерингом JS: SPA (Single Page Application), SSR (Server-Side Rendering), CSR (Client-Side Rendering). Проверяю, что значимый контент и навигация доступны роботам без «пустого» первого HTML и лишних цепочек гидратации.
Log File Analysis
Log File Analysis по серверным логам: частота обходов, коды ответа (404 Not Found, 500 Internal Server Error), куда реально тратится бюджет. Это данные о поведении бота на проде, а не эмуляция.
Core Web Vitals
LCP, INP/FID, CLS — связка скорости и стабильности с Ранжирование (Ranking) и Поведенческие факторы. Формулирую ТЗ разработчикам с метриками, приоритетом критического пути и Mobile-First Indexing.
Crawl Budget и индекс
Robots.txt, Sitemap XML, Canonical, борьба с дублями и Orphan Pages (страницы-сироты). Приоритизация важных URL и снятие «шума», чтобы в индекс попадало то, что должно конкурировать в SERP.
Что входит в услугу
Процесс работы
От сканирования с рендерингом — к логам и конкретным правкам для разработки; без этого шаги смешиваются в общий «технический аудит» без приоритизации.
Deep Crawl
Обход с учётом JS, сравнение с Google Search Console: что отдаётся в HTML, что появляется после исполнения скриптов, блокеры индексации и внутренние мёртвые зоны.
Logs
Разбор логов (при необходимости скрипты на Python): куда ходит бот, какие шаблоны URL «съедают» бюджет, зоны 4xx/5xx. Формируем гипотезы с цифрами, а не с «ощущением от отчёта краулера».
Fix
ТЗ для разработчиков: правки рендера, редиректов, заголовков, шаблонов мета, краул-правила. Контроль после выката через GSC и повторную выборку логов.
Структура Tech SEO
Услуга смещена в инфраструктуру обхода и качества страницы; Микроразметка (Structured Data) и чистота индекса поддерживают выдачу, но ядро — краул, логи и CWV.
Crawl и рендер (30%)
JS/SSR, обход, внутренние ссылки, Индексация (Indexing) критичных шаблонов
Логи и бюджет (28%)
Log File Analysis, Crawl Budget, приоритизация URL
CWV и стабильность (22%)
Core Web Vitals, критический путь, Mobile-First Indexing
Индекс и гигиена (20%)
Canonical, Robots.txt, дубли, Orphan Pages