Screaming Frog SEO Spider
Десктопный краулер для технического аудита: битые ссылки, редиректы, дубли мета-тегов и визуализация структуры сайта.
Кратко
Screaming Frog SEO Spider — программа, которая сканирует сайт подобно поисковому роботу. Позволяет находить технические ошибки, анализировать заголовки, мета-теги, редиректы и строить граф внутренних ссылок.
Что умеет краулер
Screaming Frog имитирует поведение Googlebot: обходит сайт по внутренним ссылкам и собирает данные о каждом URL. Бесплатная версия сканирует до 500 URL, платная — без ограничений.
Что ищет Screaming Frog
- Битые ссылки (404, 500, DNS-ошибки) — как внутренние, так и внешние.
- Цепочки редиректов и редирект-петли, расходующие краулинговый бюджет.
- Дубли Title и мета-описаний, отсутствие H1, слишком длинные Description.
- Проверку индексации: статус кодов ответа, canonical, meta robots.
- Анализ скорости загрузки страниц.
Визуализация ссылочного графа
Инструмент строит интерактивный граф внутренних ссылок и позволяет находить страницы-сироты (orphan pages), изолированные разделы и слабые места перелинковки.
Запускайте краулер с User-agent «Googlebot» и настройте соблюдение robots.txt, чтобы видеть сайт глазами поисковика.
FAQ
Частые вопросы
Сканируйте сайт по частям (разделы) или используйте другие инструменты, например, Sitebulb или Netpeak Spider. Для больших сайтов платная лицензия окупается быстро.
Да, Screaming Frog поддерживает куки, HTTP-авторизацию и вход через форму. Это полезно для аудита закрытых разделов.
В настройках можно изменить количество потоков и задержку между запросами. Для слабых серверов снизьте скорость, чтобы не создавать лишнюю нагрузку.
Он анализирует сайт на уровне локальной сети, не зависит от внешнего сервера и может загружать данные из Google Analytics и Search Console.
Прямые контакты
Обсудим ваш проект?
Расскажите о целях и сайте — предложу формат работы и следующий шаг.