Быстробот: скоростной краулер Яндекса

Что такое быстробот

Быстробот — это отдельный краулер Яндекса, который занимается быстрым обходом динамического контента. В отличие от основного робота (который обходит сайты с периодичностью от нескольких часов до недель), быстробот может возвращаться на страницу каждые несколько минут. Он предназначен для сайтов с оперативными новостями, форумов, блогов и других ресурсов, где свежесть контента критична.

Как работает быстробот

Принцип работы быстробота:

• Быстробот игнорирует директивы из robots.txt (специально для скорости, но это не значит, что он игнорирует запреты на индексацию - он всё равно не будет индексировать страницы, закрытые noindex).
• Он проверяет страницы по HTTP-заголовкам, особенно Last-Modified и Cache-Control, чтобы понять, изменился ли контент.
• Если страница не изменилась, быстробот уходит и возвращается реже. Если изменилась — он может сразу передать её в индекс.
• Быстробот не обходит сайт полностью — он фокусируется на отдельных URL, которые посчитает важными для быстрой индексации.

Как ускорить индексацию через быстробот

Вы можете явно попросить Яндекс ускорить обход вашего сайта через инструмент «Переобход страниц» в Яндекс.Вебмастере.

1. Зайдите в Яндекс.Вебмастер → «Индексирование» → «Переобход страниц».
2. Укажите до 10 URL (или один) для ускоренного переобхода.
3. Выберите тип «Срочный переобход» — тогда быстробот посетит страницы в течение нескольких часов (обычно 2–4 часа).
4. Подтвердите запрос.

Дополнительные способы привлечь быстробота:

• Используйте RSS-ленту или XML Sitemap с атрибутом <lastmod> и частыми обновлениями.
• Добавляйте ссылки на новые страницы на главной или в разделах с высокой посещаемостью у робота.
• Убедитесь, что сервер отвечает быстро (менее 0.2 секунды для новостных страниц).

Быстробот vs основной краулер

Основной краулер Яндекса (обычно называемый просто «Яндекс» в логах) обходит сайты планово, с уважением к robots.txt и с задержками. Он может сканировать тысячи страниц, но медленно. Быстробот же:

• Более агрессивен по частоте запросов (может делать несколько запросов в минуту).
• Обычно приходит только на динамические URL (с параметрами, часто обновляемые).
• Игнорирует robots.txt (но не игнорирует meta robots, if it exists).
• Не используется для масштабного краулинга сайта — только для проверки изменений на отдельных страницах.

В логах сервера быстробот идентифицируется по User-Agent: «YandexBot» (тот же, что у основного) или иногда «YandexBot/3.0» с дополнительными флагами. Точного разделения нет, но по поведению его можно отличить.