Screaming Frog SEO Spider: первый аудит сайта по шагам
Как провести первый аудит в Screaming Frog SEO Spider
Первый аудит в Screaming Frog SEO Spider состоит из пяти действий: определить границы проверки, запустить обход сайта, убедиться в полноте собранных данных, разобрать важные URL и выгрузить подтверждённые проблемы вместе со страницами, на которых их можно исправить. Результат — не число предупреждений, а проверяемый список задач.
Этот порядок подходит начинающим SEO-специалистам и владельцам небольших сайтов. Он помогает разобраться с ответами сервера, заголовками, директивами индексирования и внутренними ссылками без подключения API и сложной автоматизации.
Screaming Frog обходит URL и собирает технические сведения, но не показывает сайт полностью глазами Google или Яндекса. Обнаруженный адрес не обязательно индексируется, а отсутствие адреса в обходе не доказывает его отсутствие в поиске. Данные программы нужно интерпретировать с учётом настроек и назначения страниц.
Здесь рассматривается работа именно с инструментом: от запуска до технического задания. Общий состав исследования шире и относится к отдельной задаче — проведению SEO-аудита сайта.
Что проверить перед первым обходом
Начни с сайта, который принадлежит тебе или доступен для согласованного аудита. Уточни рабочий домен, протокол и стартовую страницу. Если сайт переезжал, не используй старый адрес только потому, что он сохранился в предыдущей таблице.
Установи Screaming Frog SEO Spider из официального источника. По документации разработчика бесплатная версия ограничена 500 URL за один обход. Это не обязательно 500 HTML-страниц: программа также может учитывать изображения, скрипты и другие ресурсы. На сайте с большим числом файлов лимит может закончиться до проверки всех продуктовых страниц.
Бесплатной версии достаточно, чтобы освоить основные вкладки и проверить небольшой проект. Для полного обхода большого сайта и расширенных функций понадобится лицензия. JavaScript-рендеринг, сохранение обходов и ряд настроек также ограничены в бесплатной версии.
До запуска запиши контекст проверки:
Какой домен и разделы входят в аудит.
Какие страницы важны: категории, товары, услуги, статьи или формы обращения.
Какой режим обхода используется и есть ли лицензионные ограничения.
Нужна ли авторизация и есть ли отдельные поддомены.
Какие изменения недавно происходили: переезд, смена шаблона, обновление каталога.
Не повышай скорость обхода без необходимости. Краулер создаёт запросы к серверу; для слабого хостинга или сложного сайта чрезмерная интенсивность может стать нагрузкой. Если появляются массовые ошибки, сначала проверь доступность сайта и настройки, а не делай вывод о постоянном сбое всех страниц.
Для первого знакомства не подключай все интеграции одновременно. Отдельный обычный обход проще воспроизвести и объяснить. Дополнительные источники данных стоит добавлять, когда понятно, какой вопрос они помогут решить.
Как запустить сканирование и проверить его полноту
Для обычного обхода выбери режим Spider, вставь стартовый адрес в поле Enter URL to spider и нажми Start. Программа начнёт обнаруживать ссылки и запрашивать доступные URL.
Если задача — проверить конкретный перечень адресов, используй Mode → List. Этот режим удобен для повторной проверки исправленных страниц, старых URL после миграции или выборки из другой системы. Но проверка списка сама по себе не описывает всю структуру сайта.
Во время обхода следи за прогрессом, количеством найденных адресов и ответами сервера. Не считай сообщение о завершении доказательством полного аудита: обход мог остановиться на лимите, охватить только часть сайта или не обнаружить ссылки, создаваемые JavaScript.
После завершения открой вкладку Internal и выбери фильтр HTML. Сопоставь результаты с ожидаемой структурой: присутствуют ли основные категории, услуги и несколько страниц каждого важного шаблона.
Если вместо ожидаемых сотен страниц найдены единицы, проверь:
Правильность стартового адреса и его перенаправления.
Доступность внутренних ссылок в исходном HTML.
Ограничения robots.txt и конфигурации программы.
Наличие авторизации, защитной страницы или ограничения запросов.
Зависимость навигации и содержимого от JavaScript.
По умолчанию SEO Spider обрабатывает исходный HTML. Если важные ссылки и тексты появляются только после выполнения JavaScript, лицензированная версия позволяет включить Configuration → Spider → Rendering → JavaScript. Разработчик рекомендует этот режим для проверки соответствующих динамических сайтов.
Не переключай рендеринг автоматически на любом проекте: он требует дополнительных ресурсов и времени. Сначала сравни несколько типовых страниц в браузере и в результатах обхода. У выбранного URL нижняя панель помогает изучить извлечённые данные, а при включённом рендеринге — содержимое Rendered Page.
Правила доступа нужно рассматривать отдельно от полноты навигации. Если важный раздел заблокирован, сначала выясни назначение ограничения. Основы настройки правил в robots.txt полезны для такого решения, но обход запрета ради более красивого отчёта не исправляет доступность сайта.
Как читать результаты: URL, фильтры и источники ссылок
Работа с результатами строится по схеме: верхняя вкладка показывает группу данных, фильтр выделяет нужные адреса, выбранный URL раскрывает подробности в нижней панели. Для первого аудита важнее освоить эту связь, чем изучить все меню программы.
Начни со вкладки Response Codes. Раздели ответы на успешные, перенаправления, клиентские и серверные ошибки. В первую очередь исследуй важные действующие страницы, которые неожиданно недоступны.
Для найденного проблемного адреса открой Inlinks. Эта панель показывает источники ссылок, благодаря которым URL обнаружен. Так задача «на сайте есть 404» превращается в конкретное действие: исправить ссылку в меню, статье или карточке товара.
Например, если страница услуги возвращает 404, а ссылка на неё присутствует в общей навигации, исправление может затронуть сразу множество страниц. Но корректный 404 у давно удалённого адреса без актуальных внутренних ссылок не требует такого же приоритета.
Затем проверь Page Titles, Meta Description и H1. Начинай с отсутствующих элементов и повторов на содержательно разных страницах. Предупреждения о длине используй как повод посмотреть страницу, а не как автоматический приказ переписать текст.
Одинаковое название у нескольких страниц может быть ошибкой шаблона, а может относиться к альтернативным адресам одного документа. Поэтому перед редактированием сопоставь URL, содержимое и canonical.
Во вкладках Canonicals и Directives изучи выбранную каноническую страницу и запреты индексирования. В результатах Internal также полезны Indexability и Indexability Status: они помогают увидеть, как инструмент классифицировал адрес в рамках конкретного обхода.
Не путай эту классификацию с фактом присутствия в индексе. Страница со статусом Indexable может отсутствовать в поиске; страницу с noindex нужно оценивать по её назначению. Корзину или служебный результат поиска не следует открывать для индексирования только ради исчезновения предупреждения.
Канонический адрес проверяй по смыслу: ведёт ли он на подходящую доступную страницу и не противоречит ли содержимому. Подробное объяснение выбора канонического URL помогает избежать массовых исправлений без диагностики.
Вкладка Images нужна для проверки изображений и связанных атрибутов. Отсутствующий alt оценивай по роли картинки: содержательная иллюстрация и декоративный элемент требуют разного подхода. Размер файла помогает найти кандидатов на оптимизацию, но сам по себе не показывает скорость загрузки страницы у посетителя.
Какие предупреждения нельзя сразу превращать в задачи
Не каждое замечание краулера является ошибкой сайта. Приоритет возникает после проверки: что именно не работает, на каких страницах и для какой пользовательской или поисковой задачи.
Сначала отдели проблемы рабочих страниц от технических адресов и архивов. Затем проверь воспроизводимость: открой URL в браузере, повтори запрос или посмотри настройки сервера. Один ответ, полученный во время нагрузки, не описывает постоянное состояние проекта.
Особого внимания требуют следующие ситуации:
Все важные страницы имеют noindex: проверить, не остались ли настройки тестовой среды.
Большая часть URL возвращает 403: выяснить, не ограничен ли доступ именно краулеру.
Обнаружено множество параметрических адресов: установить, какие из них являются дублями, а какие нужны пользователям.
Важные разделы отсутствуют: проверить область обхода, лимит и способ формирования ссылок.
Сайт заполнен перенаправлениями: найти источники старых ссылок и назначение переходов.
Не заменяй все перенаправления на один тип и не удаляй все URL с параметрами. Для каждого класса адресов нужен понятный сценарий. Инструмент показывает наблюдаемое поведение, но не знает бизнес-назначение страниц.
Глубина обхода также требует контекста. Большое число переходов до продукта может указывать на неудобный маршрут, но универсального допустимого числа для всех сайтов нет. Проверяй, есть ли более прямые ссылки с подходящих категорий и разделов.
Отсутствие «осиротевших» страниц в отчёте не доказывает, что таких страниц нет. Обычный обход по ссылкам может не обнаружить URL, на которые никто не ссылается. Для проверки нужно сопоставить обход с дополнительным списком — например, адресами из CMS или sitemap.
Часть расчётов и отчётов программы требует анализа после сбора данных. В официальной документации для этого указан Crawl Analysis → Start. Если нужный показатель не рассчитан, проверь условия его получения, а не принимай пустое поле за нулевое значение.
Главное ограничение первого обхода: он не заменяет данные поисковых систем, аналитику посещений, серверные логи и проверку пользовательских сценариев. Эти источники добавляют только там, где результаты краулера не дают достаточного ответа.
Как выгрузить данные и подготовить техническое задание
Выгружай не только проблемные URL, но и информацию, которая помогает исправить их. Для битой ссылки нужен адрес источника; для ошибки шаблона — группа затронутых страниц; для перенаправления — исходный и конечный URL.
Кнопка Export выгружает данные выбранной верхней вкладки и фильтра. Для источников ссылок используй экспорт Inlinks, а для массовых выгрузок — меню Bulk Export. В официальном руководстве предусмотрен также Bulk Export → Issues → All для замечаний инструмента.
Большая выгрузка не является готовым заданием. Перед передачей разработчику объедини повторяющиеся наблюдения по причинам: ошибка общего меню, неправильный шаблон canonical, устаревшие ссылки в одном разделе. Не создавай сотни одинаковых задач, если исправление выполняется в одном месте.
Рабочая таблица может содержать:
URL или группу страниц.
Подтверждённую проблему и доказательство.
Источник ссылки или название затронутого шаблона.
Ожидаемое поведение после исправления.
Приоритет и обоснование.
Ответственного и критерий приёмки.
Учебный пример: ссылка из меню ведёт на удалённую страницу услуги, а новая страница уже существует. Задача — заменить адрес в меню на действующий. Критерий приёмки — ссылка ведёт непосредственно на нужную страницу без промежуточного перехода, и повторная проверка подтверждает ожидаемый ответ.
Для такого исправления полезна отдельная работа с системой внутренних ссылок. Но в задании всё равно должны присутствовать конкретные источники и адреса, а не общая рекомендация «улучшить перелинковку».
После внедрения повтори проверку исправленных URL через List или новый обход с сопоставимыми настройками. Зафиксируй дату и условия. Если первый обход выполнялся по исходному HTML, а второй — с JavaScript, различия результатов могут объясняться режимом, а не изменением сайта.
Закрывай задачу после проверки критерия приёмки. Исчезновение предупреждения не всегда означает достижение цели: ссылка может перестать определяться краулером, но остаться неудобной или неработающей для посетителя.
Итог
Первый аудит завершён, когда собранные данные объясняют конкретные проблемы, а команда может воспроизвести их и проверить исправления. Большое количество выгруженных строк без контекста не делает исследование полезнее.
Для следующего шага сохраняй единый порядок: область проверки, настройки, наблюдение, подтверждение причины, задача и повторный контроль. Это превращает Screaming Frog из генератора предупреждений в инструмент технической диагностики.
