Аудит сайта FAQ

Самая распространенная причина, по которой Аудит сайта не запускается, — блокировка нашего бота файрволом вашего сайта.

Чтобы сканирование корректно запустилось, убедитесь, что наш бот не блокируется файрволом. Для этого добавьте в белый список IP-адреса нашего краулера и user-agent (SEBot-WA).

Обратите внимание: наш бот работает с немецких IP-адресов, поэтому правила безопасности, блокирующие доступ из Германии, могут переопределять настройки белого списка.

По умолчанию лимит сканируемых страниц установлен на 1 000. Вы можете изменить его в настройках инструмента.

По умолчанию скорость установлена на 500 запросов в секунду, но вы можете ограничить ее в настройках инструмента.

Некоторые серверы, CDN и сервисы безопасности (например, Cloudflare) могут блокировать или ограничивать краулер аудита, из-за чего аудит замедляется, зависает или завершается с ошибкой. Решение зависит от того, какую ошибку вы видите.

Начните с этого при любой из этих ошибок. Добавьте в белый список IP-адреса краулера SE Ranking и user-agent SEBot-WA, как описано в FAQ по проверке краулера SE Ranking. Если вы используете Cloudflare, выполните также шаги из раздела «Как добавить IP-адреса SE Ranking в белый список Cloudflare?» ниже и отключите Bot Fight Mode.

403 (Forbidden). Бот блокируется полностью. Добавьте наши IP-адреса и user-agent в белый список, как описано выше. Если ошибка сохраняется, проверьте дополнительные правила блокировки, которые могут переопределять белый список: например, блокировку по регионам (наш бот работает с немецких IP-адресов) или правила, блокирующие ботов, которые не рендерят JavaScript.

429 (Too Many Requests). Сервер ограничивает скорость обхода краулера. Снизьте скорость обхода, уменьшив максимальное число запросов в настройках Аудита сайта.

503 (Service Unavailable) или тайм-аут. Это ошибка на стороне сервера, и причин может быть несколько. Иногда помогает снижение скорости обхода (те же настройки, что выше), потому что быстрый обход создает большую нагрузку, чем сервер способен выдержать. Если это не решает проблему, причину должен изучить ваш хостинг-провайдер.

Если после выполнения нужных шагов аудит по-прежнему завершается с ошибкой, свяжитесь с нашей службой поддержки и приложите текст ошибки, которая отображается в аудите.

По умолчанию Аудит сайта использует источник Страницы сайта: он начинает с главной страницы и переходит по всем внутренним ссылкам, которые находит, вместо того чтобы опираться только на XML-карту сайта. В результате он может попасть на страницы, которых нет в вашей карте сайта, и проанализировать их. Директива noindex лишь просит поисковые системы не индексировать страницу, она не запрещает краулеру получать её. Именно поэтому страницы с noindex и страницы вне карты сайта всё равно сканируются и могут быть помечены, например, как «HTML-файл слишком большой».

Чтобы сузить область сканирования, откройте настройки инструмента и установите Источник страниц в XML-карту сайта (или загрузите Свой список страниц), чтобы сканировались только эти URL-адреса, добавьте исключаемые пути, чтобы пропустить определённые каталоги, и оставьте опцию Игнорировать Noindex выключенной, чтобы страницы с noindex пропускались.

Этот гайд особенно важен, если вы активно используете Аудит сайта и SEO-проверку страницы от SE Ranking.

Файрвол Cloudflare защищает сайт от уязвимостей, например вредоносного входящего трафика. Иногда его автоматические правила блокируют наших краулеров и не позволяют ботам SE Ranking сканировать ваш сайт.

Это ограничение можно легко снять, так как Cloudflare предоставляет гибкие настройки. Выполните следующие шаги:

1. Войдите в панель Cloudflare и выберите свой аккаунт и домен.
2. Перейдите в раздел Security > нажмите WAF > выберите подраздел Tools.
3. В разделе IP Access Rules сначала введите один из IP-адресов SE Ranking. Правило нужно создать отдельно для каждого IP-адреса краулера.

Выберите действие Skip. Затем в поле Zone укажите, будет ли правило применяться только к текущему сайту или ко всем сайтам в аккаунте.

После этого повторите те же шаги для остальных IP-адресов.

Готово! Если хотите узнать больше, ознакомьтесь с официальным гайдом Cloudflare.

Аудит сайта запускается автоматически при создании нового проекта. Чтобы перезапустить аудит, нажмите соответствующую кнопку в модуле Аудит сайта. Также вы можете настроить расписание автоматических повторных проверок, раз в неделю или раз в месяц, в настройках.

Поскольку сайт проверяется по десяткам параметров, мы не можем точно предсказать, сколько времени понадобится системе для завершения аудита. Это зависит от количества страниц и изображений на сайте, наличия crawl-delay в файле robots.txt, а также внутренней очереди в системе. Вы сможете отслеживать процесс сканирования в модуле Аудит сайта.

Когда отчет будет готов, вы получите уведомление по электронной почте.

Аудит сайта сканирует все страницы сайта и предоставляет анализ вместе с рекомендациями по исправлению найденных проблем. Пример отчета можно посмотреть здесь.

SEO-проверка страницы проверяет конкретный URL и оценивает, насколько хорошо он оптимизирован под определенный поисковый запрос. Инструмент выявляет ошибки, которые негативно влияют на позиции страницы в поисковых системах. Пример отчета можно посмотреть здесь.

Чтобы это подтвердить, нужно знать, как проверить краулер SE Ranking. Ознакомьтесь с нашим кратким руководством, где описано, как это сделать.

Автономным аудитом (не привязанным к проекту) можно поделиться, скачав его отчет в формате PDF или отправив отчет по электронной почте (в том числе на email субаккаунта), как описано в статье Работа с Аудитом сайта. Назначение или предоставление доступа к автономному аудиту напрямую субаккаунту внутри инструмента сейчас не поддерживается.