Аудит сайта FAQ

Самая распространенная причина, по которой Аудит сайта не запускается, — блокировка нашего бота файрволом вашего сайта.

Чтобы сканирование корректно запустилось, убедитесь, что наш бот не блокируется файрволом. Для этого добавьте в белый список IP-адреса нашего краулера и user-agent (SEBot-WA).

Обратите внимание: наш бот работает с немецких IP-адресов, поэтому правила безопасности, блокирующие доступ из Германии, могут переопределять настройки белого списка.

По умолчанию лимит сканируемых страниц установлен на 1 000. Вы можете изменить его в настройках инструмента.

По умолчанию скорость установлена на 500 запросов в секунду, но вы можете ограничить ее в настройках инструмента.

По умолчанию Аудит сайта использует источник Страницы сайта: он начинает с главной страницы и переходит по всем внутренним ссылкам, которые находит, вместо того чтобы опираться только на XML-карту сайта. В результате он может попасть на страницы, которых нет в вашей карте сайта, и проанализировать их. Директива noindex лишь просит поисковые системы не индексировать страницу — она не запрещает краулеру получать её. Именно поэтому страницы с noindex и страницы вне карты сайта всё равно сканируются и могут быть помечены, например, как «HTML-файл слишком большой».

Чтобы сузить область сканирования, откройте настройки инструмента и установите Источник страниц в XML-карту сайта (или загрузите Свой список страниц), чтобы сканировались только эти URL-адреса, добавьте исключаемые пути, чтобы пропустить определённые каталоги, и оставьте опцию Игнорировать Noindex выключенной, чтобы страницы с noindex пропускались.

Этот гайд особенно важен, если вы активно используете Аудит сайта и SEO-проверку страницы от SE Ranking.

Файрвол Cloudflare защищает сайт от уязвимостей, например вредоносного входящего трафика. Иногда его автоматические правила блокируют наших краулеров и не позволяют ботам SE Ranking сканировать ваш сайт.

Это ограничение можно легко снять, так как Cloudflare предоставляет гибкие настройки. Выполните следующие шаги:

1. Войдите в панель Cloudflare и выберите свой аккаунт и домен.
2. Перейдите в раздел Security > нажмите WAF > выберите подраздел Tools.
3. В разделе IP Access Rules сначала введите один из IP-адресов SE Ranking. Правило нужно создать отдельно для каждого IP-адреса краулера.

Выберите действие Skip. Затем в поле Zone укажите, будет ли правило применяться только к текущему сайту или ко всем сайтам в аккаунте.

После этого повторите те же шаги для остальных IP-адресов.

Готово! Если хотите узнать больше, ознакомьтесь с официальным гайдом Cloudflare.

Аудит сайта запускается автоматически при создании нового проекта. Чтобы перезапустить аудит, нажмите соответствующую кнопку в модуле Аудит сайта. Также вы можете настроить расписание автоматических повторных проверок — раз в неделю или раз в месяц — в настройках.

Поскольку сайт проверяется по десяткам параметров, мы не можем точно предсказать, сколько времени понадобится системе для завершения аудита. Это зависит от количества страниц и изображений на сайте, наличия crawl-delay в файле robots.txt, а также внутренней очереди в системе. Вы сможете отслеживать процесс сканирования в модуле Аудит сайта.

Когда отчет будет готов, вы получите уведомление по электронной почте.

Аудит сайта сканирует все страницы сайта и предоставляет анализ вместе с рекомендациями по исправлению найденных проблем. Пример отчета можно посмотреть здесь.

SEO-проверка страницы проверяет конкретный URL и оценивает, насколько хорошо он оптимизирован под определенный поисковый запрос. Инструмент выявляет ошибки, которые негативно влияют на позиции страницы в поисковых системах. Пример отчета можно посмотреть здесь.

Чтобы это подтвердить, нужно знать, как проверить краулер SE Ranking. Ознакомьтесь с нашим кратким руководством, где описано, как это сделать.