Аудит сайта FAQ

Самая распространенная причина, по которой Аудит сайта не запускается, — блокировка нашего бота файрволом вашего сайта.

Чтобы сканирование корректно запустилось, убедитесь, что наш бот не блокируется файрволом. Для этого добавьте в белый список IP-адреса нашего краулера и user-agent (SEBot-WA).

Обратите внимание: наш бот работает с немецких IP-адресов, поэтому правила безопасности, блокирующие доступ из Германии, могут переопределять настройки белого списка.

По умолчанию лимит сканируемых страниц установлен на 1 000. Вы можете изменить его в настройках инструмента.

По умолчанию скорость установлена на 500 запросов в секунду, но вы можете ограничить ее в настройках инструмента.

Некоторые серверы, CDN и сервисы безопасности (например, Cloudflare) могут блокировать или ограничивать краулер аудита, из-за чего аудит замедляется, зависает или завершается с ошибкой. Решение зависит от того, какую ошибку вы видите.

Начните с этого при любой из этих ошибок. Добавьте в белый список IP-адреса краулера SE Ranking и user-agent SEBot-WA, как описано в FAQ по проверке краулера SE Ranking. Если вы используете Cloudflare, выполните также шаги из раздела «Как добавить IP-адреса SE Ranking в белый список Cloudflare?» ниже и отключите Bot Fight Mode. SEBot-WA используется по умолчанию. Если в настройках Аудита сайта вы выбрали другой user-agent, добавьте в белый список именно его.

403 (Forbidden). Бот блокируется полностью. Добавьте наши IP-адреса и user-agent в белый список, как описано выше. Если ошибка сохраняется, проверьте дополнительные правила блокировки, которые могут переопределять белый список: например, блокировку по регионам (наш бот работает с немецких IP-адресов) или правила, блокирующие ботов, которые не рендерят JavaScript.

Если 403 сохраняется после добавления в белый список, попробуйте рендеринг JavaScript. Если добавление IP-адресов и user-agent в белый список не помогает, блокировку может создавать правило, которое проверяет посетителей с помощью JavaScript. Ручная проверка при этом может проходить успешно, а сканирование — нет. Например, запрос вида curl -I -A "SEBot-WA" https://yourdomain.com/ может возвращать HTTP 200, потому что к нему такая проверка не применяется, а к обходу применяется. Включенный рендеринг JavaScript заставляет аудит загружать страницы через сессию браузера, которая выполняет JavaScript, вместо обычного HTTP-запроса, и это помогает пройти такую проверку. Откройте Настройки в Аудите сайта, перейдите на вкладку Настройки парсера, включите рендеринг JavaScript и перезапустите аудит. Этот способ стоит попробовать, но он помогает не всегда. Если блокировка вызвана не проверкой JavaScript, аудит все равно завершится с ошибкой.

429 (Too Many Requests). Сервер ограничивает скорость обхода краулера. Снизьте скорость обхода, уменьшив максимальное число запросов в настройках Аудита сайта.

503 (Service Unavailable) или тайм-аут. Это ошибка на стороне сервера, и причин может быть несколько. Иногда помогает снижение скорости обхода (те же настройки, что выше), потому что быстрый обход создает большую нагрузку, чем сервер способен выдержать. Если это не решает проблему, причину должен изучить ваш хостинг-провайдер.

Если после выполнения нужных шагов аудит по-прежнему завершается с ошибкой, свяжитесь с нашей службой поддержки и приложите текст ошибки, которая отображается в аудите.

Внешняя (исходящая) ссылка помечается как битая, когда сторонний домен отвечает нашему краулеру статусом 4XX. Внешние ссылки проверяются легким запросом HEAD, а не полной загрузкой страницы, и многие крупные сайты блокируют такие автоматические запросы, отправляют их на дополнительную проверку или просто отклоняют. Поэтому страница, которая нормально открывается в вашем браузере, может отвечать аудиту 403 или 404. Для ваших посетителей ссылка при этом рабочая, но в отчете она все равно учитывается и может снижать оценку состояния сайта.

Чтобы конкретные сторонние домены больше не попадали в отчет, исключите их из проверки внешних ссылок в настройках Аудита сайта: откройте Настройки, перейдите на вкладку Правила сканирования страниц и добавьте домены или URL-адреса в блок для игнорирования внешних доменов и ссылок. Указанные адреса пропускаются, когда внешние ссылки ставятся в очередь на проверку, и при следующем аудите связанные с ними ошибки исчезают из отчета. Это правило действует только для исходящих ссылок и не влияет на то, какие страницы вашего сайта сканируются. За это отвечают отдельные правила allow, disallow и скрытых путей на той же вкладке.

По умолчанию Аудит сайта использует источник Страницы сайта: он начинает с главной страницы и переходит по всем внутренним ссылкам, которые находит, вместо того чтобы опираться только на XML-карту сайта. В результате он может попасть на страницы, которых нет в вашей карте сайта, и проанализировать их. Директива noindex лишь просит поисковые системы не индексировать страницу, она не запрещает краулеру получать её. Именно поэтому страницы с noindex и страницы вне карты сайта всё равно сканируются и могут быть помечены, например, как «HTML-файл слишком большой».

Чтобы сузить область сканирования, откройте настройки инструмента и установите Источник страниц в XML-карту сайта (или загрузите Свой список страниц), чтобы сканировались только эти URL-адреса, добавьте исключаемые пути, чтобы пропустить определённые каталоги, и оставьте опцию Игнорировать Noindex выключенной, чтобы страницы с noindex пропускались.

Этот гайд особенно важен, если вы активно используете Аудит сайта и SEO-проверку страницы от SE Ranking.

Файрвол Cloudflare защищает сайт от уязвимостей, например вредоносного входящего трафика. Иногда его автоматические правила блокируют наших краулеров и не позволяют ботам SE Ranking сканировать ваш сайт.

Это ограничение можно легко снять, так как Cloudflare предоставляет гибкие настройки. Выполните следующие шаги:

1. Войдите в панель Cloudflare и выберите свой аккаунт и домен.
2. Перейдите в раздел Security > нажмите WAF > выберите подраздел Tools.
3. В разделе IP Access Rules сначала введите один из IP-адресов SE Ranking. Правило нужно создать отдельно для каждого IP-адреса краулера.

Выберите действие Skip. Затем в поле Zone укажите, будет ли правило применяться только к текущему сайту или ко всем сайтам в аккаунте.

После этого повторите те же шаги для остальных IP-адресов.

Готово! Если хотите узнать больше, ознакомьтесь с официальным гайдом Cloudflare.

Аудит сайта запускается автоматически при создании нового проекта. Чтобы перезапустить аудит, нажмите соответствующую кнопку в модуле Аудит сайта. Также вы можете настроить расписание автоматических повторных проверок, раз в неделю или раз в месяц, в настройках. При каждом запуске сайт сканируется заново, результаты предыдущего аудита не используются повторно, поэтому исправления, которые вы уже опубликовали, отразятся в отчете сразу после завершения следующего аудита.

Поскольку сайт проверяется по десяткам параметров, мы не можем точно предсказать, сколько времени понадобится системе для завершения аудита. Это зависит от количества страниц и изображений на сайте, наличия crawl-delay в файле robots.txt, а также внутренней очереди в системе. Вы сможете отслеживать процесс сканирования в модуле Аудит сайта.

Когда отчет будет готов, вы получите уведомление по электронной почте.

Аудит сайта сканирует все страницы сайта и предоставляет анализ вместе с рекомендациями по исправлению найденных проблем. Пример отчета можно посмотреть здесь.

SEO-проверка страницы проверяет конкретный URL и оценивает, насколько хорошо он оптимизирован под определенный поисковый запрос. Инструмент выявляет ошибки, которые негативно влияют на позиции страницы в поисковых системах. Пример отчета можно посмотреть здесь.

Чтобы это подтвердить, нужно знать, как проверить краулер SE Ranking. Ознакомьтесь с нашим кратким руководством, где описано, как это сделать. По умолчанию краулер Аудита сайта отправляет user-agent SEBot-WA, поэтому именно это значение стоит искать в логах сервера и разрешать в правилах файрвола. Если в настройках инструмента вы выбрали другой user-agent, ищите его.

Автономным аудитом (не привязанным к проекту) можно поделиться, скачав его отчет в формате PDF или отправив отчет по электронной почте (в том числе на email субаккаунта), как описано в статье Работа с Аудитом сайта. Назначение или предоставление доступа к автономному аудиту напрямую субаккаунту внутри инструмента сейчас не поддерживается.