Как настроить параметры Аудита сайта

За счет гибких настроек вы можете полностью управлять процессом и результатом аудита сайта. В блок настроек можно попасть из любого раздела инструмента.
 

Расписание

В этом блоке настроек вы можете установить частоту сканирования сайта.

Доступные опции:

1. Запуск аудита вручную. Если вы выберете эту опцию, для аудита вам нужно будет нажать на кнопку «Перезапустить проверку» в любом из разделов «Анализа сайта» .

2. Еженедельно. Аудит будет запускаться еженедельно в выбранные вами день недели и время.

3. Ежемесячно. Аудит будет проводиться раз в месяц в установленные день и время.

Время в сервисе указано по часовому поясу GMT.
 

При этом вы всегда можете запустить аудит вручную несмотря на установленные автоматические проверки.

Источник страниц для аудита сайта

В этом блоке настроек вы можете определить, какие именно страницы будет сканировать система.



Возможные варианты:

1. Страницы сайта. Система просканирует все страницы сайта, начиная с главной и переходя по внутренним ссылкам, не включая поддомены.

2. Поддомены сайта. Система просканирует все страницы сайта, включая поддомены и их страницы.

3. XML-карта сайта. Система проверит все страницы, указанные в XML-карте.

После первого аудита сервис автоматически найдет XML-карту, если она находится по адресу domain.com/sitemap.xml. Вы также можете добавить ссылку на XML-карту вручную, кликнув на «Добавить sitemap». После добавления ссылки сохраните изменения.

4. Мой список страниц. Вы можете добавить свой список страниц сайта для проверки. Загрузите файл в формате .txt или .csv. Каждый URL-адрес должен быть указан с новой строки.

Почему страницы с «noindex» или отсутствующие в sitemap всё равно проходят аудит?

При использовании стандартного источника «Страницы сайта» аудит начинается с главной страницы и переходит по всем внутренним ссылкам, поэтому он может обнаружить страницы, которые не указаны в вашей XML карте сайта. Директива noindex запрещает только индексацию, но не сканирование — такие страницы всё равно сканируются и могут быть отмечены как проблемные.

Чтобы проверять только определённые страницы, измените источник страниц на «XML карта сайта» или «Мой список страниц», добавьте пути disallow и оставьте опцию «Игнорировать noindex» (см. «Правила сканирования страниц» ниже) выключенной — тогда страницы с noindex будут пропущены.

Правила сканирования страниц

В этом блоке настроек вы можете установить правила для сканирования страниц сайта.



Например:

1. Учитывать директивы robots.txt. При выборе этой опции робот будет сканировать сайт согласно списку действующих инструкций в файле robots.txt. В обратном случае робот будет игнорировать инструкции в файле robots.txt.

2. Игнорировать Noindex. При включении этой опции сервис будет сканировать страницы, игнорируя директиву noindex (в формате метатега или заголовка ответа HTTP).

3. Игнорировать Nofollow. Выбрав эту опцию, вы даете указание краулеру SE Ranking переходить по ссылкам на странице, игнорируя директиву nofollow (в формате метатега, заголовка ответа HTTP или атрибута ссылки).

4. Allow/disallow URLs. Директивы Disallow имеют приоритет над директивами Allow. Если вы хотите полностью убрать упоминания ресурсов и страниц, добавьте их в скрытые.

5. Игнорировать параметры URL. Тут вы можете указать, какие UTM-метки следует игнорировать в URL-адресах страниц при сканировании. Вы можете исключить все параметры или выбрать их вручную.

6. Игнорировать внешние домены и ссылки. Если внешние домены блокируют нашего бота, вы можете добавить в список исключений как отдельные ссылки, так и целые домены. Добавленные в него ссылки не будут проверяться и фигурировать в отчете.
 

Настройки парсера

Инструмент дает возможность выбрать бота для сканирования, включить рендеринг JavaScript, а также предоставить доступ к страницам, закрытым для поисковых роботов.



1. Выбор User Agent
По умолчанию установлен SE Ranking bot. Если анализируемый сайт закрыт для нашего бота, вы можете выбрать любой другой из предложенного списка. Независимо от того, какой User Agent выбран, все страницы вашего сайта будут просканированы (даже если вы выбрали Googlebot-Image).

2. Рендеринг JavaScript (рендеринг на стороне клиента)
Включение этой опции позволяет сканировать сайты, на которых основное содержимое загружается и отображается с помощью JavaScript. Если опция отключена, инструмент не сможет распознать динамически загружаемый контент, что приведет к неполному аудиту сайта.

3. Авторизация на страницах с ограниченным доступом
Вы можете просканировать закрытые страницы сайта. Для этого предоставьте доступ нашему боту, указав логин и пароль в соответствующих полях.

Лимиты и ограничения

Этот блок позволит вам настроить лимиты и ограничения для сканирования. Для каждого сайта в вашем аккаунте можно устанавливать свои ограничения.



Доступные настройки:

1. Максимальное количество страниц для сканирования. Выберите количество согласно вашему тарифному плану.
2. Максимальная глубина сканирования. Выберите глубину вложенности сканирования.
3. Максимальное количество запросов. В зависимости от возможностей сервера вы можете увеличить количество запросов, которое сервер делает в секунду, чтобы ускорить время загрузки отчета. Или сократить, чтобы уменьшить нагрузку на сервер сайта. По умолчанию установлено оптимальное количество — 5 запросов в секунду.
4. Максимальное количество редиректов. Позволяет указать максимальное количество редиректов, которoе наш краулер сможет просканировать во время аудита сайта.

Настройка отчета

При анализе параметров сайта SE Ranking ориентируется на актуальные рекомендации поисковых систем. В блоке «Настройки отчета» вы можете самостоятельно изменить параметры, которые учитываются системой при сканировании сайта и составлении отчета.

Отслеживаемые проверки

Вы можете указать, какие проблемы не будут учитываться в ходе аудита. Неотмеченные проблемы не будут внесены в отчет и не повлияют на общую оценку состояния сайта.