Настройки Анализа сайта

За счет гибких настроек вы можете полностью управлять процессом и результатом анализа сайта. В блок настроек можно попасть из любого раздела инструмента.

Расписание

В этом блоке настроек вы можете установить частоту сканирования сайта.

Доступные опции:

1. Запуск аудита вручную. Если вы выберете эту опцию, для аудита вам нужно будет нажать на кнопку «Перезапустить проверку» в любом из разделов «Анализа сайта».

2. Еженедельно. Аудит будет запускаться еженедельно в выбранные вами день недели и время.

3. Ежемесячно. Аудит будет проводиться раз в месяц в установленные день и время.

Время в сервисе указано по часовому поясу GMT.

При этом вы всегда можете запустить аудит вручную несмотря на установленные автоматические проверки.

Источник страниц для анализа сайта

В этом блоке настроек вы можете определить, какие именно страницы будет сканировать система.

Возможные варианты:

1. Страницы сайта. Система просканирует все страницы сайта, начиная с главной и переходя по внутренним ссылкам, не включая поддомены.
2. Поддомены сайта. Система просканирует все страницы сайта, включая поддомены и их страницы.
3. XML-карта сайта. Система проверит все страницы, указанные в XML-карте.

После первого аудита сервис автоматически найдет XML-карту, если она находится по адресу domain.com/sitemap.xml. Вы также можете добавить ссылку на XML-карту вручную, кликнув на «Добавить sitemap». После добавления ссылки сохраните изменения.

4. Мой список страниц. Вы можете добавить свой список страниц сайта для проверки. Загрузите файл в формате .txt или .csv. Каждый URL-адрес должен быть указан с новой строки.

Правила сканирования страниц

В этом блоке настроек вы можете установить правила для сканирования страниц сайта.

Например:

1. Учитывать директивы robots.txt. При выборе этой опции робот будет сканировать сайт согласно списку действующих инструкций в файле robots.txt. В обратном случае робот будет игнорировать инструкции в файле robots.txt.

2. Игнорировать Noindex. При включении этой опции сервис будет сканировать страницы, игнорируя директиву noindex (в формате метатега или заголовка ответа HTTP).

3. Игнорировать Nofollow. Выбрав эту опцию, вы даете указание краулеру SE Ranking переходить по ссылкам на странице, игнорируя директиву nofollow (в формате метатега, заголовка ответа HTTP или атрибута ссылки).

4. Дополнительные правила. С помощью этой настройки вы можете дополнительно разрешить или запретить краулеру SE Ranking сканировать определенные директории сайта. Для этого нажмите на кнопку «Добавить правило».

5. Игнорировать параметры URL. Тут вы можете указать, какие UTM-метки следует игнорировать в URL-адресах страниц при сканировании. Вы можете исключить все параметры или выбрать их вручную.

Настройки парсера

Инструмент дает возможность выбрать бота для сканирования, а также предоставить доступ к страницам, закрытым для поисковых роботов.

1. Выберите имя User Agent.

По умолчанию установлен SE Ranking bot. Если анализируемый сайт закрыт для нашего бота, вы можете выбрать любой другой из предложенного списка. Независимо от того, какой User Agent выбран, все страницы вашего сайта будут просканированы (даже если вы выбрали Googlebot-Image).

2. Авторизация на страницах с ограниченным доступом.

Вы можете просканировать закрытые страницы сайта. Для этого предоставьте доступ нашему боту, указав логин и пароль в соответствующих полях.

Лимиты и ограничения

Этот блок позволит вам настроить лимиты и ограничения для сканирования. Для каждого сайта в вашем аккаунте можно устанавливать свои ограничения.

Доступные настройки:

1. Максимальное количество страниц для сканирования. Выберите количество согласно вашему тарифному плану.
2. Максимальная глубина сканирования. Выберите глубину вложенности сканирования.
3. Максимальное количество запросов. В зависимости от возможностей сервера вы можете увеличить количество запросов, которое сервер делает в секунду, чтобы ускорить время загрузки отчета. Или сократить, чтобы уменьшить нагрузку на сервер сайта. По умолчанию установлено оптимальное количество — 5 запросов в секунду.

Настройка отчета

При анализе параметров сайта SE Ranking ориентируется на актуальные рекомендации поисковых систем. В блоке «Настройки отчета» вы можете самостоятельно изменить параметры, которые учитываются системой при сканировании сайта и составлении отчета.