РАСПИСАНИЕ
ИСТОЧНИК СТРАНИЦ ДЛЯ АНАЛИЗА
ПРАВИЛА СКАНИРОВАНИЯ
НАСТРОЙКИ ПАРСЕРА
ЛИМИТЫ И ОГРАНИЧЕНИЯ
НАСТРОЙКА ОТЧЕТА
За счет гибких настроек вы можете полностью управлять процессом и результатом аудита сайта. В блок настроек можно попасть из любого раздела инструмента.
Расписание
В этом блоке настроек вы можете установить частоту сканирования сайта. Доступные опции:
1. Запуск аудита вручную. Если вы выберете эту опцию, для аудита вам нужно будет нажать на кнопку «Перезапустить проверку» в любом из разделов «Анализа сайта» .
2. Еженедельно. Аудит будет запускаться еженедельно в выбранные вами день недели и время.
3. Ежемесячно. Аудит будет проводиться раз в месяц в установленные день и время.
Время в сервисе указано по часовому поясу GMT.
При этом вы всегда можете запустить аудит вручную несмотря на установленные автоматические проверки.
Источник страниц для аудита сайта
В этом блоке настроек вы можете определить, какие именно страницы будет сканировать система.Возможные варианты:
- Страницы сайта. Система просканирует все страницы сайта, начиная с главной и переходя по внутренним ссылкам, не включая поддомены.
- Поддомены сайта. Система просканирует все страницы сайта, включая поддомены и их страницы.
- XML-карта сайта. Система проверит все страницы, указанные в XML-карте.
4. Мой список страниц. Вы можете добавить свой список страниц сайта для проверки. Загрузите файл в формате .txt или .csv. Каждый URL-адрес должен быть указан с новой строки.
Правила сканирования страниц
В этом блоке настроек вы можете установить правила для сканирования страниц сайта.Например:
1. Учитывать директивы robots.txt. При выборе этой опции робот будет сканировать сайт согласно списку действующих инструкций в файле robots.txt. В обратном случае робот будет игнорировать инструкции в файле robots.txt.
2. Игнорировать Noindex. При включении этой опции сервис будет сканировать страницы, игнорируя директиву noindex (в формате метатега или заголовка ответа HTTP).
3. Игнорировать Nofollow. Выбрав эту опцию, вы даете указание краулеру SE Ranking переходить по ссылкам на странице, игнорируя директиву nofollow (в формате метатега, заголовка ответа HTTP или атрибута ссылки).
4. Allow/disallow URLs. Директивы Disallow имеют приоритет над директивами Allow. Если вы хотите полностью убрать упоминания ресурсов и страниц, добавьте их в скрытые.
5. Игнорировать параметры URL. Тут вы можете указать, какие UTM-метки следует игнорировать в URL-адресах страниц при сканировании. Вы можете исключить все параметры или выбрать их вручную.
Настройки парсера
Инструмент дает возможность выбрать бота для сканирования, включить рендеринг JavaScript, а также предоставить доступ к страницам, закрытым для поисковых роботов.
1. Выберите имя User Agent
По умолчанию установлен SE Ranking bot. Если анализируемый сайт закрыт для нашего бота, вы можете выбрать любой другой из предложенного списка. Независимо от того, какой User Agent выбран, все страницы вашего сайта будут просканированы (даже если вы выбрали Googlebot-Image).
2. Рендеринг JavaScript (рендеринг на стороне клиента)
Включение этой опции позволяет сканировать сайты, на которых основное содержимое загружается и отображается с помощью JavaScript. Если опция отключена, инструмент не сможет распознать динамически загружаемый контент, что приведет к неполному аудиту сайта.
3. Авторизация на страницах с ограниченным доступом
Вы можете просканировать закрытые страницы сайта. Для этого предоставьте доступ нашему боту, указав логин и пароль в соответствующих полях.
Лимиты и ограничения
Этот блок позволит вам настроить лимиты и ограничения для сканирования. Для каждого сайта в вашем аккаунте можно устанавливать свои ограничения.
Доступные настройки:
- Максимальное количество страниц для сканирования. Выберите количество согласно вашему тарифному плану.
- Максимальная глубина сканирования. Выберите глубину вложенности сканирования.
- Максимальное количество запросов. В зависимости от возможностей сервера вы можете увеличить количество запросов, которое сервер делает в секунду, чтобы ускорить время загрузки отчета. Или сократить, чтобы уменьшить нагрузку на сервер сайта. По умолчанию установлено оптимальное количество — 5 запросов в секунду.
- Максимальное количество редиректов. Позволяет указать максимальное количество редиректов, которoе наш краулер сможет просканировать во время аудита сайта.
Настройка отчета
При анализе параметров сайта SE Ranking ориентируется на актуальные рекомендации поисковых систем. В блоке «Настройки отчета» вы можете самостоятельно изменить параметры, которые учитываются системой при сканировании сайта и составлении отчета.