Поисковый робот SE Ranking используется в инструментах «Аудита сайта» и «SEO-проверки страницы». По умолчанию SE Ranking Crawler следует инструкциям, указанным в файле robots.txt. Однако это поведение можно изменить в настройках проекта.
Юзерагент нашего краулера "SEBot-WA". Вы можете самостоятельно верифицировать, что используемый вашим сервером краулер действительно является SE Ranking Crawler, используя один из описанных ниже методов.
Метод обратного DNS
Рекомендуем в первую очередь использовать именно этот вариант. Все серверы, используемые нашим SE Ranking Crawler, имеют доменное имя, которое является поддоменом sr-srv.net (этот домен принадлежит и используется исключительно SE Ranking).
Чтобы проверить, что IP-адрес принадлежит SE Ranking Crawler, сделайте следующее:
Шаг 1: Выполните обратный просмотр DNS для IP-адреса, в котором вы сомневаетесь.
Шаг 2: Убедитесь, что обнаруженное доменное имя является поддоменом sr-srv.net.
Шаг 3: Выполните прямой просмотр DNS обнаруженного имени домена.
$ host cloud106.sr-srv.netcloud106.sr-srv.net has address 144.76.237.123
Шаг 4: Убедитесь, что обнаруженный IP-адрес не отличается от того, который вы проверяли на первом шаге.
Метод сопоставления IP-адресов
Чтобы убедиться, что IP-адрес принадлежит SE Ranking Crawler, сопоставьте его со списком IP-адресов, приведенным ниже:
Текущие IP-адреса краулера SE Ranking
- 5.9.48.208
- 23.88.36.149
- 37.27.13.192
- 37.27.22.37
- 37.27.22.127
- 37.27.29.8
- 46.4.81.149
- 62.238.32.219
- 116.202.175.208
- 136.243.103.47
- 138.201.137.152
- 142.132.195.214
- 144.76.14.242
- 144.76.15.151
- 144.76.69.81
- 144.76.164.62
- 144.76.237.123
- 162.55.94.175
- 162.55.94.176
- 162.55.244.19
- 167.233.95.57
- 167.233.145.180
- 167.233.148.147
- 167.233.156.129
- 168.119.64.236
- 176.9.41.54
- 176.9.64.179
- 176.9.74.49
- 178.63.105.151
Всё ещё получаете ошибку 403 после добавления этих IP-адресов в список разрешённых? Приведённый выше список представляет собой актуальный снимок на текущий момент, но адреса SE Ranking Crawler назначаются динамически и со временем могут меняться. Для «Аудита сайта» часть запросов также направляется через выделенный пул прокси, поэтому более новый IP-адрес краулера может ещё не появиться в этом списке. Чтобы список разрешённых адресов продолжал работать при смене IP-адресов, разрешайте краулер по его юзерагенту (SEBot-WA) или с помощью Метода обратного DNS выше (каждый хост краулера разрешается в поддомен *.sr-srv.net), а не полагайтесь только на фиксированный список IP-адресов. Также проверьте, нет ли в вашем файрволе (или CDN/WAF) правил, которые могут переопределить список разрешённых IP-адресов, например блокировки по регионам, ограничения частоты запросов или правил защиты от ботов, которые отклоняют краулер, даже если его IP-адреса добавлены в список разрешённых. Обратите внимание, что сканирование также может быть остановлено правилами файла robots.txt вашего сайта или, на сайтах с защитой паролем, из-за отсутствия HTTP-аутентификации в настройках аудита. Это не то же самое, что ошибка 403 от исходного сервера.