Верификация SERankingBacklinksBot
Информация о SERankingBacklinksBot Crawler
Как управлять SERankingBacklinksBot
IP-адреса SERankingBacklinksBot
Другие вопросы
SERankingBacklinksBot сканирует Интернет, чтобы помогать собирать информацию о структуре ссылок сайтов и их взаимосвязях в сети, избегать технических и возможных юридических проблем. Идентификация SERankingBacklinksBot осуществляется через user-agent следующего вида:
Mozilla/5.0 (compatible; SERankingBacklinksBot/1.0; +https://seranking.com/backlinks-crawler)
Верификация SERankingBacklinksBot
SERankingBacklinksBot всегда использует указанный выше user-agent:
Mozilla/5.0 (compatible; SERankingBacklinksBot/1.0; +https://seranking.com/backlinks-crawler)
Этот метод идентификации может быть уязвим к попыткам подмены. Если вы подозреваете, что запросы подделываются, рассмотрите использование дополнительных методов, описанных в этом разделе.
Reverse DNS
Reverse DNS lookup по IP бота должен показывать один из поддоменов *.seranking.com.
Информация о SERankingBacklinksBot Crawler
Ниже перечислены основные характеристики нашего бота, определяющие процесс его работы:
- SERankingBacklinksBot — дружелюбный к сайтам crawler. По умолчанию, если в robots.txt не указан Crawl-delay или файл недоступен (например, возвращает не 200 статус), стандартная задержка составляет 3 секунды.
- SERankingBacklinksBot всегда соблюдает правила, указанные в вашем robots.txt.
- SERankingBacklinksBot собирает только общедоступную информацию, доступную любому случайному посетителю. Если вы считаете, что crawler получает конфиденциальные данные, уберите их из публичного доступа.
- SERankingBacklinksBot не читает, не парсит, не собирает и не сохраняет никакую другую информацию с вашего сайта, кроме ссылок на ваших страницах. Это касается любых текстов, графических или видео материалов и любого другого контента на странице.
Если возникают проблемы, они могут быть вызваны особенностями вашего сайта или ошибкой на стороннем ресурсе, который содержит ссылку на вас. Если вы заметили любую проблему, связанную с SERankingBacklinksBot, пожалуйста, сообщите нам на crawler@seranking.com. Мы оперативно настроим индивидуальные параметры для вашего сайта, чтобы процесс сканирования никогда не влиял на его производительность.
Как управлять SERankingBacklinksBot через robots.txt
Убедитесь, что ваш robots.txt доступен и возвращает HTTP 200 OK. Если это не так, SERankingBacklinksBot, который имитирует поведение Google Bot, будет считать файл отсутствующим.
С помощью robots.txt вы можете настроить crawl delay для SERankingBacklinksBot или заблокировать доступ к частям сайта или ко всему сайту. Ниже приведены примеры. Мы рекомендуем сначала настроить crawl delay, чтобы сохранить производительность сайта, позволяя при этом SERankingBacklinksBot собирать необходимые данные о ссылках и улучшать видимость вашего сайта в Интернете.
Как замедлить бота:
User-agent: SERankingBacklinksBot
Crawl-delay: 10
Как заблокировать определённые разделы сайта:
User-agent: SERankingBacklinksBot
Disallow: /private/
Disallow: /messages/
Как заблокировать весь сайт:
User-agent: SERankingBacklinksBot
Disallow: /
Внимание: После внесения изменений в robots.txt, пожалуйста, дайте crawler до одного дня, чтобы полностью остановить сканирование вашего сайта. Это связано с тем, что некоторые страницы могут уже находиться в очереди обработки, поэтому немедленное прекращение не гарантируется. Однако в течение суток сканирование полностью остановится.
Для общего ознакомления с протоколом robots.txt, пожалуйста, посетите http://www.robotstxt.org. Также рекомендуем ознакомиться со статьёй Wikipedia для дополнительных примеров и деталей о правилах robots.txt.
IP-адреса SERankingBacklinksBot
Этот сервис предоставляет актуальный список IP-адресов, используемых нашими веб-краулерами.
Используйте его, чтобы добавить наших краулеров в белый список в firewall, .htaccess или любой другой системе контроля доступа.
Endpoint
https://api.seranking.com/backlinks-bot-ips
Получение списка IP-адресов
IPv4-адреса (по умолчанию)
JSON-формат:
https://api.seranking.com/backlinks-bot-ips
Обычный текст, по одному IP-адресу в строке:
https://api.seranking.com/backlinks-bot-ips?txt=1
IPv6-адреса
JSON-формат:
https://api.seranking.com/backlinks-bot-ips?v=6
Обычный текст, по одному IP-адресу в строке:
https://api.seranking.com/backlinks-bot-ips?v=6&txt=1
Форматы ответа
JSON (по умолчанию):
{"data": ["95.217.114.179", "37.27.55.74", "135.181.166.58", "..."]}
Обычный текст (?txt=1):
95.217.114.179 37.27.55.74 135.181.166.58 ...
Примеры использования
Получить IPv4-список в виде обычного текста через curl:
curl https://api.seranking.com/backlinks-bot-ips?txt=1
Скачать и сохранить в файл:
curl -o crawler-ips.txt https://api.seranking.com/backlinks-bot-ips?txt=1
Список отражает текущее состояние нашей crawler-инфраструктуры и всегда поддерживается в актуальном виде.
Свяжитесь с нами
Мы очень серьёзно относимся к любым отзывам, связанным с работой Crawler бота, и реагируем на них быстро и корректно. Пожалуйста, свяжитесь с нами через crawler@seranking.com, если у вас возникли вопросы.