Verifizierung von SERankingBacklinksBot
Crawling-Verhalten von SERankingBacklinksBot
Verwaltung von SERankingBacklinksBot
SERankingBacklinksBot IP-Adressen
Weitere Fragen
Der SERankingBacklinksBot durchsucht das Internet, um Informationen über die Linkstruktur von Websites und deren Verlinkungen im Web zu sammeln. Ziel ist es, technische oder rechtliche Probleme zu vermeiden und das allgemeine Online-Erlebnis zu verbessern.
Der SERankingBacklinksBot-Crawler wird anhand des folgenden User-Agent-Headers identifiziert:
Mozilla/5.0 (compatible; SERankingBacklinksBot/1.0; +https://seranking.com/backlinks-crawler)
Verifizierung von SERankingBacklinksBot
Der SERankingBacklinksBot verwendet immer den oben genannten User-Agent:
Mozilla/5.0 (compatible; SERankingBacklinksBot/1.0; +https://seranking.com/backlinks-crawler)
Da diese Identifikationsmethode anfällig für Imitationsversuche ist, empfehlen wir, bei Verdacht auf gefälschte Anfragen zusätzliche Überprüfungen vorzunehmen.
Reverse DNS:
Eine Reverse-DNS-Abfrage der IP-Adresse des Bots sollte eine Subdomain der Domain *.seranking.com zurückgeben.
Crawling-Verhalten von SERankingBacklinksBot
Die folgenden Punkte beschreiben das Crawling-Verhalten unseres Bots:
- Schonendes Crawling: SERankingBacklinksBot ist sehr ressourcenschonend. Wenn in deiner robots.txt kein Crawl-Delay festgelegt ist oder die Datei nicht gefunden wird (z. B. kein HTTP-Status 200), beträgt die Standardverzögerung 3 Sekunden zwischen den Anfragen.
- Respektiert robots.txt: Der Crawler beachtet immer die Regeln, die du in deiner robots.txt-Datei festlegst.
- Erfasst nur öffentlich zugängliche Daten: Der Bot sammelt ausschließlich Informationen, die öffentlich erreichbar sind. Wenn du glaubst, dass vertrauliche Inhalte erfasst werden, entferne diese bitte aus dem öffentlichen Zugriff.
- Keine Datenspeicherung außer Links: SERankingBacklinksBot liest, analysiert oder speichert keine Texte, Bilder, Videos oder sonstigen Inhalte deiner Website – lediglich die Links auf deinen Seiten.
Sollte es dennoch zu Problemen kommen, können diese durch Besonderheiten deiner Website oder durch fehlerhafte Verlinkungen anderer Seiten verursacht werden. Wenn du Auffälligkeiten im Verhalten des Crawlers bemerkst, sende bitte eine Nachricht an crawler@seranking.com. Wir passen die Einstellungen für deine Website individuell an, damit das Crawling die Performance deiner Seite nicht beeinträchtigt.
Verwaltung von SERankingBacklinksBot über robots.txt
Bitte stelle sicher, dass deine robots.txt-Datei erreichbar ist und den HTTP-Status 200 OK zurückgibt. Wenn dies nicht der Fall ist, betrachtet SERankingBacklinksBot – der das Verhalten des Google Bots nachahmt – die Datei als nicht vorhanden.
Mit einer robots.txt-Datei kannst du das Crawling-Verhalten des Bots steuern, z. B. durch Anpassen der Crawl-Delay-Zeit oder durch das Blockieren bestimmter Bereiche deiner Website. Wir empfehlen, zuerst den Crawl-Delay-Wert zu justieren, um die Performance deiner Website zu erhalten und gleichzeitig dem Bot das Sammeln wichtiger Link-Daten zu ermöglichen.
Crawling verlangsamen:
User-agent: SERankingBacklinksBot
Crawl-delay: 10
Bestimmte Bereiche blockieren:
User-agent: SERankingBacklinksBot
Disallow: /private/
Disallow: /messages/
Gesamte Website blockieren:
User-agent: SERankingBacklinksBot
Disallow: /
Wichtig: Nachdem du Änderungen an deiner robots.txt vorgenommen hast, gib dem Crawler bis zu 24 Stunden Zeit, um das Crawling vollständig zu stoppen. Manche Seiten können sich bereits in der Warteschlange befinden, daher kann ein sofortiger Stopp nicht garantiert werden. Nach spätestens einem Tag sollte das Crawling vollständig eingestellt sein.
Für eine allgemeine Einführung in das robots.txt-Protokoll besuche bitte http://www.robotstxt.org. Weitere Details und Beispiele findest du außerdem im entsprechenden Wikipedia-Artikel.
SERankingBacklinksBot IP-Adressen
Dieser Dienst stellt eine stets aktuelle Liste der IP-Adressen bereit, die von unseren Web-Crawlern verwendet werden.
Verwende sie, um unsere Crawler in deiner Firewall, .htaccess oder einem anderen Zugriffskontrollsystem auf die Whitelist zu setzen.
Endpoint
https://api.seranking.com/backlinks-bot-ips
IP-Liste abrufen
IPv4-Adressen (Standard)
JSON-Format:
https://api.seranking.com/backlinks-bot-ips
Klartext, eine IP-Adresse pro Zeile:
https://api.seranking.com/backlinks-bot-ips?txt=1
IPv6-Adressen
JSON-Format:
https://api.seranking.com/backlinks-bot-ips?v=6
Klartext, eine IP-Adresse pro Zeile:
https://api.seranking.com/backlinks-bot-ips?v=6&txt=1
Antwortformate
JSON (Standard):
{"data": ["95.217.114.179", "37.27.55.74", "135.181.166.58", "..."]}
Klartext (?txt=1):
95.217.114.179 37.27.55.74 135.181.166.58 ...
Anwendungsbeispiele
Klartextliste der IPv4-Adressen mit curl abrufen:
curl https://api.seranking.com/backlinks-bot-ips?txt=1
Herunterladen und in einer Datei speichern:
curl -o crawler-ips.txt https://api.seranking.com/backlinks-bot-ips?txt=1
Die Liste spiegelt den aktuellen Stand unserer Crawler-Infrastruktur wider und ist immer auf dem neuesten Stand.
Kontakt
Wir nehmen Feedback zum Verhalten unseres Crawlers sehr ernst und reagieren schnell und angemessen. Wenn du Anmerkungen oder Bedenken hast, wende dich bitte per E-Mail an crawler@seranking.com – unser Team kümmert sich umgehend um dein Anliegen.