Der BLEXBot-Crawler ist ein automatisierter Roboter, der Webseiten besucht, um deren Inhalte zu prüfen und zu analysieren. In dieser Hinsicht ähnelt er den Robots, die von großen Suchmaschinenunternehmen genutzt werden.
Der BLEXBot-Crawler ist an folgendem User-Agent erkennbar:
Mozilla/5.0 (compatible; BLEXBot/1.0; +https://help.seranking.com/en/blex-crawler)
Du kannst den BLEXBot-Crawler anhand des oben genannten User-Agents identifizieren. Wenn du den Verdacht hast, dass Anfragen gefälscht werden, überprüfe zunächst die IP-Adresse der Anfrage und führe eine Reverse-DNS-Suche durch, um den Domainnamen über geeignete Tools zu ermitteln – er sollte auf eine der Subdomains von *.seranking.com verweisen.
______________________
Wir kümmern uns um die Leistung deiner Website und werden ihr niemals schaden!
BLEXBot ist ein sehr webseitenfreundlicher Crawler. Wir haben ihn so „sanft“ wie möglich gestaltet: Er führt nur eine Anfrage alle 3 Sekunden aus oder noch seltener, wenn in deiner robots.txt-Datei ein anderes Crawling-Intervall angegeben ist. BLEXBot hält sich an die Regeln, die du in deiner robots.txt-Datei festgelegt hast.
Sollten Probleme auftreten, könnten diese auf Besonderheiten deiner Website oder auf einen Fehler auf einer anderen Website, die auf dich verweist, zurückzuführen sein. Daher bitten wir dich, falls du ein Problem mit BLEXBot bemerkst, uns dies unter crawler@seranking.com zu melden. Wir werden schnell individuelle Einstellungen für deine Website vornehmen, damit das Crawling deine Website-Performance nie beeinträchtigt.
______________________
Warum crawlt BLEXBot meine Website?
BLEXBot unterstützt Internet-Marketer dabei, Informationen über die Linkstruktur von Websites und deren Verlinkungen im Web zu sammeln, um technische und mögliche rechtliche Probleme zu vermeiden und das gesamte Online-Erlebnis zu verbessern. Dazu ist es notwendig, Seiten zu untersuchen oder zu crawlen, um alle Links im Inhalt zu sammeln und zu überprüfen.
Wenn der BLEXBot-Crawler deine Seite besucht hat, bedeutet dies, dass Links auf dieser Seite entweder noch nie gesammelt und geprüft wurden oder aktualisiert werden müssen. Deswegen wirst du keine wiederholten Anfragen von BLEXBot auf derselben Seite sehen.
Das Crawler-System wurde so entwickelt, dass es so freundlich wie möglich zu Websites ist. Dazu gehören die Begrenzung der Anfrageraten auf eine bestimmte Seite (BLEXBot führt nicht mehr als eine Anfrage alle 3 Sekunden aus) und das automatische Zurückziehen, wenn eine Website offline oder langsam ist.
______________________
Blockierung mit robots.txt
Zunächst einmal solltest du Folgendes über BLEXBot wissen:
- Erfasst nur öffentlich zugängliche Informationen, die von jedem beliebigen Besucher eingesehen werden können. Wenn du denkst, dass der Crawler sensible Informationen sammelt, entferne diese bitte aus dem öffentlichen Zugriff.
- Überlastet deine Website nicht und schadet ihr nicht – BLEXBot wurde so entwickelt, dass er äußerst „höflich“ agiert und maximal nur eine Anfrage alle 3 Sekunden stellt. Außerdem kannst du BLEXBot (sowie andere Robots/Crawler, die die Anweisungen in der robots.txt-Datei deiner Website beachten) problemlos verlangsamen.
- Liest, analysiert, sammelt oder speichert keine anderen Informationen von deiner Website außer den Links deiner Seiten. Dies betrifft keine Texte, Grafiken, Videomaterialien oder andere Inhalte auf deinen Seiten.
Mit einer robots.txt-Datei kannst du den Zugriff des BLEXBot-Crawlers auf Teile deiner Website oder auf die gesamte Website blockieren oder ihn verlangsamen. Beispiele dafür sind:
Blockiere bestimmte Bereiche deiner Website:
User-agent: BLEXBot
Disallow: /private/
Disallow: /messages/
Blockiere die gesamte Website:
User-agent: BLEXBot
Disallow: /
Verlangsamen des Crawlers:
User-agent: BLEXBot
Crawl-delay: 10
Wichtig: Wenn du Änderungen an deiner robots.txt-Datei vornimmst, gib dem Crawler bitte bis zu 10 Minuten Zeit, um das Crawlen deiner Website vollständig zu stoppen. Dies liegt daran, dass einige Seiten möglicherweise bereits in der Bearbeitungswarteschlange sind. Wir können daher nicht garantieren, dass der Crawler sofort aufhört. Nach spätestens 10 Minuten sollte das Crawlen jedoch vollständig eingestellt sein.
Für eine allgemeine Einführung in das robots.txt-Protokoll besuche bitte robotstxt.org. Weitere Details und Beispiele für robots.txt-Regeln findest du auch im Wikipedia-Artikel.
______________________
Kontaktiere uns
Wir nehmen jede Anfrage, das Crawlen einer Website oder von Teilen davon zu unterlassen, sowie jegliches Feedback zu den Vorgängen des Crawlers ernst und handeln schnell und angemessen.
Falls dies auf dich zutrifft, zögere bitte nicht, uns unter crawler@seranking.com zu kontaktieren. Wir werden deine Website gerne ausschließen oder das Problem sofort untersuchen.