Der SE Ranking Crawler wird verwendet, um Websites für die Tools Website-Audit und On-Page-SEO-Checker zu crawlen. Standardmäßig folgt der SE Ranking Crawler den Anweisungen in der robots.txt-Datei. Du kannst dieses Verhalten jedoch in den Projekteinstellungen ändern.
Der User-Agent unseres Crawlers ist SEBot-WA. Du kannst überprüfen, ob ein Web-Crawler, der deinen Server verwendet, tatsächlich der SE Ranking Crawler ist, indem du eine der unten angegebenen Methoden anwendest.
Reverse DNS-Methode (empfohlen)
Alle vom SE Ranking Crawler verwendeten Server haben einen Domainnamen, der eine Subdomain von sr-srv.net ist (diese Domain gehört SE Ranking und wird ausschließlich von SE Ranking verwendet).
So überprüfst du, ob eine IP-Adresse zum SE Ranking Crawler gehört:
Schritt 1: Führe eine Reverse-DNS-Abfrage der fraglichen IP-Adresse durch:
Schritt 2: Überprüfe, ob der resultierende Domainname eine Subdomain von sr-srv.net ist.
Schritt 3: Führe eine Forward-DNS-Abfrage des resultierenden Domainnamens durch:
$ host cloud106.sr-srv.netcloud106.sr-srv.net has address 144.76.237.123
Schritt 4: Überprüfe, ob die resultierende IP-Adresse mit der ursprünglichen IP-Adresse aus Schritt 1 übereinstimmt.
IP-Matching-Methode
Um zu überprüfen, ob die IP-Adresse zum SE Ranking Crawler gehört, vergleiche sie mit der unten angegebenen Liste von IP-Adressen:
Aktuelle IP-Adressen des SE Ranking Crawlers
- 5.9.48.208
- 23.88.36.149
- 37.27.13.192
- 37.27.22.37
- 37.27.22.127
- 37.27.29.8
- 46.4.81.149
- 62.238.32.219
- 116.202.175.208
- 136.243.103.47
- 138.201.137.152
- 142.132.195.214
- 144.76.14.242
- 144.76.15.151
- 144.76.69.81
- 144.76.164.62
- 144.76.237.123
- 162.55.94.175
- 162.55.94.176
- 162.55.244.19
- 167.233.95.57
- 167.233.145.180
- 167.233.148.147
- 167.233.156.129
- 168.119.64.236
- 176.9.41.54
- 176.9.64.179
- 176.9.74.49
- 178.63.105.151
Erhältst du auch nach dem Whitelisting dieser IP-Adressen weiterhin einen 403? Die obige Liste ist eine aktuelle Momentaufnahme, aber die Adressen des SE Ranking Crawlers werden dynamisch vergeben und können sich im Laufe der Zeit ändern. Beim Website-Audit werden einige Anfragen zudem über einen dedizierten Proxy-Pool geleitet, sodass eine neuere Crawler-IP möglicherweise noch nicht in dieser Liste erscheint. Damit eine Zulassungsliste auch bei wechselnden IP-Adressen funktioniert, erlaube den Crawler über seinen User-Agent (SEBot-WA) oder über die Reverse DNS-Methode oben (jeder Crawler-Host wird unter *.sr-srv.net aufgelöst), statt dich allein auf eine feste IP-Liste zu verlassen. Prüfe außerdem, ob deine Firewall (oder dein CDN/WAF) Regeln enthält, die die IP-Zulassungsliste außer Kraft setzen können, zum Beispiel regionsspezifische Sperren, Rate-Limiting oder Bot-Schutzregeln, die den Crawler auch dann ablehnen, wenn seine IP-Adressen auf der Whitelist stehen. Beachte, dass ein Crawl auch durch die robots.txt-Regeln deiner Website oder, bei passwortgeschützten Seiten, durch eine fehlende HTTP-Authentifizierung in den Audit-Einstellungen gestoppt werden kann. Diese Fälle sind von einem 403 des Ursprungsservers zu unterscheiden.