Website-Audit FAQ

Der häufigste Grund dafür, dass das Website-Audit nicht startet, ist, dass unser Bot durch die Firewall deiner Website blockiert wird.

Um einen reibungslosen Start des Scans sicherzustellen, stelle bitte sicher, dass unser Bot nicht durch die Firewall blockiert wird, indem du die IPs unseres Crawlers sowie den User-Agent (SEBot-WA) auf die Whitelist setzt.

Bitte beachte: Unser Bot arbeitet mit deutschen IP-Adressen. Sicherheitsregeln, die den Zugriff aus Deutschland blockieren, können die Whitelist-Einstellungen überschreiben.

Das Standardlimit für die Anzahl der gescannten Seiten liegt bei 1.000. Du kannst es in den Einstellungen des Tools anpassen.

Die Standardgeschwindigkeit beträgt 500 Anfragen pro Sekunde. Du kannst sie in den Einstellungen des Tools reduzieren.

Manche Server, CDNs und Sicherheitsdienste (zum Beispiel Cloudflare) blockieren oder drosseln den Audit-Crawler. Das Audit wird dadurch langsamer, bleibt hängen oder schlägt fehl. Die Lösung hängt davon ab, welchen Fehler du siehst.

Beginne bei allen diesen Fehlern hier. Setze die Crawler-IPs von SE Ranking und den User-Agent SEBot-WA auf die Whitelist, wie in der FAQ zur Verifizierung des SE Ranking Crawlers beschrieben. Wenn du Cloudflare nutzt, folge zusätzlich dem Abschnitt „Wie kann ich IPs von SE Ranking in Cloudflare whitelisten?“ weiter unten und deaktiviere den Bot Fight Mode. SEBot-WA ist der Standard-User-Agent. Wenn du in den Website-Audit-Einstellungen einen anderen ausgewählt hast, setze stattdessen diesen auf die Whitelist.

403 (Forbidden). Der Bot wird vollständig blockiert. Setze unsere IPs und den User-Agent wie oben beschrieben auf die Whitelist. Bleibt der Fehler bestehen, prüfe weitere Blockierregeln, die eine Whitelist überschreiben können, zum Beispiel regionsbezogene Sperren (unser Bot arbeitet mit deutschen IP-Adressen) oder Regeln, die Bots ohne JavaScript-Rendering blockieren.

403 besteht trotz Whitelisting weiterhin. Versuche es mit JavaScript-Rendering. Wenn das Whitelisting der IPs und des User-Agents nicht hilft, kann die Blockierung von einer Regel stammen, die Besucher mit einer JavaScript-Abfrage prüft. Ein manueller Test kann dabei erfolgreich sein, während das Audit weiterhin fehlschlägt. Eine Anfrage wie curl -I -A "SEBot-WA" https://yourdomain.com/ kann HTTP 200 zurückgeben, weil sie nicht geprüft wird, der Crawl dagegen schon. Wenn du das JavaScript-Rendering aktivierst, ruft das Audit deine Seiten über eine Browser-Sitzung ab, die JavaScript ausführt, statt über eine einfache HTTP-Anfrage. Damit lässt sich eine solche Prüfung unter Umständen umgehen. Öffne im Website-Audit die Settings, wechsle zum Tab Parser settings, aktiviere die Option für das JavaScript-Rendering und starte das Audit neu. Der Versuch lohnt sich, löst aber nicht jeden 403. Wenn die Blockierung eine andere Ursache als eine JavaScript-Prüfung hat, schlägt das Audit weiterhin fehl.

429 (Too Many Requests). Der Server drosselt den Crawler. Reduziere die Crawling-Geschwindigkeit, indem du die maximale Anzahl an Anfragen in den Website-Audit-Einstellungen verringerst.

503 (Service Unavailable) oder Timeout. Das ist ein serverseitiger Fehler mit mehreren möglichen Ursachen. Eine geringere Crawling-Geschwindigkeit (dieselben Einstellungen wie oben) hilft manchmal, weil ein schneller Crawl den Server stärker belasten kann, als er verkraftet. Löst das den Fehler nicht, muss dein Hosting-Anbieter die zugrunde liegende Ursache untersuchen.

Schlägt das Audit nach den passenden Schritten oben weiterhin fehl, wende dich bitte an unser Support-Team und gib die im Audit angezeigte Fehlermeldung an.

Ein ausgehender (externer) Link wird als defekt gemeldet, wenn die fremde Domain unserem Crawler einen 4XX-Status zurückgibt. Externe Links werden mit einer schlanken HEAD-Anfrage geprüft und nicht durch das vollständige Laden der Seite. Viele große Websites blockieren solche automatisierten Anfragen, prüfen sie zusätzlich ab oder weisen sie einfach zurück. Deshalb kann eine Seite, die sich in deinem Browser normal öffnet, dem Audit gegenüber trotzdem mit 403 oder 404 antworten. Für deine Besucher ist der Link nicht defekt, er wird im Bericht aber trotzdem gezählt und kann den Health-Score deiner Website senken.

Damit bestimmte fremde Domains nicht mehr auf diese Weise gemeldet werden, schließe sie in den Website-Audit-Einstellungen von der Prüfung externer Links aus. Öffne dazu die Settings, wechsle zum Tab Rules for scanning pages und trage die Domains oder URLs in den Block zum Ignorieren externer Links ein. Ausgeschlossene Adressen werden dann übersprungen, wenn externe Links zur Prüfung eingereiht werden, und die betroffenen Probleme verschwinden beim nächsten Audit aus dem Bericht. Diese Regel gilt nur für ausgehende Links. Sie ändert nicht, welche deiner eigenen Seiten gecrawlt werden. Das steuerst du über die separaten Regeln allow, disallow und hide path auf demselben Tab.

Standardmäßig verwendet das Website-Audit die Quelle Site pages: Es startet auf deiner Startseite und folgt jedem internen Link, den es findet, anstatt sich nur auf deine XML-Sitemap zu verlassen. Dadurch kann es auch Seiten erreichen und analysieren, die nicht in deiner Sitemap aufgeführt sind. Eine noindex-Anweisung fordert Suchmaschinen lediglich auf, eine Seite nicht zu indexieren, sie hindert einen Crawler jedoch nicht daran, sie abzurufen. Deshalb werden noindex-Seiten und nicht in der Sitemap enthaltene Seiten weiterhin gecrawlt und können für Probleme wie „HTML-Datei zu groß“ markiert werden.

Um einzugrenzen, was gecrawlt wird, öffne die Einstellungen des Tools und setze Source of pages auf XML sitemap (oder lade My list of pages hoch), sodass nur diese URLs gescannt werden, füge disallow paths hinzu, um bestimmte Verzeichnisse auszuschließen, und lasse die Option Ignore Noindex deaktiviert, damit noindex-Seiten übersprungen werden.

Diese Anleitung ist besonders wichtig, wenn du das Website-Audit und den On-Page SEO Checker von SE Ranking aktiv nutzt.

Die Cloudflare Firewall schützt vor Schwachstellen wie schädlichem eingehendem Traffic. Manchmal blockieren ihre automatischen Regeln unsere Crawler und verhindern, dass die Bots von SE Ranking deine Website crawlen.

Du kannst diese Einschränkung leicht aufheben, denn Cloudflare bietet Nutzern viel Flexibilität. Folge einfach diesen Schritten:

1. Melde dich im Cloudflare-Dashboard an und wähle dein Konto sowie deine Domain aus.
2. Gehe zum Bereich Security > klicke auf WAF > wähle den Unterbereich Tools.
3. Gib unter IP Access Rules zuerst eine der IPs von SE Ranking ein. Die Regel muss für jede Crawler-IP separat angelegt werden.

Wähle als Aktion Skip. Lege anschließend unter Zone fest, ob die Regel nur für die aktuelle Website oder für alle Websites im Konto gelten soll.

Wiederhole diese Schritte anschließend für die übrigen IPs.

Das war's! Weitere Informationen findest du im offiziellen Cloudflare-Guide.

Das Website-Audit startet automatisch, sobald du ein neues Projekt erstellst. Um das Audit erneut zu starten, klicke auf die entsprechende Schaltfläche im Modul Website-Audit. Außerdem kannst du in den Einstellungen einen Zeitplan für automatische Überprüfungen einrichten, einmal pro Woche oder pro Monat. Jeder Durchlauf ist ein vollständig neuer Crawl, Ergebnisse aus einem früheren Audit werden nicht wiederverwendet. Eine Korrektur, die du veröffentlicht hast, wird deshalb erfasst, sobald das nächste Audit abgeschlossen ist.

Da deine Website anhand von Dutzenden Parametern geprüft wird, lässt sich nicht exakt vorhersagen, wie lange das System für das Audit braucht. Die Dauer hängt von der Anzahl der Seiten und Bilder auf der Website ab, davon, ob in der robots.txt ein Crawl-Delay hinterlegt ist, sowie von der internen Warteschlange im System. Den Crawling-Fortschritt kannst du im Modul Website-Audit verfolgen.

Sobald der Audit-Bericht erstellt wurde, erhältst du eine Benachrichtigung per E-Mail.

Das Website-Audit scannt alle Seiten einer Website und liefert eine Analyse samt Vorschlägen zur Behebung der gefundenen Probleme. Ein Beispiel für den Bericht findest du hier.

Der On-Page SEO Checker prüft eine bestimmte URL und bewertet, wie gut sie für eine bestimmte Suchanfrage optimiert ist. Er erkennt Fehler, die sich negativ auf das Ranking dieser Seite in Suchmaschinen auswirken. Ein Beispiel für den Bericht findest du hier.

Um das zu bestätigen, musst du wissen, wie du den SE Ranking Crawler verifizierst. Sieh dir dazu unseren Kurzleitfaden an, der das Vorgehen erklärt. Standardmäßig sendet der Crawler des Website-Audits den User-Agent SEBot-WA. Nach diesem Wert suchst du in deinen Server-Logs und diesen Wert erlaubst du in deinen Firewall-Regeln. Wenn du in den Einstellungen des Tools einen anderen User-Agent ausgewählt hast, suche stattdessen nach diesem.

Ein eigenständiges Audit (ohne Projekt) kannst du teilen, indem du seinen PDF-Bericht herunterlädst oder den Bericht per E-Mail versendest (auch an die E-Mail-Adresse eines Sub-Accounts), wie unter Das Website-Audit verwenden beschrieben. Das direkte Zuweisen oder Teilen eines eigenständigen Audits mit einem Sub-Account innerhalb des Tools wird derzeit nicht unterstützt.