Le Crawler SE Ranking est utilisé pour analyser les sites web via les outils d'Audit de Site Web et de Vérificateur SEO On-Page. Par défaut, le robot d’exploration SE Ranking suit les instructions définies dans le fichier robots.txt. Cependant, ce paramètre peut être modifié dans la configuration du projet.
L’agent utilisateur de notre crawler est "SEBot-WA". Vous pouvez vérifier si un crawler utilisant votre serveur est réellement un Crawler SE Ranking en utilisant l'une des méthodes spécifiées ci-dessous.
Méthode DNS inverse
C'est la méthode recommandée. Tous les serveurs du Crawler SE Ranking utilisent un sous-domaine de sr-srv.net (ce domaine appartient et est exclusivement utilisé par SE Ranking).
Pour confirmer que l'adresse IP appartient à SE Ranking, suivez les étapes ci-dessous :
Étape 1 : Exécutez une recherche DNS inverse sur l'adresse IP :
Étape 2 : Vérifiez que le nom de domaine est un sous-domaine de sr-srv.net.
Étape 3 : Effectuez une recherche DNS directe sur le nom de domaine obtenu :
$ host cloud106.sr-srv.netcloud106.sr-srv.net has address 144.76.237.123
Étape 4 : Assurez-vous que l'adresse IP obtenue est identique à l'adresse IP initiale de l'étape 1.
Méthode de correspondance d'IP
Pour vérifier que l'adresse IP appartient au Crawler SE Ranking, comparez-la avec la liste des adresses IP spécifiées ci-dessous :
Adresses IP actuelles du crawler de SE Ranking
- 5.9.48.208
- 23.88.36.149
- 37.27.13.192
- 37.27.22.37
- 37.27.22.127
- 37.27.29.8
- 46.4.81.149
- 62.238.32.219
- 116.202.175.208
- 136.243.103.47
- 138.201.137.152
- 142.132.195.214
- 144.76.14.242
- 144.76.15.151
- 144.76.69.81
- 144.76.164.62
- 144.76.237.123
- 162.55.94.175
- 162.55.94.176
- 162.55.244.19
- 167.233.95.57
- 167.233.145.180
- 167.233.148.147
- 167.233.156.129
- 168.119.64.236
- 176.9.41.54
- 176.9.64.179
- 176.9.74.49
- 178.63.105.151
Vous obtenez toujours une erreur 403 après avoir ajouté ces adresses IP à votre liste d'autorisation ? La liste ci-dessus est un instantané actuel, mais les adresses du Crawler SE Ranking sont attribuées de façon dynamique et peuvent changer au fil du temps. Pour l'Audit de Site Web, certaines requêtes passent également par un pool de proxys dédié, si bien qu'une nouvelle adresse IP du crawler peut ne pas encore figurer dans cette liste. Pour qu'une liste d'autorisation continue de fonctionner lorsque les adresses IP changent, autorisez le crawler par son agent utilisateur (SEBot-WA) ou par la Méthode DNS inverse ci-dessus (chaque hôte du crawler est résolu sous *.sr-srv.net), plutôt que de vous fier uniquement à une liste d'adresses IP fixe. Vérifiez également si votre pare-feu (ou votre CDN/WAF) comporte des règles susceptibles de remplacer la liste d'adresses IP autorisées, par exemple un blocage par région, une limitation du débit ou des règles de protection contre les bots qui rejettent le crawler même lorsque ses adresses IP sont autorisées. Notez qu'une exploration peut aussi être interrompue par les règles du fichier robots.txt de votre site ou, sur les sites protégés par mot de passe, par l'absence d'authentification HTTP dans les paramètres de l'audit. Ces cas sont distincts d'une erreur 403 renvoyée par le serveur d'origine.