La “araña” o crawler de SE Ranking se utiliza para rastrear sitios web para las herramientas de Auditoría Web y Comprobación de SEO On-Page. Por defecto, SE Ranking Crawler sigue las instrucciones especificadas en el archivo robots.txt. Sin embargo, esta configuración se puede cambiar en los ajustes del proyecto.
El user agent de nuestro rastreador es "SEBot-WA". Puedes comprobar si uno de los rastreadores web que utilizan tu servidor es realmente el rastreador de SE Ranking mediante uno de los métodos que se especifican a continuación.
Método de DNS inverso
Este es el método de verificación preferido. Todos los servidores utilizados por el crawler de SE Ranking tienen un nombre de dominio que es un subdominio de sr-srv.net (este dominio es propiedad y de uso exclusivo por SE Ranking).
Para comprobar que la dirección IP pertenece a al crawler de SE Ranking, sigue estos pasos:
Paso 1: Ejecuta una búsqueda DNS inversa en la dirección IP en cuestión:
Paso 2: Verifica que el nombre de dominio resultante sea el subdominio de sr-srv.net.
Paso 3: Ejecuta una búsqueda DNS directa en el nombre de dominio resultante:
$ host cloud106.sr-srv.netcloud106.sr-srv.net has address 144.76.237.123
Paso 4: Comprueba que la dirección IP resultante sea la misma que la dirección IP original proporcionada en el Paso 1.
Método de coincidencia de IP
Para verificar que la dirección IP pertenece al crawler de SE Ranking, compárala con la lista de direcciones IP que se especifican a continuación:
Direcciones IP actuales del crawler de SE Ranking
- 5.9.48.208
- 23.88.36.149
- 37.27.13.192
- 37.27.22.37
- 37.27.22.127
- 37.27.29.8
- 46.4.81.149
- 62.238.32.219
- 116.202.175.208
- 136.243.103.47
- 138.201.137.152
- 142.132.195.214
- 144.76.14.242
- 144.76.15.151
- 144.76.69.81
- 144.76.164.62
- 144.76.237.123
- 162.55.94.175
- 162.55.94.176
- 162.55.244.19
- 167.233.95.57
- 167.233.145.180
- 167.233.148.147
- 167.233.156.129
- 168.119.64.236
- 176.9.41.54
- 176.9.64.179
- 176.9.74.49
- 178.63.105.151
¿Sigues recibiendo un 403 después de añadir estas IP a la lista de permitidos? La lista anterior es una instantánea actual, pero las direcciones del crawler de SE Ranking se asignan de forma dinámica y pueden cambiar con el tiempo. En el caso de la Auditoría Web, algunas solicitudes también se enrutan a través de un grupo de proxies dedicado, por lo que una IP más reciente del crawler puede que aún no aparezca en esta lista. Para que una lista de permitidos siga funcionando cuando cambien las IP, permite el crawler por su user agent (SEBot-WA) o mediante el Método de DNS inverso anterior (cada host del crawler se resuelve bajo *.sr-srv.net), en lugar de basarte únicamente en una lista de IP fija. Comprueba también si tu firewall (o tu CDN/WAF) tiene reglas que puedan anular la lista de IP permitidas, por ejemplo, bloqueos por región, limitación de frecuencia o reglas de protección contra bots que sigan rechazando el crawler aunque sus IP estén en la lista de permitidos. Ten en cuenta que un rastreo también puede detenerse por las reglas del archivo robots.txt de tu sitio o, en sitios protegidos con contraseña, por la falta de autenticación HTTP en los ajustes de la auditoría. Estos casos son distintos de un 403 del servidor de origen.