La “araña” o crawler de SE Ranking se utiliza para rastrear sitios web para las herramientas de Auditoría Web y Comprobación de SEO On-Page. Por defecto, SE Ranking Crawler sigue las instrucciones especificadas en el archivo robots.txt. Sin embargo, esta configuración se puede cambiar en los ajustes del proyecto.
El user agent de nuestro rastreador es "SEBot-WA". Puedes comprobar si uno de los rastreadores web que utilizan tu servidor es realmente el rastreador de SE Ranking mediante uno de los métodos que se especifican a continuación.
Método de DNS inverso
Este es el método de verificación preferido. Todos los servidores utilizados por el crawler de SE Ranking tienen un nombre de dominio que es un subdominio de sr-srv.net (este dominio es propiedad y de uso exclusivo por SE Ranking).
Para comprobar que la dirección IP pertenece a al crawler de SE Ranking, sigue estos pasos:
Paso 1: Ejecuta una búsqueda DNS inversa en la dirección IP en cuestión:
Paso 2: Verifica que el nombre de dominio resultante sea el subdominio de sr-srv.net.
Paso 3: Ejecuta una búsqueda DNS directa en el nombre de dominio resultante:
$ host cloud106.sr-srv.netcloud106.sr-srv.net has address 144.76.237.123
Paso 4: Comprueba que la dirección IP resultante sea la misma que la dirección IP original proporcionada en el Paso 1.
Método de coincidencia de IP
Para verificar que la dirección IP pertenece al crawler de SE Ranking, compárala con la lista de direcciones IP que se especifican a continuación:
Direcciones IP actuales de SE Ranking Crawler
- 5.9.48.208
- 46.4.23.25
- 46.4.81.149
- 136.243.103.47
- 136.243.147.42
- 138.201.137.152
- 142.132.128.37
- 142.132.195.214
- 144.76.14.242
- 144.76.15.151
- 144.76.69.81
- 144.76.159.253
- 144.76.164.62
- 144.76.237.123
- 162.55.94.175
- 162.55.94.176
- 162.55.244.19
- 168.119.139.232
- 168.119.64.236
- 176.9.74.49