SE Ranking クローラーは、ウェブサイト検査とオンページSEOチェッカーツールがウェブサイトをクロールする際に使用します。 標準の SE Ranking クローラーは、robots.txt ファイルで指定された指示に従います。ただし、この設定はプロジェクトの設定で変更することができます。
このクローラーのユーザーエージェントは "SEBot-WA"です。あなたのサーバーを使用しているウェブクローラーが本当にSE Rankingクローラーであるかどうかは、以下のいずれかの方法で確認することができます。
逆引きDNSを使用した方法
これは推奨される確認方法です。SE Rankingのクローラーが使用するすべてのサーバーのドメイン名は、sr-srv.netのサブドメインです（このドメインはSE Rankingが所有し、独占的に使用しています）。
IPアドレスがSE Ranking クローラーに属することを確認するには、以下の手順に従ってください:
Step 1: 疑わしいIPアドレスのDNS逆引きを実行します:
Step 2: 結果のドメイン名が sr-srv.net のサブドメインであるかどうかを確認します。
Step 3: 結果のドメイン名でDNSのフォワードルックアップを実行します:
$ host cloud106.sr-srv.netcloud106.sr-srv.net has address 144.76.237.123
Step 4: 結果のIPアドレスが、Step 1で提供されたオリジナルのIPアドレスと同じであることを確認します。
IP一致を使用した方法
そのIPアドレスがSE Ranking クローラーのものであることを確認するには、以下のIPアドレスのリストと照合してください:
現在のSE RankingクローラーのIPアドレス
- 5.9.48.208
- 23.88.36.149
- 37.27.13.192
- 37.27.22.37
- 37.27.22.127
- 37.27.29.8
- 46.4.81.149
- 62.238.32.219
- 116.202.175.208
- 136.243.103.47
- 138.201.137.152
- 142.132.195.214
- 144.76.14.242
- 144.76.15.151
- 144.76.69.81
- 144.76.164.62
- 144.76.237.123
- 162.55.94.175
- 162.55.94.176
- 162.55.244.19
- 167.233.95.57
- 167.233.145.180
- 167.233.148.147
- 167.233.156.129
- 168.119.64.236
- 176.9.41.54
- 176.9.64.179
- 176.9.74.49
- 178.63.105.151
これらのIPアドレスを許可リストに追加してもまだ403が返されますか？ 上記のリストは現時点のスナップショットですが、SE Ranking クローラーのアドレスは動的に割り当てられ、時間の経過とともに変わることがあります。ウェブサイト検査では、一部のリクエストが専用のプロキシプールを経由するため、新しいクローラーのIPがこのリストにまだ表示されていない場合があります。IPアドレスが変わっても機能する許可リストにするには、固定のIPリストだけに頼るのではなく、ユーザーエージェント（SEBot-WA）または上記の逆引きDNSを使用した方法でクローラーを許可してください（各クローラーホストは *.sr-srv.net の下で解決されます）。また、ファイアウォール（またはCDN/WAF）に、IP許可リストを上書きするルールがないかも確認してください。たとえば、地域別のブロック、レート制限、ボット対策ルールなどにより、IPアドレスを許可リストに登録していてもクローラーが拒否されることがあります。なお、クロールはサイトの robots.txt のルールによって、またはパスワード保護されたサイトでは検査設定でのHTTP認証の不足によって停止されることもあります。これらはオリジンサーバーの403とは異なります。