SERankingBacklinksBot クローラー – ナレッジベース

SERankingBacklinksBot 認証
 SERankingBacklinksBot のクロール動作
 SERankingBacklinksBot の管理方法
 SERankingBacklinksBot の IP アドレス
 その他の質問

SERankingBacklinksBot は、技術的および法的リスクを回避し、オンライン体験全体を向上させるため、サイトのリンク構造やウェブ上の相互リンクに関する情報を取得する支援を目的としてインターネットをクロールします。

SERankingBacklinksBot クローラーは、以下の形式のユーザーエージェントによって識別されます:

Mozilla/5.0 (compatible; SERankingBacklinksBot/1.0; +https://seranking.com/backlinks-crawler)

SERankingBacklinksBotの認証

SERankingBacklinksBotクローラーは常に前述のユーザーエージェントを使用します:
Mozilla/5.0 (compatible; SERankingBacklinksBot/1.0; +https://seranking.com/backlinks-crawler)

この識別方法は偽装の試みに脆弱です。リクエストの偽装が疑われる場合は、本セクションで説明する他の方法の導入をご検討ください。

リバースDNS:

ボットのIPアドレスに対するリバースDNSルックアップでは、*.seranking.comドメインのワイルドカードサブドメインのいずれかが表示されるはずです。

SERankingBacklinksBot のクロール動作

当社のボットのクロールプロセスを定義する主な仕様は以下の通りです:

SERankingBacklinksBot はサイトに非常に優しいクローラーです。デフォルトでは、robots.txt に特定のクロールディレイが設定されていない場合、またはファイルが見つからない場合（例：200以外のステータスコードで返される）、デフォルトのクロールディレイは3秒です。
SERankingBacklinksBot は常に robots.txt ファイルで指定されたルールを順守します。
SERankingBacklinksBot は、一般の訪問者がアクセス可能な公開情報のみを収集します。クローラーが機密情報を収集していると思われる場合は、公開アクセスから該当情報を削除してください。
SERankingBacklinksBot は、あなたのサイトからページ上のリンク以外の情報を読み取ったり、解析したり、収集したり、保存したりすることはありません。これは、テキスト、グラフィック、動画素材、その他ページ上のあらゆる要素を指します。

問題が発生した場合、それはあなたのサイトの特性、またはあなたのサイトへリンクしている他サイトのバグが原因である可能性があります。SERankingBacklinksBotに問題がある場合は、 crawler@seranking.com までご連絡ください。あなたのサイトに特化した設定を迅速に作成し、クロールがサイトのパフォーマンスに影響を与えないようにします。

robots.txtによるSERankingBacklinksBotの管理

robots.txtファイルがアクセス可能でHTTP 200 OKステータスコードを返すことを確認してください。そうでない場合、Googleボットの動作をエミュレートするSERankingBacklinksBotは、そのファイルが存在しないとみなします。

robots.txtファイルを使用すると、以下の例に示すように、SERankingBacklinksBotのクロールディレイを調整したり、サイトの一部または全体へのアクセスをブロックしたりできます。サイトのパフォーマンスを維持しつつ、SERankingBacklinksBotが必要なリンク情報を収集し、インターネット上でのサイトの可視性を高められるよう、まずはクロールディレイの調整をお勧めします。

ボットの速度を遅くする方法:

User-agent: SERankingBacklinksBot
Crawl-delay: 10

サイトの特定セクションをブロックする方法:

User-agent: SERankingBacklinksBot
Disallow: /private/
Disallow: /messages/

サイト全体をブロックする方法:

User-agent: SERankingBacklinksBot
Disallow: /

ご注意: robots.txtに変更を加えた場合、クローラーがウェブサイトのクロールを完全に停止するまで最大1日かかることがあります。これは、一部のページが既に処理中のキューとして動作している可能性があるためであり、クローラーが即時停止することをお約束できません。ただし、最大1日後には完全にクロールが停止するはずです。

robots.txtプロトコルの概要については、 http://www.robotstxt.org をご参照ください。robots.txtルールの詳細や例については、ウィキペディアの記事もご覧ください。

SERankingBacklinksBot の IP アドレス

IP アドレスは変更される場合があり、ウェブページでの更新がすぐに反映されないことがあります。

IPv4

5.9.120.100
5.9.120.135
5.9.120.220
5.9.120.41
5.9.120.8
5.9.120.88
37.27.51.131
37.27.51.139
37.27.51.140
37.27.51.141
37.27.51.142
37.27.51.143
37.27.51.144
37.27.51.145
37.27.51.146
37.27.51.147
37.27.55.110
37.27.55.74
37.27.59.134
37.27.59.176
65.109.100.155

65.109.100.157
95.217.114.145
95.217.114.159
95.217.114.173
95.217.114.179
135.181.166.38
135.181.166.58
135.181.3.228
135.181.3.246
144.76.19.11
144.76.19.146
144.76.19.147
144.76.19.148
144.76.19.149
144.76.19.157
144.76.19.24
144.76.19.27
144.76.19.28
144.76.19.3
144.76.19.70

144.76.19.72
144.76.19.75
144.76.19.9
144.76.32.114
144.76.32.117
144.76.32.120
144.76.32.140
144.76.32.145
144.76.32.148
144.76.32.151
144.76.32.187
144.76.32.188
144.76.32.189
144.76.32.190
144.76.32.235
144.76.32.236
144.76.32.237
144.76.32.238
144.76.32.239
144.76.32.241

144.76.32.242
144.76.32.246
144.76.32.248
144.76.32.72
144.76.32.76
144.76.32.94
144.76.33.36
144.76.33.42
144.76.33.48
144.76.33.52
144.76.33.62

IPv6

2a01:4f8:162:7002::2
2a01:4f8:162:7064::2
2a01:4f8:162:70c7::2
2a01:4f8:191:1113::2
2a01:4f8:191:1114::2
2a01:4f8:191:1118::2
2a01:4f8:191:118b::2
2a01:4f8:191:118c::2
2a01:4f8:191:118d::2
2a01:4f8:191:118f::2
2a01:4f8:191:2346::2
2a01:4f8:191:234e::2
2a01:4f8:191:2362::2
2a01:4f8:191:23a1::2
2a01:4f8:191:23a2::2
2a01:4f8:191:23a3::2
2a01:4f8:191:23a4::2
2a01:4f8:191:23e6::2

2a01:4f8:191:23ec::2
2a01:4f8:191:23f0::2
2a01:4f8:191:23f1::2
2a01:4f8:191:23f2::2
2a01:4f8:191:23f5::2
2a01:4f8:191:23f9::2
2a01:4f9:3080:25a9::2
2a01:4f9:3081:3a29::2
2a01:4f9:3081:3a2a::2
2a01:4f9:3081:3a2b::2
2a01:4f9:3081:3a2c::2
2a01:4f9:3081:3df0::2
2a01:4f9:3081:4214::2
2a01:4f9:3a:1da6::2
2a01:4f9:4a:301f::2
2a01:4f9:4a:3020::2
2a01:4f9:4b:50a0::2

お問い合わせ

クローラーの運用に関するフィードバックは真摯に受け止め、迅速かつ適切に対応いたします。お気軽に crawler@seranking.com までご連絡ください。直ちに調査いたします。