SERankingBacklinksBot クローラー – ナレッジベース

SERankingBacklinksBot 認証
 SERankingBacklinksBot のクロール動作
 SERankingBacklinksBot の管理方法
 SERankingBacklinksBot の IP アドレス
 その他の質問

SERankingBacklinksBot は、技術的および法的リスクを回避し、オンライン体験全体を向上させるため、サイトのリンク構造やウェブ上の相互リンクに関する情報を取得する支援を目的としてインターネットをクロールします。

SERankingBacklinksBot クローラーは、以下の形式のユーザーエージェントによって識別されます:

Mozilla/5.0 (compatible; SERankingBacklinksBot/1.0; +https://seranking.com/backlinks-crawler)

SERankingBacklinksBotの認証

SERankingBacklinksBotクローラーは常に前述のユーザーエージェントを使用します:
Mozilla/5.0 (compatible; SERankingBacklinksBot/1.0; +https://seranking.com/backlinks-crawler)

この識別方法は偽装の試みに脆弱です。リクエストの偽装が疑われる場合は、本セクションで説明する他の方法の導入をご検討ください。

リバースDNS:

ボットのIPアドレスに対するリバースDNSルックアップでは、*.seranking.comドメインのワイルドカードサブドメインのいずれかが表示されるはずです。

SERankingBacklinksBot のクロール動作

当社のボットのクロールプロセスを定義する主な仕様は以下の通りです:

SERankingBacklinksBot はサイトに非常に優しいクローラーです。デフォルトでは、robots.txt に特定のクロールディレイが設定されていない場合、またはファイルが見つからない場合（例：200以外のステータスコードで返される）、デフォルトのクロールディレイは3秒です。
SERankingBacklinksBot は常に robots.txt ファイルで指定されたルールを順守します。
SERankingBacklinksBot は、一般の訪問者がアクセス可能な公開情報のみを収集します。クローラーが機密情報を収集していると思われる場合は、公開アクセスから該当情報を削除してください。
SERankingBacklinksBot は、あなたのサイトからページ上のリンク以外の情報を読み取ったり、解析したり、収集したり、保存したりすることはありません。これは、テキスト、グラフィック、動画素材、その他ページ上のあらゆる要素を指します。

問題が発生した場合、それはあなたのサイトの特性、またはあなたのサイトへリンクしている他サイトのバグが原因である可能性があります。SERankingBacklinksBotに問題がある場合は、 crawler@seranking.com までご連絡ください。あなたのサイトに特化した設定を迅速に作成し、クロールがサイトのパフォーマンスに影響を与えないようにします。

robots.txtによるSERankingBacklinksBotの管理

robots.txtファイルがアクセス可能でHTTP 200 OKステータスコードを返すことを確認してください。そうでない場合、Googleボットの動作をエミュレートするSERankingBacklinksBotは、そのファイルが存在しないとみなします。

robots.txtファイルを使用すると、以下の例に示すように、SERankingBacklinksBotのクロールディレイを調整したり、サイトの一部または全体へのアクセスをブロックしたりできます。サイトのパフォーマンスを維持しつつ、SERankingBacklinksBotが必要なリンク情報を収集し、インターネット上でのサイトの可視性を高められるよう、まずはクロールディレイの調整をお勧めします。

ボットの速度を遅くする方法:

User-agent: SERankingBacklinksBot
Crawl-delay: 10

サイトの特定セクションをブロックする方法:

User-agent: SERankingBacklinksBot
Disallow: /private/
Disallow: /messages/

サイト全体をブロックする方法:

User-agent: SERankingBacklinksBot
Disallow: /

ご注意: robots.txtに変更を加えた場合、クローラーがウェブサイトのクロールを完全に停止するまで最大1日かかることがあります。これは、一部のページが既に処理キューに入っている可能性があるためであり、クローラーが即時停止することをお約束できません。ただし、最大1日後には完全にクロールが停止するはずです。

robots.txtプロトコルの概要については、 http://www.robotstxt.org をご参照ください。robots.txtルールの詳細や例については、ウィキペディアの記事もご覧ください。

SERankingBacklinksBot の IP アドレス

このサービスは、当社のウェブクローラーが使用する IP アドレスの最新リストを提供します。

ファイアウォール、.htaccess、その他のアクセス制御システムで当社のクローラーを許可リストに追加する際にご利用ください。

エンドポイント

https://api.seranking.com/backlinks-bot-ips

IP リストの取得

IPv4 アドレス（デフォルト）

JSON 形式:

https://api.seranking.com/backlinks-bot-ips

プレーンテキスト形式（1行につき1つの IP）:

https://api.seranking.com/backlinks-bot-ips?txt=1

IPv6 アドレス

JSON 形式:

https://api.seranking.com/backlinks-bot-ips?v=6

プレーンテキスト形式（1行につき1つの IP）:

https://api.seranking.com/backlinks-bot-ips?v=6&txt=1

レスポンス形式

JSON（デフォルト）:

{"data": ["95.217.114.179", "37.27.55.74", "135.181.166.58", "..."]}

プレーンテキスト（?txt=1）:

95.217.114.179
37.27.55.74
135.181.166.58
...

使用例

curl を使用して IPv4 のプレーンテキストリストを取得:

curl https://api.seranking.com/backlinks-bot-ips?txt=1

ダウンロードしてファイルに保存:

curl -o crawler-ips.txt https://api.seranking.com/backlinks-bot-ips?txt=1

このリストは当社のクローラーインフラの現在の状態を反映しており、常に最新の状態に保たれています。

お問い合わせ

クローラーの運用に関するフィードバックは真摯に受け止め、迅速かつ適切に対応いたします。お気軽に crawler@seranking.com までご連絡ください。直ちに調査いたします。