BLEXBot クローラー – ナレッジベース

BLEXBot クローラーは、ページを訪問してコンテンツを調査・分析する自動ロボットです。そういった意味では、大手検索エンジン企業が使用するロボットと似ています。

BLEXBot クローラーは、以下の形式のユーザーエージェントを伴うことで識別されます:
Mozilla/5.0 (compatible; BLEXBot/1.0; +https://help.seranking.com/en/blex-crawler)

BLEXBot クローラーは、上記のユーザーエージェントによって識別できます。リクエストが偽装されている可能性があると思われる場合は、まずリクエストのIPアドレスを確認し、適切なツールを使用して逆引きDNS検索を行い、ドメイン名を確認してください。ドメイン名は、*.seranking.comのサブドメインのいずれかを指しているはずです。
_________________________________________________________________________

私たちは皆様のサイトのパフォーマンスを考慮し、決して傷つけることはありません！

BLEXbotは、サイトに非常にやさしいクローラーです。サイトをクロールする際には、できる限り「穏やかに」なるよう配慮して設計されています。3秒に1回の割合でリクエストを送信し、robots.txtファイルで別のクロール遅延が指定されている場合は、さらに低い頻度で送信します。BLEXbotは、robots.txtファイルで指定されたルールを尊重します。

もし問題が発生した場合は、あなたのサイトの特性によるものか、あなたのサイトにリンクしている他のサイトのバグによるものか、どちらかである可能性があります。そのため、BLEXbotに問題を発見した場合は、crawler@seranking.comまでご報告いただけますと幸いです。私たちは、あなたのサイトのクロールがサイトのパフォーマンスに影響を与えないよう、迅速に独自の設定を行います。
_________________________________________________________________________

なぜ私のサイトがクロールされているのでしょうか？

BLEXBotは、インターネットマーケティング担当者がウェブ上のサイトリンク構造や相互リンクに関する情報を取得し、技術的な問題や起こり得る法的問題を回避し、オンライン体験の全体的な向上を図ることを支援します。これを行うには、ページを検査またはクロールして、そのコンテンツ内のすべてのリンクを収集し、確認する必要があります。

BLEXBot クローラーが貴サイトを訪問したことがある場合、そのページではリンクが収集・テストされたことが一度もないか、リンクを更新する必要があることを意味します。このため、同じページで BLEXBot クローラーからのリクエストが繰り返されることはありません。

クローラシステムは、特定のサイトへのリクエストレートを制限する（BLEXBotは3秒間に1回以上のリクエストを行いません）など、可能な限りユーザーフレンドリーになるよう設計されています。また、サイトがダウンしていたり、動作が遅い場合には自動的に処理を中止します。_________________________________________________________________________

robots.txtによるブロック

最初に、BLEXBotの注意事項をご覧ください:

ランダムな訪問者がアクセスできる公開情報のみを収集します。クローラが機密情報を収集していると思われる場合は、その情報を公開アクセスから削除してください。
サイトに過負荷をかけて害を与えることはできません。BLEXBotは非常に礼儀正しい設計になっており、最大でも3秒に1回の実行しかできません。また、BLEXBot（および、サイトに設置されているrobots.txtファイルからの指示に従う他のロボット/クローラー）の実行スピードを簡単に下げることができます。
あなたのサイトから、あなたのページのリンク以外のいかなる情報も読み取ったり、解析したり、収集したり、保存したりすることはありません。これは、あなたのページ上のテキスト、画像、動画、その他のあらゆる情報を参照しています。

robots.txtファイルを使用すると、あなたのサイトの一部または全部からBLEXBotクローラーをブロックしたり、次の例のように、その動作を遅くしたりすることができます:

サイトの特定の部分をブロックする

User-agent: BLEXBot

Disallow: /private/

Disallow: /messages/

サイト全体をブロックする:

User-agent: BLEXBot

Disallow: /

クローラーを減速させる:

User-agent: BLEXBot

Crawl-delay: 10

注意: robots.txtを変更した場合は、クローラがウェブサイトをクロールしなくなるまで最大10分間お待ちください。これは、一部のページがすでに処理待ちのキューに入っており、クローラがすぐに停止できるとは限らないためです。ただし、最大でも10分後には完全にクロールが停止するはずです。

robots.txtプロトコルに関する一般的な紹介については次のページをご覧ください - http://www.robotstxt.org
robots.txtのルールに関する詳細や例については、Wikipediaの記事もご覧ください。
_________________________________________________________________________

問い合わせ先

もちろん、サイト全体または一部のクロール中止の依頼や、クローラの運用に関するその他のフィードバックには真摯に対応し、迅速かつ適切な方法で対処いたします。

もし該当する場合は、crawler@seranking.com までご連絡ください。お客様のサイトを除外するか、またはただちに調査させていただきます。