なぜボットは1,000ページしかスキャンしないのですか?
スキャン中にウェブサイトへのリクエストが集中してしまいます。検査のクロール速度を制限できますか?
検査がHTTP 429、403、503、またはタイムアウトのエラーで失敗します。ホストによるクローラーのブロックやレート制限を止めるにはどうすればよいですか?
サイトSEO検査がnoindex指定のページやサイトマップ外のページをクロール・検出するのはなぜですか?
CloudflareでSE RankingのIPをホワイトリストに登録するにはどうすればよいですか?
サイトSEO検査を実施するにはどうすれば良いですか?
サイトSEO検査レポートの生成には、どの程度の時間がかかりますか?
サイトSEO検査とオンページSEOチェッカーの違いは何ですか?
私のサイトへのリクエストがSE Rankingボットからのものであることを確認するにはどうすればよいですか?
スタンドアロン(プロジェクトに紐づかない)検査をサブアカウントと共有できますか?
「サイトSEO検査」が実行エラーにより開始されない場合の対処法
「サイトSEO検査」が開始できない最も一般的な原因は、お客様のウェブサイトのファイアウォールによって弊社のボットがブロックされていることです。
正常に起動・スキャンを行うため、弊社の クローラーのIPアドレス およびユーザーエージェント(SEBot-WA)をホワイトリストに登録し、ファイアウォールによってボットがブロックされていないことを確認してください。
なお、弊社のボットはドイツのIPアドレスから動作するため、ドイツからのアクセスをブロックするセキュリティルールが適用されると、ホワイトリスト設定が無効になる場合があります。
なぜボットは1,000ページしかスキャンしないのですか?
スキャンするページ数の標準の上限は1,000ページに設定されていますが、 ツールの設定で変更可能です。
スキャン中にウェブサイトへのリクエストが集中してしまいます。検査のクロール速度を制限できますか?
標準の速度は1秒あたり500リクエストに設定されていますが、 ツールの設定で制限することができます。
検査がHTTP 429、403、503、またはタイムアウトのエラーで失敗します。ホストによるクローラーのブロックやレート制限を止めるにはどうすればよいですか?
一部のサーバー、CDN、セキュリティサービス(例:Cloudflare)は、検査のクローラーをブロックまたは制限することがあります。その結果、検査が遅くなったり、停止したり、失敗したりします。対処法は、表示されているエラーによって異なります。
いずれのエラーでもまずここから始めてください。SE Rankingクローラーの確認FAQ の説明に従って、SE RankingのクローラーIPとユーザーエージェント SEBot-WA をホワイトリストに登録します。Cloudflareをご利用の場合は、下記の「CloudflareでSE RankingのIPをホワイトリストに登録するにはどうすればよいですか?」セクションの手順にも従い、Bot Fight Modeを無効にしてください。
403(Forbidden)ボットが完全にブロックされています。上記のとおり、弊社のIPとユーザーエージェントをホワイトリストに登録してください。それでもエラーが解消しない場合は、ホワイトリストより優先される追加のブロックルールがないか確認してください。たとえば、地域単位のブロック(弊社のボットはドイツのIPアドレスから動作します)や、JavaScriptをレンダリングしないボットをブロックするルールなどが該当します。
429(Too Many Requests)サーバーがクローラーにレート制限をかけています。サイトSEO検査の設定 で最大リクエスト数を減らし、クロール速度を下げてください。
503(Service Unavailable)またはタイムアウトサーバー側のエラーで、原因は複数考えられます。クロール速度を下げる(上記と同じ設定)ことで改善する場合があります。高速なクロールはサーバーの処理能力を超える負荷をかけることがあるためです。それでも解消しない場合は、ホスティング事業者に根本的な原因を調査してもらう必要があります。
該当する手順を試しても検査が失敗する場合は、サポートチームまでお問い合わせいただき、検査に表示されているエラーメッセージをお知らせください。
サイトSEO検査がnoindex指定のページやサイトマップ外のページをクロール・検出するのはなぜですか?
標準では、「サイトSEO検査」はソースとして「サイト内ページ」を使用します。XMLサイトマップだけに依存するのではなく、ホームページから開始し、見つけたすべての内部リンクを辿ります。そのため、サイトマップに記載されていないページにもアクセスして分析する場合があります。noindexディレクティブは、検索エンジンに対してページをインデックスしないよう要求するだけで、クローラーがページを取得することを止めるものではありません。そのため、noindex指定のページやサイトマップ外のページもクロールされ、「HTMLファイルが大きすぎる」などの問題として検出される場合があります。
クロール対象を絞り込むには、ツールの 設定 を開き、「ページのソース」を「XMLサイトマップ」に設定する(または「マイページリスト」をアップロードする)ことで、指定したURLのみがスキャンされるようにし、特定のディレクトリを除外するには「除外パス」を追加し、noindexページがスキップされるよう「Noindexを無視」オプションは無効のままにしてください。
CloudflareでSE RankingのIPをホワイトリストに登録するにはどうすればよいですか?
このガイドは、SE Rankingの サイトSEO検査 および オンページSEOチェッカー を積極的にご利用の場合に特に重要です。
Cloudflareのファイアウォールは、悪意のあるインバウンドトラフィックなどの脆弱性から保護します。しかし、その自動ルールによって弊社のクローラーがブロックされ、SE Rankingのボットがウェブサイトをクロールできなくなる場合があります。
Cloudflareはユーザーに高い柔軟性を提供しているため、この制限を簡単に解除できます。以下の手順に従ってください。
- Cloudflareダッシュボード にログインし、アカウントとドメインを選択します。
- Security セクションに移動し、WAF をクリックして、Tools サブセクションを選択します。
- IP Access Rulesで、まずSE RankingのIPアドレスのいずれかを入力します。このルールは、各 クローラーIP ごとに個別に設定する必要があります。
アクションとして Skip を選択します。次にZoneで、このルールを現在のウェブサイトのみに適用するか、アカウント内のすべてのウェブサイトに適用するかを選択します。
最後に、他のIPアドレスについても同じ手順を繰り返します。
以上です。さらに詳しい情報が必要な場合は、公式の Cloudflareガイド をご覧ください。
サイトSEO検査を実施するにはどうすれば良いですか?
プロジェクトを新規に作成すると、サイトSEO検査は自動的に開始されます。検査を再度行うには、 サイトSEO検査 モジュール内の該当ボタンをクリックします。また、 設定 で週1回または月1回の自動再チェックのスケジュールを設定できます。
サイトSEO検査レポートの生成には、どの程度の時間がかかりますか?
ウェブサイトは数十の項目に基づいてチェックされるため、システムが検査を完了するまでの正確な時間を予測することはできません。所要時間は、ウェブサイトのページ数や画像数、robots.txtファイル内のcrawl-delayの有無、システム内の内部キューによって異なります。クロールの進行状況は、サイトSEO検査モジュールで確認できます。
検査レポートが生成されると、Eメールで通知が届きます。
サイトSEO検査とオンページSEOチェッカーの違いは何ですか?
サイトSEO検査 は、ウェブサイトのすべてのページをスキャンし、検出された問題の修正方法に関する提案を含む分析を提供します。レポートのサンプルは こちら から確認できます。
オンページSEOチェッカー は、特定のURLを検査し、そのページが特定の検索クエリに対してどの程度最適化されているかを評価します。また、そのページの検索エンジン順位に悪影響を与える問題を検出します。レポートのサンプルは こちら から確認できます。
私のサイトへのリクエストがSE Rankingボットからのものであることを確認するにはどうすればよいですか?
それを確認するには、SE Rankingクローラーの確認方法を知っておく必要があります。確認方法については、 クイックガイド をご覧ください。
スタンドアロン(プロジェクトに紐づかない)検査をサブアカウントと共有できますか?
スタンドアロン(プロジェクトに紐づかない)検査は、PDFレポートをダウンロードするか、レポートをメールで送信する(サブアカウントのメールアドレス宛を含む)ことで共有できます。詳しくは サイトSEO検査の活用方法 をご覧ください。ツール内でスタンドアロン検査をサブアカウントに直接割り当てたり共有したりすることは、現在サポートされていません。