サイトSEO検査 FAQ

「サイトSEO検査」が開始できない最も一般的な原因は、お客様のウェブサイトのファイアウォールによって弊社のボットがブロックされていることです。

正常に起動・スキャンを行うため、弊社の クローラーのIPアドレス およびユーザーエージェント（SEBot-WA）をホワイトリストに登録し、ファイアウォールによってボットがブロックされていないことを確認してください。

なお、弊社のボットはドイツのIPアドレスから動作するため、ドイツからのアクセスをブロックするセキュリティルールが適用されると、ホワイトリスト設定が無効になる場合があります。

スキャンするページ数の標準の上限は1,000ページに設定されていますが、 ツールの設定で変更可能です。

標準の速度は1秒あたり500リクエストに設定されていますが、 ツールの設定で制限することができます。

一部のサーバー、CDN、セキュリティサービス（例：Cloudflare）は、検査のクローラーをブロックまたは制限することがあります。その結果、検査が遅くなったり、停止したり、失敗したりします。対処法は、表示されているエラーによって異なります。

いずれのエラーでもまずここから始めてください。SE Rankingクローラーの確認FAQ の説明に従って、SE Rankingのクローラー IPとユーザーエージェント SEBot-WA をホワイトリストに登録します。Cloudflareをご利用の場合は、下記の「CloudflareでSE RankingのIPをホワイトリストに登録するにはどうすればよいですか？」セクションの手順にも従い、Bot Fight Modeを無効にしてください。SEBot-WA は標準のユーザーエージェントです。サイトSEO検査の設定で別のユーザーエージェントを選択している場合は、そちらをホワイトリストに登録してください。

403（Forbidden）ボットが完全にブロックされています。上記のとおり、弊社のIPとユーザーエージェントをホワイトリストに登録してください。それでもエラーが解消しない場合は、ホワイトリストより優先される追加のブロックルールがないか確認してください。たとえば、地域単位のブロック（弊社のボットはドイツのIPアドレスから動作します）や、JavaScriptをレンダリングしないボットをブロックするルールなどが該当します。

ホワイトリストに登録しても403が解消しない場合は、JavaScriptレンダリングをお試しください。IPとユーザーエージェントをホワイトリストに登録しても改善しない場合は、JavaScriptで訪問者にチャレンジを課すルールがブロックの原因である可能性があります。手動のテストでは成功しても、検査は失敗することがあります。たとえば curl -I -A "SEBot-WA" https://yourdomain.com/ のようなリクエストはチャレンジの対象にならないためHTTP 200が返る一方で、クロールはチャレンジの対象になります。JavaScriptレンダリングを有効にすると、検査は通常のHTTPリクエストではなく、JavaScriptを実行するブラウザセッションを通じてページを取得するため、このようなチャレンジを通過できる場合があります。サイトSEO検査で「設定」を開き、「パーサー設定」タブに移動して、JavaScriptレンダリングのオプションを有効にし、検査を再度実行してください。この方法は試す価値がありますが、すべての403が解消するとは限りません。JavaScriptのチャレンジ以外が原因でブロックされている場合は、検査は引き続き失敗します。

429（Too Many Requests）サーバーがクローラーにレート制限をかけています。サイトSEO検査の設定 で最大リクエスト数を減らし、クロール速度を下げてください。

503（Service Unavailable）またはタイムアウトサーバー側のエラーで、原因は複数考えられます。クロール速度を下げる（上記と同じ設定）ことで改善する場合があります。高速なクロールはサーバーの処理能力を超える負荷をかけることがあるためです。それでも解消しない場合は、ホスティング事業者に根本的な原因を調査してもらう必要があります。

該当する手順を試しても検査が失敗する場合は、サポートチームまでお問い合わせいただき、検査に表示されているエラーメッセージをお知らせください。

外部（アウトバウンド）リンクは、リンク先の外部ドメインが弊社のクローラーに4XXステータスを返した場合に、リンク切れとして報告されます。外部リンクの確認は、ページ全体を読み込むのではなく軽量な HEAD リクエストで行われますが、大規模なサイトの多くはこうした自動リクエストをブロックしたり、チャレンジを課したり、単に拒否したりします。そのため、ブラウザでは正常に開くページでも、検査に対しては403や404を返すことがあります。このリンクは訪問者にとっては切れていませんが、レポートには問題として計上され、ウェブサイトの健全性スコアを下げる要因になります。

特定の外部ドメインがこのように報告されないようにするには、サイトSEO検査の設定で、それらを外部リンクのチェック対象から除外します。「設定」を開き、「ページのスキャンルール」タブに移動して、外部リンクを無視するための入力欄にドメインまたはURLを追加してください。除外したアドレスは、外部リンクがチェック対象に登録される際にスキップされ、該当する問題は次回の検査でレポートから消えます。このルールは外部リンクにのみ適用され、お客様自身のどのページをクロールするかは変わりません。クロール対象は、同じタブにある「許可パス」、「除外パス」、「非表示パス」のルールで個別に制御します。

標準では、「サイトSEO検査」はソースとして「サイト内ページ」を使用します。XMLサイトマップだけに依存するのではなく、ホームページから開始し、見つけたすべての内部リンクを辿ります。そのため、サイトマップに記載されていないページにもアクセスして分析する場合があります。noindexディレクティブは、検索エンジンに対してページをインデックスしないよう要求するだけで、クローラーがページを取得することを止めるものではありません。そのため、noindex指定のページやサイトマップ外のページもクロールされ、「HTMLファイルが大きすぎる」などの問題として検出される場合があります。

クロール対象を絞り込むには、ツールの 設定 を開き、「ページのソース」を「XMLサイトマップ」に設定する（または「マイページリスト」をアップロードする）ことで、指定したURLのみがスキャンされるようにし、特定のディレクトリを除外するには「除外パス」を追加し、noindexページがスキップされるよう「Noindexを無視」オプションは無効のままにしてください。

このガイドは、SE Rankingの サイトSEO検査 および オンページSEOチェッカー を積極的にご利用の場合に特に重要です。

Cloudflareのファイアウォールは、悪意のあるインバウンドトラフィックなどの脆弱性から保護します。しかし、その自動ルールによって弊社のクローラーがブロックされ、SE Rankingのボットがウェブサイトをクロールできなくなる場合があります。

Cloudflareはユーザーに高い柔軟性を提供しているため、この制限を簡単に解除できます。以下の手順に従ってください。

1. Cloudflareダッシュボード にログインし、アカウントとドメインを選択します。
2. Security セクションに移動し、WAF をクリックして、Tools サブセクションを選択します。
3. IP Access Rulesで、まずSE RankingのIPアドレスのいずれかを入力します。このルールは、各 クローラーIP ごとに個別に設定する必要があります。

アクションとして Skip を選択します。次にZoneで、このルールを現在のウェブサイトのみに適用するか、アカウント内のすべてのウェブサイトに適用するかを選択します。

最後に、他のIPアドレスについても同じ手順を繰り返します。

以上です。さらに詳しい情報が必要な場合は、公式の Cloudflareガイド をご覧ください。

プロジェクトを新規に作成すると、サイトSEO検査は自動的に開始されます。検査を再度行うには、 サイトSEO検査 モジュール内の該当ボタンをクリックします。また、 設定 で週1回または月1回の自動再チェックのスケジュールを設定できます。実行のたびに毎回すべてを新しくクロールし、前回の検査結果は再利用されません。そのため、公開済みの修正は次回の検査が完了した時点で反映されます。

ウェブサイトは数十の項目に基づいてチェックされるため、システムが検査を完了するまでの正確な時間を予測することはできません。所要時間は、ウェブサイトのページ数や画像数、robots.txtファイル内のcrawl-delayの有無、システム内の内部キューによって異なります。クロールの進行状況は、サイトSEO検査モジュールで確認できます。

検査レポートが生成されると、Eメールで通知が届きます。

サイトSEO検査 は、ウェブサイトのすべてのページをスキャンし、検出された問題の修正方法に関する提案を含む分析を提供します。レポートのサンプルは こちら から確認できます。

オンページSEOチェッカー は、特定のURLを検査し、そのページが特定の検索クエリに対してどの程度最適化されているかを評価します。また、そのページの検索エンジン順位に悪影響を与える問題を検出します。レポートのサンプルは こちら から確認できます。

それを確認するには、SE Rankingクローラーの確認方法を知っておく必要があります。確認方法については、 クイックガイド をご覧ください。標準では、サイトSEO検査のクローラーは SEBot-WA というユーザーエージェントを送信します。サーバーログで探す値、およびファイアウォールのルールで許可する値はこれになります。ツールの設定で別のユーザーエージェントを選択している場合は、そちらを探してください。

スタンドアロン（プロジェクトに紐づかない）検査は、PDFレポートをダウンロードするか、レポートをメールで送信する（サブアカウントのメールアドレス宛を含む）ことで共有できます。詳しくは サイトSEO検査の活用方法 をご覧ください。ツール内でスタンドアロン検査をサブアカウントに直接割り当てたり共有したりすることは、現在サポートされていません。