本文にスキップ
weballin

weballin DIGIWIKI

クロール統計

クロール統計は、Search ConsoleでGooglebotのサイトクロール頻度・応答コード・応答時間を90日間示すレポートです。サーバーエラーまたはクロールバジェットの無駄の原因をサーバー側の観点から診断するために使用します。

weballin

クロール統計レポートは、Googlebotがサイトをどのようにクロールするかをサーバー側の観点から確認する公式レポートの一つです。 1日に何件のクロール要求が来たのか、応答コード(200・3xx・4xx・5xx)別分布がどれか、平均応答時間がどの程度か、HTML・画像・CSS・JSのうちどのリソースをクロールするかを90日間のデータで示す。

このレポートが重要な理由は2つあります。まず、クロールバジェットの問題を診断できます。クロール要求が突然減った場合、サーバーエラーが繰り返され、Googlebotがクロールを減らした可能性があります。第二に、不要なリソース(冗長URL、パラメータURL、画像)がクロールバジェットをつかむことを確認します。

操作場所:Search Console→設定(Settings)→クロール統計(Crawl stats)。上のグラフでクロール要求の数の推移、合計ダウンロードサイズ、応答コードの分布を確認してください。 [ホストステータス]タブで、サーバーがクロール要求をどのように処理したかを詳細に表示します。

要点

  • 90日間のGooglebotクロール要求数・応答コード・応答時間・ダウンロードサイズを追跡する。
  • HTML・CSS・JS・イメージ・その他ファイルタイプ別クロール分布を示す。
  • クロール数の変化は、サーバー状態、サイトの更新、URLの発見などと合わせて調べます。数の増減だけで原因は断定できません。
  • [ホストステータス]タブで、DNS、サーバー接続、robots.txtの取得が成功したかどうかを確認します。
  • ログファイル分析なしでGooglebotクロールパターンを簡単に把握できるツールだ。

参考資料

よくある質問

クロールリクエストが突然減ったのに問題があるのですか?

クロール要求の減少の考えられる原因の一つは、サーバーが5xxエラーを繰り返してGooglebotが訪問頻度を下げた場合です。 [応答コード]タブで5xxエラー率を確認し、ホスティング会社とサーバーログを確認してください。 robots.txtが突然完全ブロックに変更された場合も原因になる可能性があります。

画像・CSS・JSクロールの割合が高い場合はどうすればいいですか?

GooglebotがCSSとJSをクロールすることはJavaScript SEOレンダリングに必要であるため、一部の割合は正常です。ただし、不要な重複URLなどが多い場合は、その発生原因を整理すると、クロールバジェットを節約できます。