クロール統計レポートは、Googlebotがサイトをどのようにクロールするかをサーバー側の観点から確認する公式レポートの一つです。 1日に何件のクロール要求が来たのか、応答コード(200・3xx・4xx・5xx)別分布がどれか、平均応答時間がどの程度か、HTML・画像・CSS・JSのうちどのリソースをクロールするかを90日間のデータで示す。
このレポートが重要な理由は2つあります。まず、クロールバジェットの問題を診断できます。クロール要求が突然減った場合、サーバーエラーが繰り返され、Googlebotがクロールを減らした可能性があります。第二に、不要なリソース(冗長URL、パラメータURL、画像)がクロールバジェットをつかむことを確認します。
操作場所:Search Console→設定(Settings)→クロール統計(Crawl stats)。上のグラフでクロール要求の数の推移、合計ダウンロードサイズ、応答コードの分布を確認してください。 [ホストステータス]タブで、サーバーがクロール要求をどのように処理したかを詳細に表示します。
要点
- 90日間のGooglebotクロール要求数・応答コード・応答時間・ダウンロードサイズを追跡する。
- HTML・CSS・JS・イメージ・その他ファイルタイプ別クロール分布を示す。
- クロール数の変化は、サーバー状態、サイトの更新、URLの発見などと合わせて調べます。数の増減だけで原因は断定できません。
- [ホストステータス]タブで、DNS、サーバー接続、robots.txtの取得が成功したかどうかを確認します。
- ログファイル分析なしでGooglebotクロールパターンを簡単に把握できるツールだ。
