크롤링 통계 보고서는 구글봇이 사이트를 어떻게 크롤링하는지 서버 측 관점에서 확인하는 유일한 공식 도구이다. 하루에 몇 건의 크롤링 요청이 왔는지, 응답 코드(200·3xx·4xx·5xx)별 분포가 어떤지, 평균 응답 시간이 얼마인지, HTML·이미지·CSS·JS 중 어떤 리소스를 크롤링하는지를 90일간의 데이터로 보여준다.
이 보고서가 중요한 이유는 두 가지다. 첫째, 크롤링 예산 문제를 진단할 수 있다. 크롤링 요청이 갑자기 줄었다면 서버 오류가 반복돼 구글봇이 크롤링을 줄였을 수 있다. 둘째, 불필요한 리소스(중복 URL·파라미터 URL·이미지)가 크롤링 예산을 잡아먹는지 확인한다.
GA4 화면 경로: Search Console → 설정(Settings) → 크롤링 통계(Crawl stats). 상단 차트에서 크롤링 요청 수 추이, 총 다운로드 크기, 응답 코드 분포를 확인한다. '호스트 상태' 탭에서 서버가 크롤링 요청을 어떻게 처리했는지 상세 내역을 본다.
핵심 정리
- 90일간의 구글봇 크롤링 요청 수·응답 코드·응답 시간·다운로드 크기를 추적한다.
- HTML·CSS·JS·이미지·기타 파일 유형별 크롤링 분포를 보여준다.
- 크롤링 요청 수 급감은 서버 오류 반복, 급증은 사이트맵 업데이트나 링크 증가 신호일 수 있다.
- 호스트 상태 탭에서 DNS·서버 연결·robots.txt 가져오기 성공 여부를 확인한다.
- 로그 파일 분석 없이도 구글봇 크롤링 패턴을 간단히 파악할 수 있는 도구이다.