HTTP 응답, robots.txt 접근 허용, robots 메타 태그와 X-Robots-Tag의 noindex, 렌더링된 콘텐츠, canonical과 중복 URL 처리를 함께 확인합니다. robots.txt로 크롤링을 차단하면 검색엔진이 페이지의 noindex를 읽지 못할 수 있습니다.
Search Console의 URL 검사와 페이지 색인 생성 보고서로 Google이 확인한 상태를 살펴봅니다. 실시간 URL 검사는 현재의 접근 가능성을 확인하는 데 유용하지만 실제 색인 여부와는 별개입니다.
크롤링됨 - 현재 색인이 생성되지 않음 상태는 Google이 페이지를 크롤링했지만 아직 색인하지 않았다는 뜻입니다. 이 상태만으로 콘텐츠 품질이 유일한 원인이라고 단정하지 않습니다. 콘텐츠의 유용성, 중복 관계, 내부 링크와 기술 상태를 함께 검토하고 이후 처리 결과를 확인합니다.