페이지를 만들었다는 사실만으로 모든 단계를 통과하는 것은 아닙니다. 발견, 수집, 색인과 결과 표시를 구분하면 노출 문제가 발생한 위치를 더 정확히 판단할 수 있습니다.
발견과 크롤링
검색엔진은 이미 아는 페이지의 링크나 사이트맵 등을 통해 URL을 발견합니다. 발견한 주소의 내용을 가져오는 작업이 크롤링입니다. 주소를 알고 있어도 서버 오류, 접근 제한이나 수집 정책 때문에 실제 내용을 가져오지 못할 수 있습니다.
웹브라우저에서 보인다는 것과 검색 로봇이 같은 내용을 받는다는 것은 별도로 확인해야 합니다. 로그인 뒤에만 나타나는 내용, 실행에 문제가 있는 자바스크립트, CDN의 차단 등이 영향을 줄 수 있기 때문입니다. 내부에서 수행한 크롤링 결과와 검색엔진이 기록한 수집 결과도 구분합니다.
색인과 대표 페이지 선택
색인은 가져온 정보를 분석해 검색에 사용할 수 있도록 저장하는 단계입니다. 검색엔진은 유사한 페이지들 가운데 대표 URL을 판단하기도 합니다. 이 과정에서 운영자가 지정한 표준 URL과 검색엔진이 선택한 주소가 다를 수 있습니다.
따라서 사이트맵에 있다는 사실을 색인 완료의 증거로 삼지 않습니다. robots.txt, noindex와 canonical은 서로 다른 목적을 가진 설정이므로 한 가지 차단 방법처럼 취급하면 안 됩니다. 문제의 URL이 원래 공개·검색되어야 할 페이지인지부터 확인합니다.
검색결과 표시
검색어가 입력되면 검색엔진은 관련성과 품질, 위치와 기기 같은 맥락을 고려해 결과를 제공합니다. Google의 공식 작동 원리 안내는 크롤링·색인·검색결과 제공을 구분하고, 지침을 준수해도 색인과 노출은 보장되지 않는다고 설명합니다.
노출이 없을 때의 진단 질문
- 해당 페이지로 가는 공개 링크와 올바른 URL이 존재하는가?
- 검색엔진이 서버에서 정상 응답과 필요한 본문을 받을 수 있는가?
- 색인 제외 지시나 다른 대표 URL 선택이 있는가?
- 색인되어 있다면 어떤 검색 의도에 답해야 하는 페이지인가?
이 구분은 확인 순서를 정하기 위한 방법입니다. 색인 문제를 해결해야 하는 상황에서 문장 길이만 늘리거나, 내용이 부족한 페이지에 사이트맵을 반복 제출하는 식의 대응을 줄일 수 있습니다.