크롤링을 막는 robots.txt와 역할이 다릅니다. 또한 검색에서 제외하는 설정은 로그인이나 접근 권한을 대신하는 보안 기능이 아닙니다.
검색 제외와 접근 제한은 다릅니다
검색 결과에 포함하고 싶지 않은 공개 페이지에는 noindex를 검토할 수 있습니다. 고객 정보나 비공개 문서를 보호해야 한다면 인증과 접근 권한이 필요합니다. noindex가 있어도 주소를 아는 사람이 직접 열 수 있습니다.
규칙을 읽지 못하면 적용할 수 없습니다
robots.txt로 페이지 수집을 차단하면 검색엔진이 그 안의 noindex를 보지 못할 수 있습니다. Google은 robots.txt 파일 안에 적은 noindex 지시도 지원하지 않습니다. 페이지 응답이나 메타 태그와 크롤링 허용 상태를 함께 확인합니다.
공개 전환 후 점검
준비 중인 사이트의 설정이 운영 환경에 남아 있지 않은지 확인합니다. 중요한 서비스 페이지가 제외됐다면 설정을 수정하고 다시 수집된 뒤의 상태를 확인합니다. 설정을 바꾸는 순간 모든 검색 결과가 동시에 바뀌지는 않습니다.
핵심 정리
- 검색 색인 제외를 알리는 규칙입니다.
- 규칙을 확인할 수 있도록 크롤링 상태를 함께 봅니다.
- 비공개 정보는 별도의 접근 권한으로 보호합니다.