Robots 메타 태그

Robots 메타 태그는 페이지 단위의 정밀한 크롤링·색인 제어 도구이다. robots.txt가 경로 전체에 적용되는 것과 달리, 메타 태그는 개별 페이지마다 다른 지시를 줄 수 있다. 주요 지시어: noindex(색인 제외), nofollow(링크 미추적), nosnippet(스니펫 차단), noimageindex(이미지 색인 제외), max-snippet(-1이면 길이 제한 없음).

가장 흔한 실수는 robots.txt로 크롤링을 차단한 페이지에 noindex를 적용하는 것이다. 구글봇이 크롤링을 못 하면 메타 태그 자체를 읽을 수 없어 noindex 지시가 처리되지 않는다. 그 결과 페이지 URL만 색인에 남는(내용 없이) 상태가 생길 수 있다.

위볼린 표준에서 임시 캠페인 페이지·내부 검색 결과·필터 URL처럼 색인 가치가 낮은 페이지는 noindex를 기본 적용하고, 배포 및 리뉴얼 후 주요 페이지 템플릿의 meta robots 상태를 체크리스트로 검증한다. SPA/Next.js 환경에서는 서버 렌더링 HTML에 noindex가 올바르게 포함되는지 URL 검사 도구로 확인한다.

핵심 정리

• 페이지 단위로 색인·스니펫·링크 추적을 제어한다.
• noindex, nofollow, nosnippet, noimageindex 등 지시어를 지원한다.
• robots.txt 차단 시 크롤링 자체가 막혀 메타 태그를 읽지 못한다.
• 콘텐츠 보안 우선인 특정 엔진에는 name을 다르게 써야 한다(예: `name="googlebot"`).
• 배포 후 중요 페이지에 실수로 noindex가 남아 있으면 검색 노출이 사라진다.