예를 들어 공개 PDF를 검색에서 제외하려면 해당 파일 응답에 X-Robots-Tag: noindex를 제공할 수 있습니다. 파일을 직접 여는 링크나 다운로드 권한은 이 헤더로 없어지지 않습니다. 비공개 자료는 인증 등 별도 접근 제어가 필요합니다.
Google이 헤더를 읽으려면 파일을 다시 수집할 수 있어야 합니다. robots.txt로 차단하면 noindex를 확인하지 못할 수 있고, 변경 사항이 검색에 반영되기까지 처리 시간이 필요합니다.
Apache의 설정 예는 Header set X-Robots-Tag "noindex"이며 헤더 이름 뒤에 콜론을 넣지 않습니다. Nginx는 적절한 server 또는 location 설정에서 add_header X-Robots-Tag "noindex"; 같은 지시를 사용하며 .htaccess를 읽지 않습니다. 적용 범위를 제한하고 실제 대상 URL의 응답 헤더를 검사합니다.