公開PDFを検索から除外する場合、その応答にX-Robots-Tag: noindexを付けられます。直接リンクやダウンロード権限は消えません。非公開資料には認証など別のアクセス制御が必要です。
Googleがヘッダーを読むには、ファイルを再取得できる必要があります。robots.txtで拒否すると読めない場合があり、検索への反映にも処理時間がかかります。
Apacheの例はHeader set X-Robots-Tag "noindex"で、ヘッダー名の後にコロンは付けません。Nginxでは適切なserverまたはlocation設定でadd_header X-Robots-Tag "noindex";などを使い、.htaccessは読みません。対象範囲を絞り、実際の応答を検査します。