robots.txtは通常、サイトのルートにある/robots.txtで提供します。内部検索結果や大量に生成されるパラメータ付きURLなど、クロール範囲を調整するために利用します。
インデックス削除の仕組みではない
クロールを禁止しても、外部リンクなどから知られたURLが検索結果に表示されることがあります。noindexを適用するには、検索エンジンがページにアクセスしてその指示を読み取れる必要があります。機密情報は認証とアクセス制御で保護します。
公開前に確認する設定
開発環境で使用したDisallow: /が本番環境に残ると、サイト全体のクロールを妨げます。CSSやJavaScriptを誤ってブロックすると、検索エンジンがページを正しくレンダリングできない場合もあります。