検索資料の収集、モデル学習、ユーザーが要求したページの読み取りは、それぞれ異なる目的です。 OpenAIのOAI-SearchBot、GPTBot、ChatGPT-Userも目的と制御方法を区別して案内します。
robots.txtだけでなく、認証、サーバー応答、セキュリティ機器がアクセスを妨げていないかも確認します。許可するかどうかは、サイトのコンテンツ利用方針と検索参加の目的に合わせて設定します。
検索で引用されるためには学習用ボットを許可しなければならない、という一般的なルールはありません。 llms.txtも、すべてのクローラが従うアクセス制御や優先順位の標準として扱われません。