Googleはクロールの処理容量と需要を区別します。サーバーの状態、既知のURL数、更新の必要性などが関わるため、ページ数だけで一律の基準は適用できません。
取得が遅い場合はログとクロール統計で、失敗応答、フィルターURLの反復、長いリダイレクトを調べます。廃止URLには適切に応答し、重複版を一貫して整理します。サイトマップ送信も取得順や登録時間を保証しません。
noindexは取得した応答を読まなければ分からないため、クロール節約の手段ではありません。robots.txtは取得を制御しますが、インデックス除外を保証せず、ブロック中はnoindexも読めなくなります。