本文にスキップ
weballin

weballin DIGIWIKI

A/Bテスト

A/Bテストは、無作為に分けた集団へ異なる案を提示し、事前に決めた指標を比較する実験です。

weballin

仮説、主指標、検出したい効果、標本数、終了基準を先に決めます。有意になるまで繰り返し確認して終了すると誤判定が増えるため、固定設計や適切な逐次検定に従います。

Google Optimizeは終了しており、GA4の汎用的な振り分け機能へ置き換わったわけではありません。別の実験ツールや実装を使います。変更は一要素、期間は最低2週間という条件も一律ではありません。

参考資料

よくある質問

標本が少なくても結論を出せますか?

不確実性と検出できる効果を評価し、証拠が不足する場合は勝者を断定しません。