A/Bテストとは
A/Bテスト（A/B Testing）とは、2つのバージョン（AとB）をランダムにユーザーに提示し、どちらがより優れた成果を生むかを統計的に比較する実験手法です。Webサイトの最適化やマーケティング施策の効果検証において広く活用されています。
| ひとことで言うと | 2つの案をランダムに割り当てて、どちらが良いかを実データで比べる方法。 |
|---|---|
| どこで使う | Webサイトの改善、メール件名の比較、価格やクーポンの検証。 |
| 注意点 | 途中で結果を覗いて止めると誤った結論になる。必要数を先に決めておく。 |
A/Bテストの設計
A/Bテストでは、まず比較する要素（ボタンの色、見出しのテキスト、レイアウトなど）を決め、変更版（トリートメント群B）と現行版（コントロール群A）を用意します。ユーザーをランダムに2群に分け、KPI（コンバージョン率など）の差を測定します。
1仮説と指標を決める何が何%上がれば成功か
▶
2必要数を計算検出したい差から算出
▶
3ランダムに割当偏りなく振り分ける
▶
4期間を守って実施途中で止めない
▶
5統計的に判定有意差と効果量を確認
統計的有意性の確認
A/Bテストの結果を評価する際は、観測された差が偶然によるものではないことを統計的に確認する必要があります。仮説検定のフレームワークを用い、十分なサンプルサイズを確保してp値や信頼区間を算出します。早すぎる判断やp-hackingを避けることが重要です。
A/Bテストの発展形
3つ以上のバリエーションを比較するA/B/nテスト、複数要素の組み合わせを同時に検証する多変量テスト、ベイズ統計を用いたベイジアンA/Bテスト、適応的にトラフィック配分を調整するバンディットアルゴリズムなど、さまざまな発展形が存在します。