仮説検定とは
仮説検定（Hypothesis Testing）とは、母集団に関するある仮説を設定し、標本データに基づいてその仮説が統計的に支持されるかどうかを判断する手法です。科学研究やビジネス分析において、データに基づく客観的な意思決定を行うための基本的な枠組みです。
| ひとことで言うと | 観測された差が「偶然では説明しにくい」と言えるかを統計的に判断する手続き。 |
|---|---|
| どこで使う | 施策の効果検証、A/Bテスト、品質改善の前後比較。 |
| 注意点 | 有意＝重要ではない。差の大きさ（効果量）も必ず併せて見る。 |
帰無仮説と対立仮説
仮説検定では、まず「差がない」「効果がない」とする帰無仮説（H0）と、「差がある」「効果がある」とする対立仮説（H1）を設定します。検定の目的は、データの証拠に基づいて帰無仮説を棄却できるかどうかを判断することです。
1帰無仮説を立てる「差はない」と仮定
▶
2有意水準を決める通常は5%
▶
3データから検定統計量計算する
▶
4p値と比較5%未満か判定
▶
5結論を出す差があると言えるか
検定の手順
検定の手順は、(1)仮説の設定、(2)有意水準（通常5%や1%）の決定、(3)検定統計量の算出、(4)p値の計算、(5)判定（p値が有意水準以下なら帰無仮説を棄却）という流れで進みます。棄却した場合は統計的に有意な差があると判断します。
第一種・第二種の過誤
帰無仮説が正しいのに棄却する誤りを第一種の過誤（偽陽性）、帰無仮説が誤りなのに棄却しない誤りを第二種の過誤（偽陰性）と呼びます。有意水準は第一種の過誤の確率を制御しますが、第二種の過誤を減らすには十分なサンプルサイズが必要です。