ブートストラップ信頼区間とは
ブートストラップ信頼区間（Bootstrap Confidence Interval）とは、統計的推定値の不確実性をブートストラップ法を用いて定量化する手法です。元のデータから復元抽出（同じサンプルが複数回選ばれる抽出）を繰り返してリサンプルを生成し、各リサンプルでの推定値の分布から信頼区間を構成します。
| ひとことで言うと | 手元のデータから復元抽出をくり返して、指標のブレ幅を推定する方法。 |
|---|---|
| 何がうれしいか | 難しい数式を使わず、どんな指標でも信頼区間を出せる。 |
| 注意点 | 元データが偏っていれば、その偏りも再現される。 |
ブートストラップ法の仕組み
ブートストラップ法では、元のデータセット（サイズn）からn個のサンプルを復元抽出してリサンプルを作成し、この操作をB回（通常1000回以上）繰り返します。各リサンプルで評価指標（精度、F1スコアなど）を計算し、B個の推定値の分布を得ます。この分布のパーセンタイルから信頼区間を構築します。
1復元抽出同じ件数を重複ありで選ぶ
▶
2指標を計算その標本での精度
▶
31000回くり返す1000個の値が得られる
▶
4分布を見る2.5%〜97.5%の範囲
▶
5信頼区間が出る「精度85%±3%」
モデル評価への応用
機械学習のモデル評価において、テストセットでの性能指標に信頼区間を付与することで、単一のスコアだけでは分からない推定の不確実性を表現できます。例えば「精度85% (95%信頼区間: 82%-88%)」のように報告することで、性能の信頼性をより正確に伝えることができます。
モデル比較への活用
2つのモデルの性能差にブートストラップ信頼区間を適用することで、統計的に有意な差があるかを判断できます。信頼区間が0を含まなければ有意な差があると見なせます。パラメトリックな仮定が不要なため、さまざまな評価指標に汎用的に適用できる柔軟な手法です。