バイアス-バリアンストレードオフ

Bias-Variance Tradeoff

バイアス-バリアンストレードオフ(Bias-Variance Tradeoff)とは、機械学習モデルの予測誤差を構成する2つの要因—バイアス(偏り)とバリアンス(分散)—がトレードオフの関係にあるという概念です。

バイアスとは

バイアスは、モデルの予測値と真の値との系統的なズレを表します。バイアスが高いモデルはデータのパターンを十分に捉えられず、未学習(アンダーフィッティング)の状態にあります。単純すぎるモデルはバイアスが高くなります。

表:バイアス-バリアンストレードオフの要点まとめ
ひとことで言うとモデルを単純にすると外れ(バイアス)が増え、複雑にするとブレ(バリアンス)が増える関係。
どう考えるか両方の合計が最も小さくなる「ちょうどいい複雑さ」を探すのが目標。
注意点どちらが問題かで対策が逆になる。学習曲線を見て見極める。

バリアンスとは

バリアンスは、異なるデータセットで学習した場合の予測のばらつきを表します。バリアンスが高いモデルは訓練データのノイズに敏感に反応し、過学習(オーバーフィッティング)の状態にあります。複雑すぎるモデルはバリアンスが高くなります。

図:複雑さと誤差の関係
1単純すぎるバイアス大=未学習
▶
2複雑さを上げるバイアスが減る
▶
3最適点誤差の合計が最小
▶
4さらに複雑にバリアンス大=過学習

トレードオフの関係

モデルの複雑さを増すとバイアスは減少しますがバリアンスは増加し、逆にモデルを単純にするとバリアンスは減少しますがバイアスは増加します。最適なモデルはバイアスとバリアンスのバランスが取れた点にあり、この最適点を見つけることが機械学習における重要な課題です。