検証データ

Validation Data

検証データ(Validation Data)とは、学習中のモデルの性能を監視し、ハイパーパラメータの調整やモデル選択に使用するデータです。訓練データとテストデータの間に位置する中間的な役割を果たします。

検証データの用途

学習中の過学習の検出(検証損失の監視)、ハイパーパラメータの比較・選択、早期終了のトリガー、モデルアーキテクチャの比較など、モデル開発のあらゆる段階で活用されます。

表:検証データの要点まとめ
ひとことで言うと学習中のモデルを確認し、設定を調整するために使うデータ。
どこで使うハイパーパラメータの選定、早期終了の判断、モデルの選択。
注意点何度も見て調整すると、検証データに対しても過学習する。

テストデータとの違い

検証データはモデル開発中に繰り返し使用されますが、テストデータは最終評価に1回だけ使用するものです。検証データに対して過度にチューニングすると、検証データにも過学習する可能性があるため、テストデータによる最終評価が不可欠です。

図:検証データの使われ方
1訓練データで学習パラメータを更新
▶
2検証データで評価未知データでの実力
▶
3設定を調整学習率や層の数
▶
4最良の設定を選ぶ検証スコアが最も高いもの
↺ 1〜4をくり返して設定を詰める