ホールドアウト法（Holdout Method）とは、データセットを訓練データとテストデータの2つ（または訓練・検証・テストの3つ）に分割し、モデルの性能を評価する最もシンプルな手法です。
基本的な手順
データセットを一般的に7:3や8:2の比率で訓練データとテストデータに分割します。訓練データでモデルを学習し、テストデータで性能を評価します。3分割の場合は、さらに訓練データから検証データを分離してハイパーパラメータの調整に使います。
利点と限界
ホールドアウト法は計算コストが低く実装が容易です。ただし、データの分割方法によって評価結果が変動するため、データが少ない場合は信頼性が低下する可能性があります。この問題を解決するために交差検証が用いられます。