スタッキング（Stacking / Stacked Generalization）とは、異なる種類の複数のモデル（ベースモデル）の予測結果を、別のモデル（メタモデル）で統合するアンサンブル学習手法です。各モデルの強みを活かした高精度な予測を実現します。
2層構造
第1層（ベースモデル）では、ランダムフォレスト、SVM、ニューラルネットワークなど異なるアルゴリズムのモデルを学習します。第2層（メタモデル）では、ベースモデルの予測値を入力として新たなモデル（通常はロジスティック回帰や線形回帰）を学習し、最終的な予測を行います。
リーク対策
ベースモデルの予測値を生成する際、訓練データの予測にはk分割交差検証を用いて、各フォールドの予測値を結合します。これにより情報のリーク（データ漏洩）を防ぎます。
Kaggleでの活用
スタッキングはKaggleコンペティションの上位入賞ソリューションで頻繁に使用される手法です。複数の多様なモデルを組み合わせることで、単一モデルでは達成できない精度を実現できます。