投票法(Voting)とは、複数のモデルの予測結果を集約して最終的な予測を決定するアンサンブル手法です。各モデルが「投票」し、最も多くの票を集めた予測を採用します。
ハード投票とソフト投票
ハード投票は各モデルの予測クラスの多数決で決定します。ソフト投票は各モデルの予測確率を平均して最も確率の高いクラスを選択します。一般にソフト投票の方が良い結果を得られます。
| ひとことで言うと | 複数モデルの予測を多数決でまとめる、最もシンプルなアンサンブル手法。 |
|---|---|
| 2つの方式 | ハード投票(クラスの多数決)とソフト投票(確率の平均)。 |
| 注意点 | 性能の低いモデルを混ぜると全体の足を引っ張る。 |
重み付き投票
性能の良いモデルにより大きな重みを与える重み付き投票も可能です。検証データでの性能に基づいて重みを設定するのが一般的です。
13つのモデルそれぞれ別の手法
▶
2各自が予測A:猫 B:猫 C:犬
▶
3多数決を取る2対1で「猫」
▶
4最終予測単体より安定