ブースティング（Boosting）とは、複数の弱学習器を逐次的に構築し、前のモデルが間違えたデータに重点を置いて次のモデルを学習させることで、全体の予測精度を向上させるアンサンブル手法です。
ブースティングの考え方
各ラウンドで、前のモデルが誤分類したデータの重みを増やし、次のモデルがそれらを正しく分類するように学習します。多くのラウンドを経ることで、弱学習器の集合が強学習器に変わっていきます。
代表的なアルゴリズム
AdaBoost（Adaptive Boosting）は最も古典的なブースティング手法で、誤分類されたサンプルの重みを増やしていきます。勾配ブースティング（Gradient Boosting）は残差を直接学習する手法で、XGBoost、LightGBM、CatBoostなどが代表的な実装です。
バギングとの違い
バギングが並列にモデルを構築するのに対し、ブースティングは逐次的に構築します。バギングは主にバリアンスを削減し、ブースティングは主にバイアスを削減します。