ミニバッチ学習

Mini-batch Learning

ミニバッチ学習(Mini-batch Learning)とは、訓練データを小さなバッチ(ミニバッチ)に分割し、各ミニバッチごとにパラメータを更新する学習方式です。バッチ学習とオンライン学習(SGD)の中間に位置し、実務で最も広く使われています。

ミニバッチの利点

バッチ学習より計算効率が良く、GPUの並列計算を有効活用できます。また、純粋なSGD(1サンプル)よりも勾配の推定が安定し、適度なノイズが正則化効果をもたらします。

バッチサイズとの関係

一般的なバッチサイズは32〜256程度で、GPUメモリに収まる最大サイズを使用することが多いです。バッチサイズの選択は学習の収束速度と汎化性能に影響します。