ミニバッチ学習(Mini-batch Learning)とは、訓練データを小さなバッチ(ミニバッチ)に分割し、各ミニバッチごとにパラメータを更新する学習方式です。バッチ学習とオンライン学習(SGD)の中間に位置し、実務で最も広く使われています。
ミニバッチの利点
バッチ学習より計算効率が良く、GPUの並列計算を有効活用できます。また、純粋なSGD(1サンプル)よりも勾配の推定が安定し、適度なノイズが正則化効果をもたらします。
バッチサイズとの関係
一般的なバッチサイズは32〜256程度で、GPUメモリに収まる最大サイズを使用することが多いです。バッチサイズの選択は学習の収束速度と汎化性能に影響します。