モメンタム（Momentum）とは、勾配降下法に慣性の概念を導入した最適化手法です。過去の勾配の方向を「速度」として蓄積し、パラメータの更新に反映させることで、学習の安定性と収束速度を向上させます。
物理学的な直感
ボールが斜面を転がるイメージで理解できます。ボールは勾配の方向に加速しながら転がり、谷底（最適解）付近では慣性により振動しますが、最終的に収束します。この慣性がモメンタムの役割です。
数式
速度v_t = γv_{t-1} + η∇L（γ：モメンタム係数、η：学習率、∇L：勾配）でパラメータθ_t = θ_{t-1} - v_tと更新します。γは通常0.9が使われます。
効果
勾配が一貫した方向では加速し、振動する方向では減速することで、損失関数の「谷」を効率的に通過できます。SGDの収束を大幅に改善します。