モメンタム（Momentum）とは、勾配降下法に慣性の概念を導入した最適化手法です。過去の勾配の方向を「速度」として蓄積し、パラメータの更新に反映させることで、学習の安定性と収束速度を向上させます。
物理学的な直感
ボールが斜面を転がるイメージで理解できます。ボールは勾配の方向に加速しながら転がり、谷底（最適解）付近では慣性により振動しますが、最終的に収束します。この慣性がモメンタムの役割です。
| ひとことで言うと | 過去の進行方向を勢い（慣性）として引き継ぎ、学習を速く安定させる工夫。 |
|---|---|
| たとえると | 坂道を転がるボール。細かい凸凹に引っかからず谷底まで進む。 |
| 注意点 | 勢いが強すぎると谷底を通り過ぎる。係数は0.9前後が定番。 |
数式
速度v_t = γv_{t-1} + η∇L（γ：モメンタム係数、η：学習率、∇L：勾配）でパラメータθ_t = θ_{t-1} - v_tと更新します。γは通常0.9が使われます。
1今回の勾配今の下り方向
▶
2前回の勢いを足す過去の方向を引き継ぐ
▶
3ぶれが打ち消されるジグザグが減る
▶
4速く谷底へ収束が早まる
効果
勾配が一貫した方向では加速し、振動する方向では減速することで、損失関数の「谷」を効率的に通過できます。SGDの収束を大幅に改善します。