SACとは
SAC（Soft Actor-Critic）とは、2018年にUCバークレーの研究者らが提案したオフポリシー型のActor-Criticアルゴリズムです。報酬の最大化に加えて方策のエントロピーも最大化する「最大エントロピー強化学習」の枠組みに基づいており、連続行動空間のタスクで特に優れた性能を発揮します。
| ひとことで言うと | 報酬に加えて「行動の多様さ」も同時に最大化する、連続制御向けの手法。 |
|---|---|
| 何がうれしいか | 探索が自然に促され、少ないデータで効率よく学習できる。 |
| 注意点 | 多様さの重みが大きすぎると、いつまでも決め切れなくなる。 |
最大エントロピー原理
SACの目的関数は J(π) = Σ E[r(s,a) + αH(π(·|s))] で、従来の累積報酬に方策のエントロピーH(π)のボーナスを加えた形です。温度パラメータαはエントロピーの重要度を制御します。エントロピーの最大化により、報酬が同程度の行動をランダムに選ぶ「多様な」方策が学習され、探索が促進されます。
1報酬を最大化通常の目的
▶
2多様さも最大化エントロピー項を加える
▶
3探索が持続早期に固まらない
▶
4経験を再利用オフポリシーで効率的
▶
5連続制御に強いロボット制御の定番
SACの特徴
SACはオフポリシー手法であるため、経験再生バッファを活用してサンプル効率が高いです。さらにエントロピー正則化により学習が安定し、ハイパーパラメータに対するロバスト性が高いことが実験的に示されています。温度パラメータαの自動調整機構も備えています。
応用分野
SACはロボットのマニピュレーション、移動制御、シミュレーション環境でのベンチマークタスクなど、連続制御問題で広く使用されています。PPOと並んで現代の深層強化学習の代表的なアルゴリズムの一つです。