逆強化学習とは
逆強化学習（Inverse Reinforcement Learning, IRL）とは、エキスパートの行動デモンストレーションから、そのエキスパートが最適化していたと考えられる報酬関数を推定する手法です。通常の強化学習が「報酬関数を与えて最適方策を学習」するのに対し、逆強化学習は「最適方策の観察から報酬関数を復元」する逆問題を解きます。
| ひとことで言うと | 熟練者の行動から、その人が何を目指していたか（報酬）を逆算する手法。 |
|---|---|
| 何がうれしいか | 報酬設計が難しい課題でも、お手本から自動的に目的を推定できる。 |
| 注意点 | 同じ行動を説明する報酬は複数あり得る。推定が一意に定まらない。 |
逆強化学習の動機
多くの実世界のタスクでは、適切な報酬関数を人手で設計することが困難です。一方で、人間の専門家がタスクを遂行するデモンストレーションは比較的容易に得られます。逆強化学習はこのデモンストレーションから暗黙の報酬構造を学習することで、報酬設計の問題を回避します。
1熟練者の行動記録何をどうしたか
▶
2報酬を逆算何を重視していたか
▶
3報酬関数を推定目的を数式化
▶
4強化学習に使う推定した報酬で学習
▶
5お手本を超える目的は同じで方法を改善
代表的な手法
Maximum Entropy IRLは確率的に一意な報酬関数を推定する手法です。GAN（敵対的生成ネットワーク）と組み合わせたGAIL（Generative Adversarial Imitation Learning）は、報酬関数を明示的に推定せずにエキスパートの方策を直接学習します。AIRL（Adversarial IRL）は報酬関数の転移可能性を高めた手法です。
応用分野
自律走行車の運転行動の学習、ロボットの操作タスク、対話システム、推薦システムなど、人間の行動を模倣したい場面で広く応用されています。