逆強化学習とは
逆強化学習（Inverse Reinforcement Learning, IRL）とは、エキスパートの行動デモンストレーションから、そのエキスパートが最適化していたと考えられる報酬関数を推定する手法です。通常の強化学習が「報酬関数を与えて最適方策を学習」するのに対し、逆強化学習は「最適方策の観察から報酬関数を復元」する逆問題を解きます。
逆強化学習の動機
多くの実世界のタスクでは、適切な報酬関数を人手で設計することが困難です。一方で、人間の専門家がタスクを遂行するデモンストレーションは比較的容易に得られます。逆強化学習はこのデモンストレーションから暗黙の報酬構造を学習することで、報酬設計の問題を回避します。
代表的な手法
Maximum Entropy IRLは確率的に一意な報酬関数を推定する手法です。GAN（敵対的生成ネットワーク）と組み合わせたGAIL（Generative Adversarial Imitation Learning）は、報酬関数を明示的に推定せずにエキスパートの方策を直接学習します。AIRL（Adversarial IRL）は報酬関数の転移可能性を高めた手法です。
応用分野
自律走行車の運転行動の学習、ロボットの操作タスク、対話システム、推薦システムなど、人間の行動を模倣したい場面で広く応用されています。