RLHFとは
RLHF（Reinforcement Learning from Human Feedback、人間のフィードバックからの強化学習）とは、人間の好みや判断を報酬信号として大規模言語モデル（LLM）を微調整する手法です。ChatGPTやClaude、Geminiなどの現代のAIアシスタントの訓練に不可欠な技術として広く採用されています。
| ひとことで言うと | 人の「良し悪し」の評価を学ばせて、AIの応答を人好みに整える手法。 |
|---|---|
| どこで使う | ChatGPTなど対話AIの品質調整、安全性・丁寧さの向上。 |
| 注意点 | 評価者の偏りがそのまま反映される。手順が多くコストも高い。 |
RLHFのプロセス
RLHFは3つのステップで行われます。第一に、教師あり微調整（SFT）で基本的な応答能力を学習します。第二に、人間のアノテーターがモデルの出力を比較評価し、そのデータから報酬モデルを訓練します。第三に、報酬モデルからの報酬信号を用いてPPOなどの強化学習アルゴリズムでLLMを最適化します。
1模範回答で学習SFTで素直にする
▶
2人が順位付け複数回答を良い順に
▶
3報酬モデルを学習好みを点数化する係
▶
4強化学習で調整点数が高くなる方向へ
▶
5人好みのAIに丁寧で安全な応答
なぜRLHFが必要か
事前学習だけでは、モデルの出力が人間にとって有用で安全であることは保証されません。「有用性」「正直さ」「無害性」といった人間の価値観をスカラーの報酬関数として定式化することは困難ですが、「出力Aと出力Bのどちらが良いか」という比較判断は人間が容易に行えます。RLHFはこの比較データを活用して間接的に報酬関数を学習します。
RLHFの課題と発展
報酬モデルの過最適化（Reward Hacking）、アノテーター間の一貫性の確保、計算コストの高さなどが課題です。DPO（Direct Preference Optimization）のようにRLステップを省略する手法や、AI自身のフィードバックを使うRLAIFなどの発展手法も研究されています。