InstructGPTとは
InstructGPT（インストラクトGPT）とは、OpenAIが2022年に発表した、人間の指示（Instruction）に忠実に従うよう訓練されたLLMです。RLHFの手法を初めて大規模に適用した画期的なモデルであり、後のChatGPTの技術的基盤となりました。InstructGPTは1.3Bパラメータという比較的小さなモデルでありながら、175BパラメータのGPT-3を超えるユーザー満足度を達成したことで大きな注目を集めました。
| ひとことで言うと | 人の指示に従うよう調整され、ChatGPTの土台になったモデル。 |
|---|---|
| どこで使う | 指示追従型LLMの原型として、RLHFの仕組みを理解するときの教材。 |
| 注意点 | 現在は後継モデルが主流。実務で使うというより、仕組みを押さえる用語。 |
InstructGPTの訓練方法
InstructGPTの訓練は3段階で構成されます。まず、人間のラベラーが作成した高品質な指示-応答ペアでGPT-3を教師ありファインチューニング（SFT）します。次に、モデルの複数の出力を人間がランキングしたデータから報酬モデルを訓練します。最後に、PPOアルゴリズムを用いた強化学習で、報酬モデルのスコアを最大化するようモデルを最適化します。
1GPT-3を用意指示には従わない状態
▶
2模範回答で学習人が書いた答えでSFT
▶
3回答を順位付け人が良い順に並べる
▶
4報酬モデル好みを点数化
▶
5強化学習で仕上げ指示に従う形に
※ この3段階（SFT→報酬モデル→強化学習）が、そのままRLHFの標準手順になりました。
InstructGPTの影響
InstructGPTは、LLMの開発パラダイムに根本的な変革をもたらしました。それまでの「モデルを大きくすれば性能が上がる」というスケーリング一辺倒のアプローチから、「人間の意図に沿うよう調整する」というアライメント重視のアプローチへの転換を促しました。この成功により、RLHFは現在のほぼ全ての商用LLMで標準的な訓練プロセスとして採用されています。