GPTシリーズの進化とは
GPT（Generative Pre-trained Transformer）シリーズは、OpenAIが開発した大規模言語モデルのファミリーで、テキスト生成AIの発展を象徴する存在です。2018年のGPT-1から2023年のGPT-4まで、各世代で飛躍的な能力向上を遂げてきました。
| ひとことで言うと | 規模を拡大し続けることで能力が飛躍していった、GPTシリーズの歩み。 |
|---|---|
| 何が示されたか | アーキテクチャを大きく変えなくても、規模の拡大で能力が伸びる（スケーリング則）。 |
| 注意点 | 近年は単純な巨大化から、効率化と推論能力の強化へ軸足が移りつつある。 |
GPT-1（2018年）
GPT-1は1.17億パラメータのTransformerモデルで、大規模テキストでの事前学習と特定タスクへのファインチューニングという二段階学習パラダイムを確立しました。当時の性能は限定的でしたが、言語モデルのスケーリングの可能性を示しました。
1GPT-1（2018）1.17億パラメータ
▶
2GPT-2（2019）15億 文章生成が自然に
▶
3GPT-3（2020）1750億 少数例で対応
▶
4ChatGPT（2022）対話調整で一般普及
▶
5GPT-4以降マルチモーダル・推論強化
GPT-2（2019年）とGPT-3（2020年）
GPT-2は15億パラメータに拡大し、人間が書いたかのような文章を生成する能力を示しました。OpenAIは悪用への懸念から当初モデルの完全公開を見送り、AI倫理の議論を喚起しました。GPT-3は1750億パラメータへとさらに巨大化し、Few-shot学習（少数の例示だけでタスクを実行する能力）を実現して、大規模言語モデルの時代を切り開きました。
GPT-4（2023年）とその先
GPT-4はマルチモーダル対応（画像と文のテキスト処理）を実現し、司法試験やGREなどの専門試験で人間の上位レベルの成績を収めました。GPTシリーズの進化は、パラメータ数の増大、学習データの拡充、RLHFによるアラインメントなどの複合的な要因によるものであり、AIのスケーリング則を体現する事例となっています。