GPTシリーズの進化とは
GPT（Generative Pre-trained Transformer）シリーズは、OpenAIが開発した大規模言語モデルのファミリーで、テキスト生成AIの発展を象徴する存在です。2018年のGPT-1から2023年のGPT-4まで、各世代で飛躍的な能力向上を遂げてきました。
GPT-1（2018年）
GPT-1は1.17億パラメータのTransformerモデルで、大規模テキストでの事前学習と特定タスクへのファインチューニングという二段階学習パラダイムを確立しました。当時の性能は限定的でしたが、言語モデルのスケーリングの可能性を示しました。
GPT-2（2019年）とGPT-3（2020年）
GPT-2は15億パラメータに拡大し、人間が書いたかのような文章を生成する能力を示しました。OpenAIは悪用への懸念から当初モデルの完全公開を見送り、AI倫理の議論を喚起しました。GPT-3は1750億パラメータへとさらに巨大化し、Few-shot学習（少数の例示だけでタスクを実行する能力）を実現して、大規模言語モデルの時代を切り開きました。
GPT-4（2023年）とその先
GPT-4はマルチモーダル対応（画像と文のテキスト処理）を実現し、司法試験やGREなどの専門試験で人間の上位レベルの成績を収めました。GPTシリーズの進化は、パラメータ数の増大、学習データの拡充、RLHFによるアラインメントなどの複合的な要因によるものであり、AIのスケーリング則を体現する事例となっています。