コンテキストウィンドウとは
コンテキストウィンドウ（Context Window）とは、大規模言語モデル（LLM）が一度の推論で処理できるトークンの最大数を指します。入力プロンプトと出力テキストの合計トークン数がこの範囲内に収まる必要があり、モデルの「記憶容量」や「作業領域」に例えられます。
コンテキストウィンドウのサイズと進化
初期のGPT-3では約4,000トークンでしたが、技術の進歩により急速に拡大しています。GPT-4 Turboでは128,000トークン、Claude 3では200,000トークン、Gemini 1.5 Proでは最大100万トークンのコンテキストウィンドウを持つモデルも登場しています。これにより、長い文書の要約や大規模なコードベースの分析、複雑な会話の維持が可能になりました。
コンテキストウィンドウの活用と制約
コンテキストウィンドウが大きいほど多くの情報を同時に処理できますが、トークン数に応じてAPI利用コストも増加します。また、コンテキストが長くなると処理速度が低下したり、中間部分の情報への注意が薄れる「Lost in the Middle」問題が生じたりすることがあります。RAGやチャンキングなどの技術を組み合わせることで、限られたコンテキストウィンドウを効率的に活用する工夫が重要です。