グリーディデコーディングとは
グリーディデコーディング(Greedy Decoding)とは、テキスト生成の各ステップにおいて、最も確率の高いトークンを無条件に選択するデコーディング手法です。「貪欲法」とも呼ばれ、最もシンプルなテキスト生成方式です。温度パラメータを0に設定した場合と実質的に同じ動作になります。
グリーディデコーディングの仕組みと特徴
モデルが確率分布を計算した後、常にargmax(最大確率のトークン)を選択します。計算が高速で実装も単純なため、推論コストが最も低い方式です。同じ入力に対して常に同じ出力を返す決定論的な性質を持つため、再現性が必要な場面や、厳密な正確性が求められるタスクに適しています。
グリーディデコーディングの限界
各ステップで局所的に最適なトークンを選ぶため、全体として最適な系列が得られるとは限りません。例えば、最初のトークンで確率2位の候補を選んだ方が、後続のトークン列の確率が高くなり、結果として全体の品質が向上するケースがあります。また、出力に多様性がなく、同じフレーズの繰り返しやつまらない文章が生成されやすいという問題もあります。これらの限界を克服するために、ビームサーチやTop-pサンプリングなどの高度な手法が開発されました。