レイテンシ最適化とは
レイテンシ最適化（Latency Optimization）とは、システムの応答時間（レイテンシ）を短縮するための技術的な取り組みの総称です。AI推論サービスにおいては、ユーザーがリクエストを送信してから予測結果を受け取るまでの時間を最小化することを目指します。
| ひとことで言うと | リクエストから応答までの待ち時間を短くする取り組み。 |
|---|---|
| 主な手段 | モデルの軽量化、キャッシュ、事前読み込み、配置場所の工夫、ストリーミング。 |
| 注意点 | スループットとは別物。片方を上げると他方が下がる場合がある。 |
推論レイテンシの構成要素
推論レイテンシは、ネットワーク遅延、前処理時間、モデル推論時間、後処理時間、シリアライゼーション時間で構成されます。ボトルネックの特定にはプロファイリングが不可欠で、各段階の時間を計測して最も大きな改善が見込める箇所に集中的に取り組むことが効果的です。
1どこが遅いか測る工程ごとに分解
▶
2モデルを軽量化量子化や蒸留
▶
3キャッシュを使う同じ問合せは再利用
▶
4近くに配置エッジやリージョン選択
▶
5体感を改善ストリーミング表示
モデルレベルの最適化
モデルの量子化（FP32→FP16→INT8）、知識蒸留（大型モデルから小型モデルへの知識転移）、プルーニング（不要なパラメータの除去）、TensorRTやONNX Runtimeによるモデル最適化が有効です。大規模言語モデルではSpeculative Decodingや KV Cacheの最適化が重要な手法です。
インフラレベルの最適化
地理的に近いリージョンへのデプロイ、CDNの活用、コネクションプーリング、モデルのプリロード（ウォームスタート）、GPUの効率的な利用（バッチ処理のチューニング、CUDA Streamの活用）、通信プロトコルの最適化（REST→gRPC）などのインフラレベルの施策もレイテンシ削減に寄与します。