レイテンシ最適化とは
レイテンシ最適化（Latency Optimization）とは、システムの応答時間（レイテンシ）を短縮するための技術的な取り組みの総称です。AI推論サービスにおいては、ユーザーがリクエストを送信してから予測結果を受け取るまでの時間を最小化することを目指します。
推論レイテンシの構成要素
推論レイテンシは、ネットワーク遅延、前処理時間、モデル推論時間、後処理時間、シリアライゼーション時間で構成されます。ボトルネックの特定にはプロファイリングが不可欠で、各段階の時間を計測して最も大きな改善が見込める箇所に集中的に取り組むことが効果的です。
モデルレベルの最適化
モデルの量子化（FP32→FP16→INT8）、知識蒸留（大型モデルから小型モデルへの知識転移）、プルーニング（不要なパラメータの除去）、TensorRTやONNX Runtimeによるモデル最適化が有効です。大規模言語モデルではSpeculative Decodingや KV Cacheの最適化が重要な手法です。
インフラレベルの最適化
地理的に近いリージョンへのデプロイ、CDNの活用、コネクションプーリング、モデルのプリロード（ウォームスタート）、GPUの効率的な利用（バッチ処理のチューニング、CUDA Streamの活用）、通信プロトコルの最適化（REST→gRPC）などのインフラレベルの施策もレイテンシ削減に寄与します。