リアルタイム推論とは
リアルタイム推論（Real-time Inference / オンライン推論）とは、個々のリクエストに対して即座に（通常はミリ秒〜数秒以内に）予測結果を返す推論方式です。ユーザーの操作やイベントに対してリアルタイムで応答する必要があるアプリケーションで使用されます。
リアルタイム推論の要件
リアルタイム推論には、低レイテンシ（通常100ミリ秒以下）、高可用性（99.9%以上のアップタイム）、スケーラビリティ（負荷変動への対応）が求められます。SLAとして「p99レイテンシが200ミリ秒以内」のような具体的な数値目標を設定し、継続的に監視します。
リアルタイム推論の適用事例
チャットボットの応答、検索結果のランキング、リアルタイムレコメンデーション、不正取引のリアルタイム検出、自動運転の物体検出、音声アシスタントの認識処理など、即座の応答が必要なあらゆるアプリケーションでリアルタイム推論が使われています。
インフラ構成
リアルタイム推論のインフラは、ロードバランサー、推論サーバー（Triton、TorchServe、vLLMなど）、GPUインスタンス、オートスケーラー、モニタリングシステムで構成されます。モデルのウォームアップ（事前ロード）、コネクションプーリング、キャッシュ戦略が応答時間の安定化に重要です。エッジデバイスでのリアルタイム推論も増加しています。