vLLMとは
vLLM（ブイエルエルエム）は、大規模言語モデル（LLM）の高速推論とサービングのためのオープンソースライブラリです。UCバークレーの研究チームが開発し、PagedAttentionという革新的なメモリ管理技術により、従来の推論エンジンと比較して最大24倍のスループットを実現しています。
PagedAttention技術
vLLMの核心技術であるPagedAttentionは、OSの仮想メモリ管理に着想を得た手法です。LLM推論時のKVキャッシュ（Key-Value Cache）のメモリを効率的に管理することで、メモリの無駄を大幅に削減し、同じGPUメモリでより多くのリクエストを同時処理できるようになります。
高スループットサービング
vLLMは、連続バッチ処理（Continuous Batching）により、複数のリクエストを効率的に並行処理します。これにより、APIサーバーとして大量の推論リクエストを処理する場合のスループットが大幅に向上します。本番環境でのLLMサービングにおいて、コスト効率を大きく改善できます。
対応モデルと利用方法
vLLMは、Llama、Mistral、Qwen、Gemma、Phi、GPT-NeoXなど、主要なオープンソースLLMの多くに対応しています。OpenAI互換のAPIサーバーとして起動でき、既存のOpenAI API向けコードをそのまま利用可能です。HuggingFaceモデルの直接ロード、AWQ/GPTQ量子化モデルのサポートなど、実用的な機能も充実しています。