VRAM（Video RAM）とは、GPU上に搭載されている専用メモリで、グラフィックスやAI演算で使用するデータを格納します。AI文脈では、ニューラルネットワークのパラメータ、中間活性化値、勾配データなどを保持するために使用され、VRAMの容量がモデルサイズや学習バッチサイズの上限を決定する重要な制約要因です。
VRAMとAI学習の関係
ディープラーニングの学習では、モデルの全パラメータ、オプティマイザの状態（AdamならパラメータのEMAが2つ）、順伝播の活性化値、逆伝播の勾配をVRAMに保持する必要があります。例えば70億パラメータのモデルをFP16で学習するには、パラメータだけで14GB、全体では数十GBのVRAMが必要です。
VRAMの種類
コンシューマGPU（GeForce）ではGDDR6/GDDR6Xが、データセンターGPU（A100、H100など）ではHBM2E/HBM3が使用されます。HBMはGDDRと比較して帯域幅が大幅に高く、大容量化も可能であるため、AI学習ワークロードに適しています。
VRAM不足への対策
VRAM不足は学習時の一般的な問題で、混合精度学習（FP16/BFloat16）、勾配チェックポイント、モデル並列、ZeRO最適化、モデルのオフローディング（CPU/ディスクへの退避）など、さまざまな手法で対処できます。推論時にはモデル量子化（INT8/INT4）により必要なVRAMを大幅に削減できます。