VRAM（Video RAM）とは、GPU上に搭載されている専用メモリで、グラフィックスやAI演算で使用するデータを格納します。AI文脈では、ニューラルネットワークのパラメータ、中間活性化値、勾配データなどを保持するために使用され、VRAMの容量がモデルサイズや学習バッチサイズの上限を決定する重要な制約要因です。
VRAMとAI学習の関係
ディープラーニングの学習では、モデルの全パラメータ、オプティマイザの状態（AdamならパラメータのEMAが2つ）、順伝播の活性化値、逆伝播の勾配をVRAMに保持する必要があります。例えば70億パラメータのモデルをFP16で学習するには、パラメータだけで14GB、全体では数十GBのVRAMが必要です。
| ひとことで言うと | GPUに搭載された専用メモリ。扱えるモデルの大きさを決める。 |
|---|---|
| 目安 | 70億パラメータのLLMを動かすには、16bitで約14GB以上が必要。 |
| 注意点 | 足りないとそもそも動かない。量子化でメモリ必要量を減らせる。 |
VRAMの種類
コンシューマGPU（GeForce）ではGDDR6/GDDR6Xが、データセンターGPU（A100、H100など）ではHBM2E/HBM3が使用されます。HBMはGDDRと比較して帯域幅が大幅に高く、大容量化も可能であるため、AI学習ワークロードに適しています。
1モデルの重みパラメータ数×精度
▶
2中間結果計算途中のデータ
▶
3バッチサイズ分同時処理数に比例
▶
4合計がVRAM以下超えると動かない
▶
5量子化で削減4bit化で1/4に
VRAM不足への対策
VRAM不足は学習時の一般的な問題で、混合精度学習（FP16/BFloat16）、勾配チェックポイント、モデル並列、ZeRO最適化、モデルのオフローディング（CPU/ディスクへの退避）など、さまざまな手法で対処できます。推論時にはモデル量子化（INT8/INT4）により必要なVRAMを大幅に削減できます。