NVLink（エヌブイリンク）とは、NVIDIAが開発したGPU間・GPU-CPU間の高速インターコネクト技術です。PCIeを大幅に上回る帯域幅を提供し、マルチGPU環境でのデータ転送ボトルネックを解消することで、大規模なAI学習の効率を飛躍的に向上させます。
NVLinkの帯域幅
NVLink 4.0（Hopper世代）は双方向で900GB/sの帯域幅を提供し、PCIe 5.0 x16（約64GB/s）の約14倍に達します。NVLink 5.0（Blackwell世代）ではさらに帯域幅が拡大しています。この大容量の帯域幅により、GPU間のパラメータ同期やテンソル分割がボトルネックなく実行できます。
NVSwitch
NVSwitchは、複数のGPUをNVLinkで全対全接続するためのスイッチチップです。NVIDIA DGX H100では8台のH100 GPUがNVSwitchで接続され、各GPU間が均等な帯域幅で通信できます。DGX B200では次世代NVSwitchによりさらに大規模な接続が可能です。
大規模学習への影響
テンソル並列やパイプライン並列では、GPU間で頻繁にデータを交換するため、インターコネクトの帯域幅が学習効率に直結します。NVLinkの高帯域幅は、数百〜数千GPU規模の大規模モデル学習において不可欠なインフラです。NVLink/NVSwitchのネットワークがNVIDIAのAIインフラの差別化要因となっています。