GPUインスタンスとは
GPUインスタンス（GPU Instance）とは、NVIDIA やAMDなどのGPUを搭載したクラウド上の仮想マシンです。AI/MLの学習・推論、高性能計算（HPC）、動画処理などGPUアクセラレーションが必要なワークロードに特化しており、通常のCPUインスタンスでは得られない圧倒的な並列計算性能を提供します。
GPUインスタンスの種類
GPUインスタンスは搭載GPU の種類と数によって多くのバリエーションがあります。推論用途にはNVIDIA T4やL4を搭載したコスト効率の高いインスタンス、中規模の学習にはA10Gを搭載したインスタンス、大規模学習にはA100やH100を8基搭載したインスタンスが選ばれます。
選択のポイント
GPUインスタンスの選択では、GPUメモリ容量、GPU間・ノード間の通信帯域、コストパフォーマンスが重要です。大規模言語モデルの学習ではGPUメモリが特に重要で、A100の80GBやH100の80GBが求められます。また、マルチGPUでの学習にはNVLinkやNVSwitchによるGPU間通信速度も考慮する必要があります。
スポットインスタンスの活用
AWSのスポットインスタンスやGCPのプリエンプティブルVMを使えば、オンデマンド価格の60〜90%割引でGPUを利用できます。中断される可能性がありますが、チェックポイント機能を活用すれば学習の中断・再開が可能で、コスト効率を大幅に向上させられます。