CUDA（Compute Unified Device Architecture）とは、NVIDIAが開発したGPU上での汎用並列コンピューティングプラットフォームおよびプログラミングモデルです。C/C++やPythonなどのプログラミング言語からGPUの演算能力を直接活用することを可能にし、AIや科学技術計算の分野で広く利用されています。
CUDAの仕組み
CUDAでは、GPU上で実行される関数を「カーネル」として定義し、数千のスレッドを同時に起動して並列処理を行います。プログラマはスレッドの階層構造（グリッド、ブロック、スレッド）を指定し、GPUのメモリ管理やデータ転送を制御します。CUDA ToolkitにはコンパイラやプロファイラなどのDeveloper Toolsが含まれています。
| ひとことで言うと | NVIDIA製GPUで汎用計算を行うための開発環境。 |
|---|---|
| なぜ重要か | 主要なAIフレームワークがCUDA前提で作られており、事実上の標準になっている。 |
| 注意点 | NVIDIA製GPUでしか動かない。他社チップへの移行障壁になっている。 |
AIにおけるCUDAの重要性
PyTorch、TensorFlow、JAXなどの主要な深層学習フレームワークは、すべてCUDAを基盤としてGPU演算を実現しています。CUDAなしにはこれらのフレームワークでのGPU学習は不可能であり、CUDAはAIエコシステムの基盤技術と言えます。
1PyTorchなどで記述利用者はここを書く
▶
2CUDAが橋渡しGPU向けに変換
▶
3GPUが実行並列に高速処理
▶
4結果を返す利用者は意識しない
CUDAの課題と代替技術
CUDAはNVIDIA GPU専用であり、ベンダーロックインの要因となっています。これに対し、OpenCL、SYCL、ROCm（AMD）などのオープンな代替技術が存在しますが、エコシステムの成熟度ではCUDAが依然として優位に立っています。CUDAの優位性がNVIDIAの市場支配力を支える大きな要因です。