分散学習とは
分散学習（Distributed Training）とは、機械学習モデルの学習処理を複数のGPUやノード（サーバー）に分散させて並列に実行する技術です。大規模言語モデルや画像生成モデルなど、単一のGPUでは学習に数か月かかるようなモデルを、数日〜数週間で学習完了させることを可能にします。
分散学習の手法
分散学習には主に3つの並列化手法があります。データ並列（各GPUが同じモデルのコピーを持ち、異なるデータで同時に学習）、モデル並列（1つのモデルを複数のGPUに分割）、パイプライン並列（モデルの層を複数GPUに分割しパイプライン的に処理）です。実際の大規模学習ではこれらを組み合わせた3D並列が使われます。
通信の課題
分散学習ではGPU間・ノード間の通信がボトルネックになります。勾配の集約にはAllReduce操作が必要で、NCCL（NVIDIA Collective Communications Library）が標準的に使われます。InfiniBand、NVLink、NVSwitchなどの高速インターコネクトが通信ボトルネックの軽減に重要です。
分散学習フレームワーク
Horovod、DeepSpeed、PyTorch FSDP、Megatron-LMなどのフレームワークが分散学習をサポートしています。これらは複雑な通信パターンやメモリ管理を抽象化し、少ないコード変更で分散学習を実現できるようにしています。