Google TPU

Google Tensor Processing Unit

Google TPU(Tensor Processing Unit)とは、GoogleがAI・機械学習ワークロード専用に自社設計したカスタムASICチップです。Google検索、Gmail、Google翻訳、YouTube推薦など、Googleの主要サービスのAI処理を支えるとともに、Google Cloudを通じて外部開発者にも提供されています。

TPUの技術アーキテクチャ

TPUの中核は大規模な行列演算ユニット(MXU)で、シストリックアレイ方式を採用しています。データを効率的に流しながら演算を行う方式により、メモリアクセスのボトルネックを最小化し、高いスループットを実現します。チップ間を高速接続するICI(Inter-Chip Interconnect)により、数千チップ規模の分散学習に対応します。

表:Google TPUの要点まとめ
ひとことで言うとGoogleが開発・運用するAI専用プロセッサ。検索やGeminiの基盤。
どこで使うGoogle Cloud上での大規模モデルの学習と推論。
注意点NVIDIA GPUとは開発環境が異なる。移行にはコード対応が必要。

TPUの世代別進化

TPU v1(2015年)は推論専用でしたが、v2以降は学習にも対応し、世代ごとに演算性能とメモリ容量が大幅に向上しています。TPU v4はGPT-3クラスの大規模モデル学習に対応し、v5eは推論コスト効率に優れ、v5pは学習性能を最大化しています。

図:TPUの世代と使い方
1自社サービス向けに開発検索・翻訳の高速化
▶
2世代を重ねて強化学習にも対応
▶
3クラウドで一般提供誰でも利用可能に
▶
4大規模並列Podとして多数を連結

利用方法とエコシステム

Google CloudのCloud TPUサービスとして利用可能で、TensorFlowやJAXとの統合が最も進んでいます。PyTorchもPyTorch/XLAを介して利用可能です。Google DeepMindの研究でも広く使われ、Geminiなどの大規模モデルの学習にTPUが活用されています。