MLPerf（エムエルパフ）とは、MLCommons（業界コンソーシアム）が策定・運営するAI・機械学習ハードウェアおよびソフトウェアの標準ベンチマークスイートです。AIチップやシステムの性能を公平かつ再現可能な方法で比較するための業界標準として広く認知されています。
MLPerfの構成
MLPerfには複数のベンチマークが含まれます。MLPerf Training（学習ベンチマーク）はモデルの学習速度を、MLPerf Inference（推論ベンチマーク）は推論のスループットとレイテンシを測定します。また、MLPerf HPC（高性能計算向け）、MLPerf Tiny（組み込み・エッジ向け）など、用途別のベンチマークも用意されています。
測定対象と評価方法
MLPerf Trainingでは、画像認識（ResNet-50）、自然言語処理（BERT）、推薦システム（DLRM）、大規模言語モデル（GPT-3相当）などのモデルを規定の精度まで学習するのに要する時間を測定します。MLPerf Inferenceでは、サーバーシナリオ、オフラインシナリオなど実用的な条件下でのスループットとレイテンシを評価します。
業界での活用
NVIDIA、Google、Intel、AMD、Qualcommなどの主要チップメーカーがMLPerfの結果を公開し、自社製品の性能をアピールしています。ユーザーはMLPerfの結果を参考にハードウェア選定を行えますが、実際のワークロードとベンチマークの条件は異なるため、自社タスクでの実測評価も重要です。MLPerfは半年ごとに結果が更新され、AI性能のトレンドを追う指標にもなっています。