MLPerfとは
MLPerf とは、機械学習システムの性能を公正かつ標準化された方法で測定するためのベンチマークスイートです。MLCommons（旧MLPerf）により管理されており、ハードウェアとソフトウェアの両面からML性能を評価します。訓練速度と推論速度の2つのカテゴリで、さまざまなMLタスクの処理時間を測定します。
MLPerf Training
MLPerf Trainingは、指定されたモデルを指定された精度まで訓練するのに必要な時間を測定します。画像分類（ResNet-50）、物体検出（Mask R-CNN）、自然言語処理（BERT）、推薦（DLRM）、強化学習（MiniGo）など、複数のベンチマークタスクが含まれています。
MLPerf Inference
MLPerf Inferenceは、訓練済みモデルの推論速度を測定します。レイテンシ（単一推論の応答時間）とスループット（単位時間あたりの推論数）の両方を評価し、サーバーシナリオとエッジシナリオなど、実運用に近い条件での性能を測定します。
MLPerfの意義
MLPerfはNVIDIA、Google、Intel、AMD、Microsoftなど主要なハードウェア・クラウドベンダーが参加しており、ML用ハードウェアの性能比較の業界標準となっています。公正な比較条件と透明性の高いルールにより、ベンダー間の競争を促進し、ML基盤技術の進歩に貢献しています。