AUC

Area Under the Curve

AUC(Area Under the Curve)とは、ROC曲線の下の面積を数値化した指標で、分類モデルの総合的な性能を0〜1の値で表します。AUCが1に近いほど優れたモデルであり、0.5はランダム分類器と同等の性能を意味します。

AUCの解釈

AUCは「ランダムに選んだ陽性サンプルと陰性サンプルに対して、モデルが陽性サンプルにより高いスコアを付ける確率」と解釈できます。閾値に依存しない指標であるため、モデル間の比較に適しています。

AUCの目安

一般的に、AUC 0.9以上:優秀、0.8〜0.9:良好、0.7〜0.8:まずまず、0.6〜0.7:不十分、0.5〜0.6:ほぼランダムとされますが、タスクの難易度により目安は異なります。

AUC-PRとの使い分け

不均衡データではROC-AUCが過度に楽観的な値を示す場合があり、AUC-PR(Precision-Recall曲線の面積)がより適切な指標となります。