AUC（Area Under the Curve）とは、ROC曲線の下の面積を数値化した指標で、分類モデルの総合的な性能を0〜1の値で表します。AUCが1に近いほど優れたモデルであり、0.5はランダム分類器と同等の性能を意味します。
AUCの解釈
AUCは「ランダムに選んだ陽性サンプルと陰性サンプルに対して、モデルが陽性サンプルにより高いスコアを付ける確率」と解釈できます。閾値に依存しない指標であるため、モデル間の比較に適しています。
| ひとことで言うと | ROC曲線の下の面積。モデルの総合的な識別力を1つの数値で表す。 |
|---|---|
| 読み方 | 0.5＝当てずっぽう、0.7〜0.8＝まずまず、0.9以上＝優秀。 |
| 注意点 | しきい値を決めない評価なので、実運用の性能とは別に確認が必要。 |
AUCの目安
一般的に、AUC 0.9以上：優秀、0.8〜0.9：良好、0.7〜0.8：まずまず、0.6〜0.7：不十分、0.5〜0.6：ほぼランダムとされますが、タスクの難易度により目安は異なります。
1ROC曲線を描くしきい値を動かして作図
▶
2下の面積を求める0〜1の値になる
▶
30.5は無意味ランダムと同じ
▶
41.0は完璧陽性を必ず上位に置ける
AUC-PRとの使い分け
不均衡データではROC-AUCが過度に楽観的な値を示す場合があり、AUC-PR（Precision-Recall曲線の面積）がより適切な指標となります。