精度(Accuracy)とは、全予測のうち正しい予測の割合を表す最も基本的な分類評価指標です。(TP+TN)/(TP+FP+TN+FN)で計算され、直感的に理解しやすい指標ですが、不均衡データでは誤解を招く場合があります。
不均衡データでの問題
例えば、99%が正常で1%が異常のデータで「すべて正常」と予測するモデルは精度99%を達成しますが、異常検知には全く役立ちません。このような場合は適合率、再現率、F値など他の指標を併用する必要があります。
| ひとことで言うと | 全体のうち、正しく予測できた割合を表す最も基本的な指標。 |
|---|---|
| どこで使う | 各クラスの件数が同じくらいのときの、分類モデルの総合評価。 |
| 注意点 | 不均衡データでは無意味になる。99%が正常なら「全部正常」で99%になる。 |
精度を使うべき場面
クラス分布が均等で、偽陽性と偽陰性のコストが同等の場合に有効です。例えば、手書き数字認識(0〜9の各クラスがほぼ均等)などでは精度が適切な評価指標となります。
1不良品1%のライン1000個中10個が不良
▶
2全部「良品」と予測何も判定しないモデル
▶
3精度は99%数字上は高得点
▶
4不良は0個検出実務では全く使えない
※ 不均衡データでは、再現率・適合率・F値もあわせて確認してください。