標準化

Standardization

標準化(Standardization / Z-score Normalization)とは、データの平均を0、標準偏差を1に変換するスケーリング手法です。z = (x - μ) / σ で計算され、外れ値の影響を受けにくく、多くの機械学習アルゴリズムの前処理として広く使われています。

標準化の利点

正規分布に従うデータとの相性が良く、外れ値の影響が正規化(Min-Max)よりも限定的です。PCA、ロジスティック回帰、SVM、ニューラルネットワークなど、多くのアルゴリズムで標準化が推奨されています。

表:標準化の要点まとめ
ひとことで言うと平均0・標準偏差1になるようにデータを変換する前処理。
どこで使う回帰分析、SVM、k-means、主成分分析など、多くの手法で前提になる。
注意点訓練データの平均・標準偏差を、検証・テストにもそのまま使うこと。

正規化との使い分け

明確な最大値・最小値がある場合(画像のピクセル値0〜255など)は正規化が、データの分布が正規分布に近い場合や外れ値がある場合は標準化が適しています。決定木ベースの手法ではスケーリング不要です。

図:標準化の手順
1平均を計算訓練データで求める
▶
2平均を引く中心を0にそろえる
▶
3標準偏差で割るばらつきを1にそろえる
▶
4単位が消える円と個数を公平に比較

※ 単位の違う列(売上=百万円、人数=10人)を同じ土俵に乗せるための処理です。