交差エントロピー（Cross-Entropy Loss）とは、分類タスクで最も広く使用される損失関数です。モデルの予測確率分布と実際のラベル分布の「距離」を測定し、予測が正解に近いほど損失が小さくなります。
バイナリ交差エントロピー
二値分類ではL = -[y·log(p) + (1-y)·log(1-p)]で計算されます（yは正解ラベル、pはモデルの予測確率）。ロジスティック回帰の損失関数としても知られています。
| ひとことで言うと | 分類で「正解のクラスにどれだけ高い確率を付けられたか」を測る損失関数。 |
|---|---|
| どこで使う | 画像分類、テキスト分類、言語モデルなど分類タスク全般。 |
| 注意点 | 自信をもって間違えると損失が非常に大きくなる。過信を強く罰する設計。 |
カテゴリカル交差エントロピー
多クラス分類ではL = -Σ y_i·log(p_i)で計算されます。ソフトマックス関数と組み合わせて使用するのが標準的です。
1予測確率「猫70% 犬30%」
▶
2正解クラスを見る実際は猫だった
▶
3その確率の対数低いほど大きな罰
▶
4符号を反転損失として扱う
▶
5小さくする正解に高確率を付ける方向へ
情報理論との関係
交差エントロピーは情報理論に基づく概念で、真の分布qに対する予測分布pのKLダイバージェンスにエントロピーを足したものです。機械学習では最も理論的に洗練された損失関数の一つです。