交差エントロピー（Cross-Entropy Loss）とは、分類タスクで最も広く使用される損失関数です。モデルの予測確率分布と実際のラベル分布の「距離」を測定し、予測が正解に近いほど損失が小さくなります。
バイナリ交差エントロピー
二値分類ではL = -[y·log(p) + (1-y)·log(1-p)]で計算されます（yは正解ラベル、pはモデルの予測確率）。ロジスティック回帰の損失関数としても知られています。
カテゴリカル交差エントロピー
多クラス分類ではL = -Σ y_i·log(p_i)で計算されます。ソフトマックス関数と組み合わせて使用するのが標準的です。
情報理論との関係
交差エントロピーは情報理論に基づく概念で、真の分布qに対する予測分布pのKLダイバージェンスにエントロピーを足したものです。機械学習では最も理論的に洗練された損失関数の一つです。