シグモイド関数（Sigmoid Function）とは、任意の実数値を0から1の範囲に変換するS字型の関数です。σ(x) = 1/(1+e^(-x))で定義され、確率の表現や二値分類の出力層で使用されます。
特性
シグモイド関数の出力は0と1に漸近し、x=0のとき0.5を出力します。微分可能で滑らかな関数であり、出力を確率として解釈できることが大きな利点です。
勾配消失問題
シグモイド関数の勾配は最大でも0.25であり、深いネットワークでは逆伝播時に勾配が指数的に小さくなる「勾配消失問題」が発生します。このため、現在の深層学習の隠れ層ではReLUが主流となっています。
現在の使い方
隠れ層の活性化関数としての利用は減りましたが、二値分類の出力層、ゲート機構（LSTMやGRUの内部）、注意機構の重みの計算などでは依然として重要な役割を果たしています。