重み初期化

Weight Initialization

重み初期化(Weight Initialization)とは、ニューラルネットワークの学習開始前にパラメータ(重み)の初期値を設定する手法です。適切な初期化は学習の収束速度と最終性能に大きく影響します。

なぜ初期化が重要か

すべての重みを0に初期化すると、すべてのニューロンが同じ出力と勾配を持ち、学習が進みません(対称性の破れが起きない)。大きすぎる値では勾配爆発、小さすぎる値では勾配消失が発生します。

代表的な初期化手法

Xavier(Glorot)初期化はシグモイド/tanh用で入出力ユニット数に基づいて分散を設定します。He初期化はReLU用で、ReLUの特性(負の値がゼロになる)を考慮した分散設定を行います。

事前学習モデルの初期化

転移学習では事前学習済みの重みを初期値として使用し、追加層のみをXavier/He初期化で初期化するのが一般的です。