残差結合とResNetとは
残差結合（Residual Connection、Skip Connection）は、2015年にヘ・カイミンらが提案したResNet（Residual Network）の核心技術です。層の入力を出力にそのまま加算する「ショートカット接続」を導入することで、非常に深いネットワークの学習を可能にしました。ResNetはImageNet 2015で優勝し、152層もの深層ネットワークの訓練に成功しました。
| ひとことで言うと | 入力をそのまま先へ飛ばす「近道」を作り、非常に深いネットワークを学習可能にした仕組み。 |
|---|---|
| 何がうれしいか | 100層を超える深さでも勾配が届き、精度が上がり続けるようになった。 |
| 注意点 | 深くすれば必ず良くなるわけではない。計算コストとのバランスを見る。 |
残差学習の原理
通常のネットワークが目的の関数H(x)を直接学習するのに対し、残差ブロックでは残差関数F(x) = H(x) - xを学習します。出力はF(x) + xとなり、入力xがそのまま出力に加算されます。恒等写像を学習するのは困難ですが、残差をゼロに近づけることは容易なため、深いネットワークでも効果的な学習が実現できます。
1入力x前の層の出力
▶
2層で変換F(x)を計算
▶
3近道で足す出力＝F(x)＋x
▶
4勾配が直通深くても学習が届く
※ 層は「差分（残差）」だけを学べばよくなるので、学習がぐっと楽になります。
勾配消失問題の解決
残差結合により、勾配が浅い層まで直接伝播するパスが確保されます。これは「勾配のハイウェイ」として機能し、深いネットワークにおける勾配消失問題を効果的に緩和します。この原理はTransformerの各層にも採用されており、現代のディープラーニングアーキテクチャに広く普及しています。
ResNetの派生と影響
ResNetの成功を受けて、ResNeXt（グループ畳み込みの導入）、WideResNet（チャネル数の拡張）、Pre-activation ResNet（活性化関数の配置変更）など、多くの派生アーキテクチャが提案されました。残差結合の概念は、DenseNetのDense Connectionや、Transformerの設計にも大きな影響を与えています。