残差結合とResNetとは
残差結合（Residual Connection、Skip Connection）は、2015年にヘ・カイミンらが提案したResNet（Residual Network）の核心技術です。層の入力を出力にそのまま加算する「ショートカット接続」を導入することで、非常に深いネットワークの学習を可能にしました。ResNetはImageNet 2015で優勝し、152層もの深層ネットワークの訓練に成功しました。
残差学習の原理
通常のネットワークが目的の関数H(x)を直接学習するのに対し、残差ブロックでは残差関数F(x) = H(x) - xを学習します。出力はF(x) + xとなり、入力xがそのまま出力に加算されます。恒等写像を学習するのは困難ですが、残差をゼロに近づけることは容易なため、深いネットワークでも効果的な学習が実現できます。
勾配消失問題の解決
残差結合により、勾配が浅い層まで直接伝播するパスが確保されます。これは「勾配のハイウェイ」として機能し、深いネットワークにおける勾配消失問題を効果的に緩和します。この原理はTransformerの各層にも採用されており、現代のディープラーニングアーキテクチャに広く普及しています。
ResNetの派生と影響
ResNetの成功を受けて、ResNeXt（グループ畳み込みの導入）、WideResNet（チャネル数の拡張）、Pre-activation ResNet（活性化関数の配置変更）など、多くの派生アーキテクチャが提案されました。残差結合の概念は、DenseNetのDense Connectionや、Transformerの設計にも大きな影響を与えています。