バックプロパゲーション（歴史）

バックプロパゲーションとは

バックプロパゲーション（誤差逆伝播法、Backpropagation）は、多層ニューラルネットワークの学習を可能にする画期的なアルゴリズムです。出力層の誤差を入力層に向かって逆方向に伝播させ、各層の重みを効率的に更新する手法で、現代のディープラーニングの基盤となっています。

発見と再発見の歴史

バックプロパゲーションのアイデアは複数の研究者によって独立に発見されました。1970年にフィンランドのセッポ・リンナインマーが修士論文で提案し、1974年にはポール・ワーボスが博士論文で記述しました。しかし最も大きな影響を与えたのは、1986年にデイビッド・ラメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズがNature誌に発表した論文です。

ニューラルネットワーク復活の鍵

ラメルハートらの論文は、バックプロパゲーションにより多層ネットワークが内部表現を自動的に学習できることを示しました。これにより、パーセプトロンの限界として指摘されていたXOR問題が解決可能になり、ニューラルネットワーク研究の復興が始まりました。

現代への影響

バックプロパゲーションは現在も深層学習の中核的な学習アルゴリズムです。勾配消失問題やローカルミニマムなどの課題に対して、ReLU活性化関数やバッチ正規化などの改良が加えられてきましたが、基本原理は1986年から変わっていません。ヒントンは2024年にこの功績によりノーベル物理学賞を受賞しました。