ニューラルネットワークの歴史
ニューラルネットワーク(Neural Network)の歴史は、生物の脳に着想を得た計算モデルの70年以上にわたる発展の軌跡です。何度もの浮き沈みを経て、現在のAI技術の中核を担うまでに成長しました。
| ひとことで言うと | 脳を模したモデルが、2度の停滞を経て現在の主役になるまでの歩み。 |
|---|---|
| 転機になったもの | 誤差逆伝播法(1986)、層ごとの事前学習(2006)、AlexNet(2012)。 |
| 注意点 | アイデア自体は古い。データと計算資源が揃って初めて花開いた。 |
誕生期(1940年代〜1950年代)
1943年、ウォーレン・マカロックとウォルター・ピッツが数理モデルとしての形式ニューロンを提案しました。1949年にはドナルド・ヘブが「ヘブ則」として知られる学習規則を提唱し、神経細胞間の結合強化のメカニズムを理論化しました。1958年にフランク・ローゼンブラットがパーセプトロンを発明し、機械学習の先駆けとなりました。
11943年 形式ニューロン数理モデルの誕生
▶
21958年 パーセプトロン学習する機械
▶
31986年 誤差逆伝播多層学習が可能に
▶
42006年 事前学習深い層も学習できる
▶
52012年 AlexNet圧倒的成果で主流へ
冬の時代(1970年代〜1980年代前半)
1969年、ミンスキーとパパートがパーセプトロンの数学的限界(XOR問題が解けないこと)を指摘し、ニューラルネットワーク研究は長い停滞期に入りました。しかし一部の研究者は研究を続け、重要な理論的基盤を築きました。
復活から革命へ(1980年代〜現在)
1986年のバックプロパゲーションの普及、1998年のルカンによる畳み込みニューラルネットワーク(LeNet)、2006年のヒントンによる深層信念ネットワーク、そして2012年のAlexNetの衝撃的な成功を経て、ニューラルネットワークはAI研究の主流となりました。現代のTransformerアーキテクチャや大規模言語モデルも、この長い歴史の延長線上にあります。