深層信念ネットワークとは
深層信念ネットワーク（DBN: Deep Belief Network）は、2006年にジェフリー・ヒントンが提案した、複数の制限ボルツマンマシン（RBM）を層状に積み重ねた深層生成モデルです。深い層を持つニューラルネットワークの効果的な学習法を示し、ディープラーニング復興の転換点となりました。
| ひとことで言うと | 層ごとに順番に事前学習することで、深いネットワークの学習を可能にした手法。 |
|---|---|
| 誰が提案したか | 2006年にジェフリー・ヒントンらが提案した。 |
| なぜ重要か | 深層学習が実用可能だと示し、第3次ブームの引き金の一つになった。 |
勾配消失問題の克服
2006年以前、多層のニューラルネットワークは勾配消失問題により効果的な学習が困難でした。バックプロパゲーションで誤差を逆伝播させると、深い層ほど勾配が小さくなり学習が進まなくなるのです。ヒントンはRBMによる貪欲な層ごとの事前学習（Greedy Layer-wise Pre-training）を提案し、この問題を回避する方法を示しました。
1深いと学習できない勾配が届かない
▶
21層ずつ学習順番に積み上げる
▶
3良い初期値を得る全体学習の出発点に
▶
4全体を微調整深いまま学習が進む
▶
5深層学習が現実に2006年の転機
学習の手順
DBNの学習は二段階で行われます。まず、各RBM層を下層から順に教師なしで事前学習し、データの特徴を段階的に抽出します。次に、事前学習で得られた重みを初期値として、通常のバックプロパゲーションでファインチューニングを行います。この二段階アプローチにより、深いネットワークでも良好な学習結果が得られるようになりました。
歴史的意義
DBNの論文「A Fast Learning Algorithm for Deep Belief Nets」は、ニューラルネットワーク研究の長い冬を終わらせる号砲となりました。この研究を契機に「ディープラーニング」という用語が広まり、後のAlexNetやTransformerなどの革新的な研究へと繋がっていきます。DBNそのものは現在あまり使われていませんが、その歴史的重要性は計り知れません。