ドロップアウト（Dropout）

Dropout

概要

ドロップアウト（Dropout）とは、ニューラルネットワークの学習時に、各層のニューロンを一定の確率でランダムに無効化（ドロップ）する正則化手法です。2012年にジェフリー・ヒントンらによって提案されました。過学習（Overfitting）を防ぐための手法として非常に効果的であり、ディープラーニングの実用化に大きく貢献した重要なテクニックです。

ドロップアウトの直感的な理解として、学習のたびに異なるネットワーク構造で訓練を行うことで、複数のモデルのアンサンブル（組み合わせ）学習を疑似的に実現していると考えることができます。特定のニューロンの組み合わせに依存しない、より頑健な特徴表現を学習させる効果があります。

詳細解説

ドロップアウトの仕組み

ドロップアウトでは、学習の各ステップにおいて、指定された確率（ドロップアウト率）に基づいてニューロンをランダムに選択し、一時的にネットワークから除外します。除外されたニューロンは、そのステップでは出力を0にし、順伝播にも逆伝播にも参加しません。次のステップでは再び異なるニューロンが選択されるため、学習が進むにつれてネットワーク全体のニューロンがまんべんなく訓練されます。

ドロップアウト率の設定

ドロップアウト率（p）は、各ニューロンが無効化される確率を指定するハイパーパラメータです。一般的には中間層で0.5（50%のニューロンを無効化）、入力層では0.2程度が使われます。ドロップアウト率が高すぎるとモデルの学習能力が低下し、低すぎると過学習防止の効果が薄れます。タスクやネットワーク構造に応じて適切な値を選択する必要があります。

アンサンブル効果

ドロップアウトの重要な理論的背景の一つが、アンサンブル学習との関連です。n個のニューロンを持つ層でドロップアウトを適用すると、理論上は2^n通りのサブネットワークが存在します。学習中はこれらのサブネットワークからランダムにサンプリングして訓練を行っているのと同等の効果があります。推論時にはすべてのニューロンを使用し、重みをドロップアウト率で調整することで、これら多数のサブネットワークの平均的な予測を近似的に実現します。

推論時の重み調整

学習時と推論時でドロップアウトの扱いが異なる点は重要です。学習時にはニューロンが確率pで無効化されるため、推論時に全ニューロンを使用すると出力のスケールが変わってしまいます。これを補正するために、推論時には各ニューロンの出力に(1-p)を掛ける方法（スタンダード・ドロップアウト）か、学習時に活性化されたニューロンの出力を1/(1-p)倍する方法（Inverted Dropout）が使われます。現代のフレームワークでは後者が標準です。

ドロップアウトが効果的な場面

ドロップアウトは特に、パラメータ数に対してデータ量が少ない場合に効果を発揮します。全結合層（Fully Connected Layer）に適用されることが多く、畳み込み層にはSpatial Dropoutなどの変種が使われることもあります。バッチ正規化（Batch Normalization）と組み合わせて使用する場合、相互作用に注意が必要です。近年の研究では、バッチ正規化がドロップアウトの代替として機能する場合もあることが指摘されています。

ドロップアウトの変種

標準的なドロップアウト以外にも、さまざまな変種が提案されています。DropConnect（2013年）は重みをランダムに0にする手法です。Spatial Dropout（2015年）はCNNの特徴マップ全体を単位としてドロップする手法です。DropBlock（2018年）はCNNの特徴マップの連続した領域をドロップする手法で、CNNに対してより効果的とされています。

歴史・背景

ドロップアウトは2012年にジェフリー・ヒントン（Geoffrey Hinton）、ニティシュ・スリヴァスタヴァ（Nitish Srivastava）らによって提案されました。ヒントンらの着想の一つは、生物学的な神経回路のノイズ耐性にあったと言われています。生物の神経系では、特定のニューロンが常に完全に機能しているわけではなく、ノイズに対して頑健な情報処理が行われています。

同年、AlexNetがILSVRC 2012（画像認識コンペティション）で圧勝した際にもドロップアウトが採用されており、ディープラーニングの実用化における重要な要素技術として広く認知されるようになりました。2014年のSrivastavaらの論文ではドロップアウトの詳細な理論分析と実験結果が報告され、その有効性が体系的に示されました。

その後、バッチ正規化（2015年）の登場により、ドロップアウトとの使い分けや併用に関する議論が活発になりました。現在では、タスクやモデルの規模に応じてドロップアウトとバッチ正規化を適切に組み合わせることが推奨されています。

具体的な事例

• AlexNet（2012年）：ILSVRC 2012で優勝したAlexNetでは、全結合層にドロップアウト率0.5のドロップアウトが適用されました。これにより過学習を大幅に抑制し、テスト精度を向上させました。
• VGGNet（2014年）：VGGNetでも全結合層にドロップアウトが使用されています。層の深いネットワークにおける過学習防止に効果を発揮しました。
• 自然言語処理：Transformerモデル（BERT、GPTなど）においても、Attention層や全結合層にドロップアウトが適用されています。BERTの事前学習では一般的にドロップアウト率0.1が使われています。
• 音声認識：音声認識モデルにおいても、過学習を防ぐためにドロップアウトが広く使用されています。特にデータ量が限られる場合に効果的です。
• ベイズ近似としてのドロップアウト：2016年にGalとGhahramaniは、推論時にもドロップアウトを適用するMC Dropout（Monte Carlo Dropout）を提案しました。これにより、モデルの予測の不確実性を推定することが可能になります。

G検定での出題ポイント

G検定では、ドロップアウトに関して以下のような内容が出題される傾向があります。

• ドロップアウトの目的が過学習の防止であること
• 学習時にニューロンをランダムに無効化する仕組み
• アンサンブル学習と類似した効果があること
• 推論時にはすべてのニューロンを使用し、重みを調整すること
• ドロップアウト率の一般的な値（中間層で0.5が標準的）
• ヒントンらが2012年に提案したこと

関連キーワード

• バッチ正規化
• Early Stopping
• データ拡張
• 勾配降下法
• CNN（畳み込みニューラルネットワーク）
• 活性化関数