ディープラーニング手法
ディープラーニングで用いられる具体的な手法やテクニックを扱うカテゴリです。活性化関数や勾配降下法といった基本的な学習メカニズムから、CNN・RNN・LSTMなどのネットワーク構造、Attention機構やTransformerといった最新のアーキテクチャ、さらにドロップアウトやバッチ正規化などの正則化手法、転移学習やデータ拡張といった実践的テクニックまで幅広く解説します。G検定では各手法の特徴と使い分けが問われます。
活性化関数
ニューラルネットワークに非線形性を導入する関数。sigmoid、tanh、ReLUなどの種類があり、モデルの表現力を高めます。
勾配降下法
損失関数の勾配を用いてパラメータを更新する最適化手法。SGD、Adam等のバリエーションがあり、学習の収束に影響します。
ドロップアウト
学習時にニューロンをランダムに無効化して過学習を防ぐ正則化手法。2012年にヒントンらが提案しました。
バッチ正規化
ミニバッチ単位で層の入力を正規化する手法。学習の安定化と高速化に寄与し、より深いネットワークの学習を可能にします。
CNN（畳み込みニューラルネットワーク）
画像認識に特化したディープラーニングモデル。畳み込み層とプーリング層を持ち、画像の空間的特徴を効率的に抽出します。
RNN（リカレントニューラルネットワーク）
時系列データを扱うディープラーニングモデル。内部に再帰的な構造を持ち、過去の情報を記憶しながら処理を行います。
LSTM
RNNの勾配消失問題を解決する長短期記憶ネットワーク。ゲート機構を持ち、1997年にHochreiter & Schmidhuberが提案しました。
Attention（注意機構）
入力の重要な部分に注目する機構。Transformerの基盤となり、2017年の論文で提案されて自然言語処理に革命をもたらしました。
転移学習
ある領域で学習した知識を別の領域に適用する手法。学習データが少ない場合でも高い精度を実現できます。
データ拡張
学習データを人工的に増やす手法。画像の回転・反転・ノイズ付加などにより、過学習を防ぎモデルの汎化性能を向上させます。
Early Stopping
検証データの性能が悪化し始めた時点で学習を打ち切る手法。過学習を防ぐためのシンプルかつ効果的な正則化手法です。