GRUとは
GRU（Gated Recurrent Unit）は、2014年にチョらによって提案された再帰型ニューラルネットワークの一種です。LSTMと同様に勾配消失問題を解決しつつ、より単純な構造を持つことが特徴です。LSTMの3つのゲートを2つに簡略化し、セル状態と隠れ状態を統合することで、パラメータ数を削減しています。
GRUの構造
GRUはリセットゲートと更新ゲートの2つのゲート機構で構成されます。更新ゲートは過去の情報をどの程度保持するかを制御し、LSTMの忘却ゲートと入力ゲートの両方の役割を担います。リセットゲートは新しい候補隠れ状態を計算する際に、過去の情報をどの程度無視するかを決定します。
LSTMとの比較
GRUはLSTMよりもパラメータ数が少なく、計算効率が高いという利点があります。多くのタスクでLSTMと同等の性能を発揮しますが、非常に長い系列の記憶が必要なタスクではLSTMが優れる場合があります。データ量が限られている場合や計算リソースに制約がある場合には、GRUが有利に働くことが多いです。
GRUの活用場面
GRUは音声合成、機械翻訳、株価予測など、さまざまな時系列タスクで利用されています。特にモバイルデバイスや組み込みシステムなど、計算リソースが限られた環境でのリアルタイム処理に適しています。Transformerが主流となった現在でも、軽量なシーケンスモデリングの選択肢として重要な位置を占めています。