VAEとは
VAE（Variational Autoencoder、変分オートエンコーダー）は、2013年にKingmaとWellingによって提案された生成モデルです。オートエンコーダーの構造に確率的な枠組みを導入し、潜在空間に確率分布を仮定することで、新しいデータの生成と潜在表現の学習を同時に実現します。ベイズ推論の変分推論手法を用いるため「変分」という名称がついています。
| ひとことで言うと | 潜在空間を「確率分布」として学ぶことで、新しいデータも生成できるオートエンコーダー。 |
|---|---|
| どこで使う | 画像生成、データの水増し、異常検知、潜在空間の探索。 |
| 注意点 | 生成画像がぼやけやすい。鮮明さでは拡散モデルやGANに劣る。 |
VAEの構造と学習
VAEはエンコーダーとデコーダーで構成されます。エンコーダーは入力データを潜在空間の確率分布（通常は正規分布）のパラメータ（平均と分散）に変換します。デコーダーは潜在空間からサンプリングされたベクトルからデータを再構成します。学習は再構成誤差とKLダイバージェンスの和を最小化することで行われ、再構成精度と潜在分布の正則化のバランスを取ります。
1入力を符号化平均と分散を出力
▶
2分布から抽出少しゆらぎを持たせる
▶
3デコーダーで復元潜在値から画像を生成
▶
4分布も整えるきれいな空間になるよう制約
▶
5新規生成が可能空間から拾えば新しい絵
再パラメータ化トリック
VAEの学習には「再パラメータ化トリック」が不可欠です。サンプリング操作は微分不可能であるため、そのままでは誤差逆伝播が行えません。この問題を、標準正規分布からサンプリングしたノイズεを用いてz = μ + σ * εと表現し直すことで解決します。これにより、確率的なサンプリングを含むモデルでもエンドツーエンドの学習が可能になります。
VAEの応用と発展
VAEは画像生成、テキスト生成、異常検知、半教師あり学習など、幅広い分野で活用されています。Stable DiffusionなどのLatent Diffusion Modelでは、画像をVAEで潜在空間に圧縮してから拡散処理を行うことで、計算効率を大幅に向上させています。VQ-VAE（ベクトル量子化VAE）やβ-VAEなどの発展形も研究されています。