PGD

Projected Gradient Descent

PGDとは

PGD(Projected Gradient Descent)とは、Madryらが2018年に提案した敵対的サンプル生成の反復的手法です。FGSMを複数ステップに拡張し、各ステップで摂動を更新した後にノルム球内に射影することで、より強力な敵対的サンプルを生成します。現在のロバスト性評価における標準的な攻撃手法となっています。

表:PGDの要点まとめ
ひとことで言うと小さな変化を何度も繰り返して、強力な敵対的サンプルを作る手法。
FGSMとの違い1回でなく反復するため、より効果的に誤分類を引き起こせる。
注意点防御の強さを測る標準的な攻撃手法として使われる。

PGDの仕組み

PGDは、ランダムな初期摂動からスタートし、FGSMと同様の勾配ステップを複数回繰り返します。各ステップ後に、摂動がε球内に収まるよう射影(クリッピング)を行います。この反復プロセスにより、制約内で損失を最大化する摂動を探索し、FGSMよりも高い攻撃成功率を達成します。

図:PGDの反復手順
1小さく動かす勾配方向に一歩
▶
2範囲内に戻す許容範囲に射影
▶
3また勾配を計算現在地から再計算
▶
4強力な攻撃に反復で効果が高まる
↺ 決めた回数だけ1〜3をくり返す

PGDとFGSMの違い

FGSMが1ステップで摂動を決定するのに対し、PGDは複数ステップの反復最適化を行います。PGDはより強力な攻撃ですが、反復回数に比例して計算コストが増加します。一般に、PGDに対して堅牢なモデルはFGSMにも堅牢であるとされ、PGDは「最も強力な一次攻撃」と見なされています。

敵対的訓練への応用

PGDは敵対的訓練において中心的な役割を果たしています。Madryらの研究では、PGDで生成した敵対的サンプルを訓練データに含めることで、認証可能な堅牢性に近い防御を実現できることが示されました。PGDベースの敵対的訓練は、現在でもモデルの堅牢性向上における最も信頼性の高い手法の一つとされています。