回避攻撃とは
回避攻撃とは、AIモデルの推論時に、人間には知覚できない微小な摂動を入力に加えることで、モデルの判定結果を意図的に誤らせる攻撃手法です。敵対的サンプル（Adversarial Example）を用いた攻撃として最もよく研究されています。
| ひとことで言うと | 推論時に入力を細工して、AIの検知や判定をすり抜ける攻撃。 |
|---|---|
| どこで使われるか | スパムフィルタの回避、マルウェア検知のすり抜け、不正取引の隠蔽。 |
| 注意点 | 学習済みモデルへの攻撃なので、再学習なしで対処するのが難しい。 |
攻撃の手法
代表的な攻撃手法として、FGSM（Fast Gradient Sign Method）、PGD（Projected Gradient Descent）、C&W攻撃などがあります。これらは勾配情報を利用して最小限の摂動で誤分類を引き起こす入力を生成します。ブラックボックス環境では、代替モデルを用いた転送攻撃や、クエリベースの攻撃（モデルの出力を観察しながら摂動を最適化）が用いられます。画像に限らず、テキスト、音声、表形式データに対する回避攻撃も研究されています。
1検知したいものスパム・マルウェア
▶
2少しずつ変える本質は保ったまま
▶
3しきい値の下へ検知されない範囲に
▶
4すり抜ける正常と判定される
▶
5対策：敵対的訓練変形にも耐える学習
防御手法
回避攻撃への防御は、敵対的訓練（訓練時に敵対的サンプルを含めてモデルの堅牢性を向上）が最も実績のある手法です。入力の前処理（ノイズ除去、画像圧縮）、ランダム化（推論時のランダムな変換の適用）、検出ベースの手法（敵対的サンプルを検出して拒否）、認証防御（一定範囲の摂動に対する正確性を数学的に保証）など、多様なアプローチが提案されています。