敵対的攻撃とは
敵対的攻撃（Adversarial Attack）とは、AIモデルの入力データに意図的に微小な改変を加えることで、モデルの判断を誤らせる攻撃手法の総称です。人間には知覚できないほど小さな変更でも、AIモデルの出力を大きく狂わせることが可能であり、AIシステムの安全性における重大な脅威となっています。
| ひとことで言うと | 入力をわずかに細工して、AIにわざと誤った判断をさせる攻撃。 |
|---|---|
| どこで危険か | 顔認証の突破、標識の誤認識、スパムフィルタの回避、不正検知のすり抜け。 |
| 注意点 | 人の目には違いが分からない。目視チェックでは防げない。 |
攻撃の分類
敵対的攻撃は、攻撃者がモデルの内部情報を知っているかどうかで分類されます。ホワイトボックス攻撃はモデルのアーキテクチャやパラメータを知った上で行う攻撃、ブラックボックス攻撃はモデルの入出力のみから行う攻撃です。また、すべてのクラスに誤分類させる非標的型攻撃と、特定のクラスに誤分類させる標的型攻撃にも分類されます。
1正常な入力AIは正しく判定
▶
2弱点を調べるどこを変えれば誤るか
▶
3微細な細工を加える人には分からない差
▶
4AIが誤判定狙いどおりの誤り
▶
5対策を講じる敵対的訓練・入力検査
現実世界での脅威
自動運転車の標識認識を誤らせる攻撃、顔認識システムを回避する攻撃、マルウェア検知を逃れる攻撃など、現実のシステムに対する脅威が実証されています。特にセキュリティや安全性が重要なシステムでは、敵対的攻撃への耐性が必須の要件となっています。
防御手法
敵対的攻撃に対する防御手法としては、敵対的訓練（Adversarial Training）、入力の前処理による摂動除去、モデルの蒸留、認証された防御（Certified Defense）などがあります。しかし、攻撃と防御のイタチごっこが続いており、完全な防御は依然として困難な課題です。