Adversarial ML

敵対的機械学習（Adversarial Machine Learning）とは、機械学習モデルの脆弱性を悪用して、モデルの判断を意図的に誤らせたり、モデルの機密情報を窃取したりする攻撃手法と、それに対する防御技術の研究分野です。機械学習がセキュリティ、自動運転、医療診断など社会の重要システムに広く採用されるにつれ、これらのモデルに対する攻撃は深刻な現実的脅威となっています。

敵対的機械学習の攻撃は大きく3つのカテゴリに分類されます。推論時にモデルを騙す回避攻撃（Evasion Attack）、学習データを汚染するデータポイズニング（Data Poisoning）、そしてモデル自体を複製するモデル窃取（Model Stealing）です。特に敵対的サンプル（Adversarial Examples）は、人間には知覚できない微小な摂動を入力に加えるだけでモデルの分類結果を完全に変えてしまう現象として、AI研究の根本的な課題を提起しています。

この分野の研究は、攻撃手法と防御手法が互いに進化する「軍拡競争」の様相を呈しています。敵対的訓練（Adversarial Training）、入力検証、モデルのアンサンブル化、認証ロバスト性（Certified Robustness）など多様な防御手法が提案されていますが、あらゆる攻撃に対して万能な防御は存在せず、脅威モデルに応じた適切な対策の選択が求められます。

敵対的サンプル（Adversarial Examples）

敵対的サンプルは、機械学習モデルに対して意図的に誤分類を引き起こすように設計された入力データです。2014年にSzegedyらによって発見されたこの現象は、ディープニューラルネットワークの根本的な脆弱性を示すものとして大きな注目を集めました。例えば、パンダの画像にごく微小なノイズを加えるだけで、モデルがテナガザルと高い確信度で誤分類する現象が知られています。

敵対的サンプルの生成手法として、FGSM（Fast Gradient Sign Method）、PGD（Projected Gradient Descent）、C&W攻撃、AutoAttackなど多数の手法が提案されています。これらは勾配情報を利用してモデルの損失関数を最大化する方向に入力を摂動させる手法であり、ホワイトボックス攻撃（モデルの内部情報にアクセス可能な場合）とブラックボックス攻撃（APIアクセスのみの場合）に分類されます。

回避攻撃（Evasion Attacks）

回避攻撃は、推論（予測）時にモデルの判断を欺くための攻撃カテゴリです。デジタル領域では画像分類器、スパムフィルター、マルウェア検知器などに対する攻撃が研究されています。物理的な攻撃としては、道路標識にステッカーを貼ることで自動運転システムの認識を狂わせる攻撃や、特殊なパターンを印刷した服を着ることで人物検出を回避する攻撃が実証されています。

セキュリティ分野では、マルウェアの機能を保持したまま、AIベースのマルウェア検知を回避するためのバイナリ変換技術が研究されています。具体的には、無害なコードセクションの追加、API呼び出し順序の変更、実行パスの難読化などにより、マルウェアの挙動を変えずに検知モデルの分類結果を「正常」に変えることが可能です。

モデルポイズニング（Model Poisoning）

モデルポイズニングは、学習プロセスにおいてモデルのパラメータを直接操作する攻撃です。連合学習（Federated Learning）環境では、悪意のある参加者が改ざんされたモデル更新を送信することで、グローバルモデルの挙動を意図的に変更できます。バックドア攻撃の一種として、特定のトリガーパターンが入力に含まれる場合のみ誤分類を引き起こすように学習させるトロイの木馬攻撃も知られています。

データポイズニング（Data Poisoning）

データポイズニングは、学習データセットに悪意のあるサンプルを混入させることで、学習後のモデルの性能を劣化させたり、特定の入力に対する判断を操作したりする攻撃です。クラウドソーシングやWebスクレイピングで収集されたデータセットは特にこの攻撃に対して脆弱です。

データポイズニングの手法は、モデル全体の精度を低下させる可用性攻撃と、特定のターゲット入力に対してのみ誤分類を引き起こす標的型攻撃に分類されます。後者はより検出が困難で、学習データの一部にバックドアトリガーを含む改変サンプルを混入させることで、本番環境で特定の条件下でのみ攻撃が発動するステルス性の高い攻撃を実現できます。

モデル窃取（Model Stealing）

モデル窃取は、ターゲットモデルのAPIに大量のクエリを送信し、その入出力ペアを使って同等の機能を持つモデルを複製する攻撃です。攻撃者はモデルの予測結果（信頼度スコア含む）を学習データとして使用し、サロゲートモデル（代替モデル）を構築します。窃取されたモデルは攻撃者に知的財産の損失をもたらすだけでなく、回避攻撃の踏み台としても利用されます。

ブラックボックス環境でのモデル窃取は、クエリ効率（少ないクエリ数でどれだけ正確にモデルを複製できるか）が重要な研究テーマとなっています。アクティブラーニングの手法を応用し、最も情報量の多いクエリを選択的に送信することで、数千のクエリでターゲットモデルに近い精度のサロゲートモデルを構築できることが示されています。

ロバスト性テストと敵対的訓練

ロバスト性テストは、機械学習モデルが敵対的な入力に対してどの程度頑健であるかを評価するプロセスです。AutoAttackのような標準化されたベンチマークを使用して、モデルの敵対的ロバスト性を定量的に評価します。

敵対的訓練（Adversarial Training）は、最も効果的なロバスト性向上手法の一つです。学習時に敵対的サンプルを生成してモデルに学習させることで、推論時の攻撃耐性を向上させます。PGD-ATやTRADESなどの手法が提案されていますが、ロバスト性と標準精度のトレードオフが存在することが知られており、適切なバランスの調整が課題となっています。

• 01
  敵対的訓練の導入：モデルの学習プロセスに敵対的サンプルを組み込む敵対的訓練を実施してください。PGD-ATやTRADESなどの手法を用い、想定される攻撃のLp-ノルム制約に対応したロバスト性を確保しましょう。標準精度とロバスト精度のバランスを考慮し、用途に応じた最適なトレードオフを設定することが重要です。
• 02
  入力検証と前処理による防御：モデルへの入力に対して、敵対的摂動を検出・除去するための前処理を実装してください。入力のランダム化、画像圧縮、特徴量スクイージング（Feature Squeezing）などの手法により、敵対的ノイズの効果を緩和できます。ただし、適応的攻撃に対する脆弱性があるため、単独での使用は避けましょう。
• 03
  学習データの完全性検証：データポイズニング攻撃を防ぐため、学習データの出所、品質、整合性を厳格に管理してください。データのフィンガープリンティング、異常値検出、データクリーニングパイプラインの自動化により、汚染されたデータの混入を防止しましょう。特に外部から収集されたデータセットには入念な検証が必要です。
• 04
  モデルAPIのセキュリティ強化：モデル窃取攻撃を防ぐため、APIエンドポイントにレート制限、クエリ監視、出力情報の制限を実装してください。信頼度スコアの丸め処理（精度を下げる）、不審なクエリパターンの検出、ウォーターマーキングによるモデルの帰属確認など、多層的な防御を構築しましょう。
• 05
  モデルのアンサンブル化と多様性確保：単一のモデルに依存するのではなく、異なるアーキテクチャや学習データで訓練された複数のモデルのアンサンブルを使用してください。攻撃者が全てのモデルを同時に騙すことは困難であるため、アンサンブル投票や不一致検出により攻撃の検知と耐性の向上が期待できます。
• 06
  定期的なロバスト性評価とレッドチーミング：本番環境にデプロイされたモデルに対して、定期的にロバスト性評価を実施してください。AutoAttackなどの標準ベンチマークによる自動評価に加え、セキュリティ専門家によるレッドチーミング（物理的攻撃シナリオを含む）を定期的に行い、新たな攻撃手法への耐性を確認しましょう。