モデル反転攻撃とは
モデル反転攻撃（Model Inversion Attack）とは、AIモデルの出力や勾配情報を利用して、モデルの訓練に使用された個々のデータを復元・推定する攻撃手法です。モデルが暗黙的に記憶している訓練データの情報を「逆算」することで、機密性の高い個人データを露出させるプライバシー攻撃の一種です。
| ひとことで言うと | モデルの出力から、学習に使われた元データを復元しようとする攻撃。 |
|---|---|
| なぜ怖いか | 顔認証モデルから学習に使われた顔画像が再現されることがある。 |
| 注意点 | モデルを公開する＝学習データも一部公開しているに近い、と考える。 |
攻撃の仕組み
モデル反転攻撃では、攻撃者はモデルの出力（予測確率や信頼度スコア）を手がかりに、最適化アルゴリズムを用いて訓練データの再構築を試みます。例えば、顔認識モデルに対してモデル反転を行うことで、訓練に使われた個人の顔画像を復元できることが実証されています。
1モデルにアクセスAPIや公開モデル
▶
2出力を観察確信度などを取得
▶
3入力を逆算確信度が上がる方向へ
▶
4元データを復元顔画像などが再現
▶
5対策：出力を制限詳細な確信度を返さない
プライバシーへの脅威
モデル反転攻撃は、医療データ（患者の診断情報）、生体認証データ（顔画像、指紋）、金融データ（取引履歴）など、機密性の高い訓練データを使用するAIモデルにとって深刻な脅威です。特にMLaaS（Machine Learning as a Service）のように、モデルのAPIが公開されている環境では攻撃が容易になります。
防御策
モデル反転攻撃への防御策としては、差分プライバシーの適用（訓練プロセスにノイズを加える）、出力の丸め（予測確率の精度を下げる）、アクセス制御の強化（APIの呼び出し回数の制限）、モデルの蒸留、連合学習の採用などがあります。プライバシー保護とモデル精度のバランスを取りながら、適切な防御策を組み合わせることが重要です。