脅威モデリング(AI)

Threat Modeling for AI

脅威モデリング(AI)とは

AI向けの脅威モデリングとは、AIシステムに対する潜在的な脅威を体系的に特定・分析し、セキュリティ対策の優先順位を決定するプロセスです。従来のSTRIDEやDREADなどの脅威モデリング手法をAI特有のリスクに拡張したものです。

表:脅威モデリング(AI)の要点まとめ
ひとことで言うとAIシステムへの脅威を体系的に洗い出し、優先順位をつける手法。
いつ行うか設計段階。作ってからでは対策のコストが跳ね上がる。
注意点「誰が」「何を狙って」「どこから」を具体化するほど実効性が高まる。

AIシステム特有の脅威

AIシステムでは、従来のITシステムに存在する脅威に加え、訓練データの汚染、敵対的入力による誤分類、モデルの窃取、プライバシー侵害など、AI固有の脅威が存在します。脅威モデリングでは、攻撃者の能力(ホワイトボックス・ブラックボックス)、攻撃のタイミング(訓練時・推論時)、攻撃の目的(妨害・情報窃取・不正利用)を軸に、包括的な脅威リストを作成します。

図:脅威モデリングの進め方
1システムを図にするデータの流れを描く
▶
2攻撃者を想定誰が何を狙うか
▶
3脅威を列挙各所で何が起き得るか
▶
4リスクを評価影響度と可能性
▶
5対策を設計優先順位をつけて実装

実施手順

AI脅威モデリングは、システムの資産棚卸し(モデル・データ・API)、攻撃面の特定、脅威の列挙、リスク評価、対策の立案という手順で進めます。MITREのATLASフレームワークは、AIに対する敵対的手法を体系化しており、脅威モデリングの参照資料として広く活用されています。定期的な見直しにより、新たな攻撃手法への対応力を維持することが重要です。