トロイの木馬(AI)

AI Trojan

トロイの木馬(AI)とは

AIにおけるトロイの木馬とは、表面上は正常に動作するが、内部に悪意のある機能が隠されたAIモデルやコンポーネントを指します。バックドア攻撃の結果として生成されることが多く、サプライチェーンを通じて拡散するリスクがあります。

トロイの木馬の形態

AIトロイの木馬は多様な形態で存在し得ます。事前訓練済みモデルに隠されたバックドア、悪意のあるコードを含むモデルファイル(Pickle等のデシリアライゼーション脆弱性を利用)、改ざんされたモデルウェイトファイル、汚染されたデータセット、悪意のあるモデル変換ツールなどが報告されています。オープンソースのモデルハブからダウンロードしたモデルにトロイの木馬が仕込まれている可能性も指摘されています。

対策

AIトロイの木馬への対策は、ソフトウェアサプライチェーンセキュリティの原則に基づきます。モデルの出所の検証、モデルファイルの整合性チェック(ハッシュ検証・署名検証)、安全なシリアライゼーション形式の使用、サンドボックス環境でのモデル読み込みと検証が基本です。トロイの木馬検出ツールの活用や、信頼できるモデルレジストリからのみモデルを取得するポリシーの策定も推奨されます。