トロイの木馬(AI)とは
AIにおけるトロイの木馬とは、表面上は正常に動作するが、内部に悪意のある機能が隠されたAIモデルやコンポーネントを指します。バックドア攻撃の結果として生成されることが多く、サプライチェーンを通じて拡散するリスクがあります。
| ひとことで言うと | 正常に見えるが、内部に悪意ある機能が隠されたAIモデルやツール。 |
|---|---|
| どこから来るか | 公開モデルリポジトリ、無料ツール、サードパーティのライブラリ。 |
| 注意点 | モデルファイル自体がコード実行の経路になり得る形式もある。 |
トロイの木馬の形態
AIトロイの木馬は多様な形態で存在し得ます。事前訓練済みモデルに隠されたバックドア、悪意のあるコードを含むモデルファイル（Pickle等のデシリアライゼーション脆弱性を利用）、改ざんされたモデルウェイトファイル、汚染されたデータセット、悪意のあるモデル変換ツールなどが報告されています。オープンソースのモデルハブからダウンロードしたモデルにトロイの木馬が仕込まれている可能性も指摘されています。
1配布元を確認公式か、評価は高いか
▶
2安全な形式を選ぶコード実行しない形式
▶
3隔離環境で検証本番と切り離す
▶
4通信を監視外部送信がないか
▶
5署名を確認改ざん検知
対策
AIトロイの木馬への対策は、ソフトウェアサプライチェーンセキュリティの原則に基づきます。モデルの出所の検証、モデルファイルの整合性チェック（ハッシュ検証・署名検証）、安全なシリアライゼーション形式の使用、サンドボックス環境でのモデル読み込みと検証が基本です。トロイの木馬検出ツールの活用や、信頼できるモデルレジストリからのみモデルを取得するポリシーの策定も推奨されます。