プロンプトリーク(セキュリティ)

Prompt Leak

プロンプトリークとは

プロンプトリークとは、LLMアプリケーションに設定されたシステムプロンプト(秘密の指示、ビジネスロジック、ガードレール設定など)を攻撃者が抽出する攻撃手法です。プロンプトインジェクションの一形態であり、情報漏洩のリスクを伴います。

表:プロンプトリーク(セキュリティ)の要点まとめ
ひとことで言うとシステムプロンプトの内容が利用者に漏れてしまうこと。
何が漏れるか業務ロジック、参照先、内部ルール、他社との差別化要素。
注意点プロンプトは漏れる前提で設計する。機密や認証情報を絶対に書かない。

攻撃の影響

システムプロンプトが漏洩すると、いくつかの深刻な影響があります。まず、セキュリティガードレールの仕組みが明らかになり、より効果的なジェイルブレイクが可能になります。次に、ビジネスロジックやプロンプトエンジニアリングのノウハウが競合他社に流出する可能性があります。さらに、APIキーやエンドポイントなどの機密情報がシステムプロンプトに含まれている場合、直接的なセキュリティインシデントに発展します。

図:プロンプトリークへの備え
1機密を書かない設計の大前提
▶
2認証情報を含めないAPIキーなどは別管理
▶
3権限で守るプロンプトに頼らない
▶
4漏えいを検知特定文字列の出力を監視
▶
5定期的に検証レッドチームで確認

防御手法

プロンプトリーク対策として、システムプロンプト内に機密情報を含めないことが最も重要です。出力フィルターによってシステムプロンプトの内容が出力に含まれていないかを検証し、プロンプトの繰り返しや引用を求める入力パターンを検出・遮断する仕組みを導入します。また、定期的にプロンプトリーク攻撃のテストを実施し、漏洩のリスクを評価することが推奨されます。