LLM Security

LLMセキュリティとは、大規模言語モデル（Large Language Model）の開発・運用・利用における固有のセキュリティリスクを識別・評価・軽減するための包括的な取り組みです。ChatGPT、Claude、Geminiなどの生成AIが企業システムに急速に統合される中、従来のアプリケーションセキュリティとは異なるAI固有の脅威への対策が不可欠となっています。

OWASPはLLM Top 10を発表し、プロンプトインジェクション、不安全な出力処理、訓練データポイズニング、モデルのサービス拒否、サプライチェーンの脆弱性など、LLMに特有のリスクカテゴリを体系化しました。これらのリスクは、LLMが確率的に動作し、入力と出力の関係が非決定的であるという根本的な特性に起因しており、従来のルールベースのセキュリティ対策だけでは防御が困難です。

LLMセキュリティは、AIレッドチーミング（攻撃者視点でのモデル評価）、モデルアラインメント（人間の意図に沿ったモデル行動の調整）、ガードレール（入出力フィルタリング）、RAGセキュリティ（検索拡張生成におけるデータ保護）、AIガバナンス（組織的な管理体制）の5つの柱で構成されます。企業がLLMを安全に活用するためには、技術的対策と組織的ガバナンスの両面からの包括的なアプローチが求められます。

OWASP LLM Top 10とリスク分類

OWASP LLM Top 10は、LLMアプリケーションにおける最も重要なセキュリティリスクを体系化したフレームワークです。最上位に位置するプロンプトインジェクションは、攻撃者が巧妙なプロンプトを通じてモデルの動作を操作する攻撃で、直接的インジェクション（ユーザー入力経由）と間接的インジェクション（外部データソース経由）に分類されます。

その他の主要リスクとして、モデルが信頼性の低い情報を確信を持って生成するハルシネーション、訓練データに悪意のあるデータを混入させるデータポイズニング、モデルが過剰なリソースを消費するモデルDoS、LLMに過大な権限を付与してしまう過剰なエージェンシーなどがあります。これらのリスクはLLMの確率的な性質に深く関連しており、従来のWebアプリケーションセキュリティとは異なるアプローチが必要です。

AIレッドチーミング

AIレッドチーミングは、敵対的な視点からLLMシステムの脆弱性を体系的に探索・評価する手法です。従来のペネトレーションテストの概念をAIシステムに適用したもので、プロンプトインジェクション、ジェイルブレイク（安全ガードの回避）、データ抽出、バイアスの悪用など、多角的な攻撃シナリオを検証します。

Microsoft、Google、OpenAIなどの主要AI企業は専門のレッドチームを設置し、モデルのリリース前にセキュリティ評価を実施しています。自動化されたレッドチーミングツールも登場しており、大量の攻撃プロンプトを自動生成・テストすることで、手動では発見困難な脆弱性を効率的に検出します。

モデルアラインメントとガードレール

モデルアラインメントは、LLMが人間の意図、価値観、安全基準に沿って行動するよう調整するプロセスです。RLHF（人間のフィードバックによる強化学習）やConstitutional AIなどの手法により、有害なコンテンツの生成を抑制し、誠実で有用な応答を促進します。

ガードレールは、LLMの入力と出力にフィルタリング層を設けるセキュリティ機構です。入力側では悪意のあるプロンプトの検知・ブロック、出力側では有害コンテンツや機密情報の漏洩防止を行います。ルールベース、機械学習ベース、またはその組み合わせで実装され、NeMo Guardrails、Guardrails AI、LLM Guardなどのフレームワークが活用されています。

RAGセキュリティ

RAG（Retrieval-Augmented Generation：検索拡張生成）は、LLMに外部知識ベースを接続して回答精度を向上させる手法ですが、セキュリティ上の新たなリスクを生み出します。攻撃者がナレッジベースに悪意のあるコンテンツを注入する間接プロンプトインジェクション、検索結果を操作してモデルの出力を誘導する検索ポイズニング、RAG経由でアクセス制御を回避する権限昇格などが主な脅威です。

RAGセキュリティでは、ナレッジベースのアクセス制御、検索結果のサニタイズ、チャンクレベルでのメタデータ付与による権限管理、引用元の検証メカニズムが重要です。特に、ユーザーのアクセス権限に応じてRAGの検索範囲を動的に制限する仕組みが必要です。

エンタープライズLLMセキュリティとAIガバナンス

企業がLLMを業務に導入する際には、技術的セキュリティに加えてAIガバナンスの枠組みが不可欠です。データ分類とLLMへの入力可否ポリシー、モデル選定基準、利用ガイドライン、インシデント対応計画、第三者AIサービスの評価基準を組織として策定する必要があります。

EU AI Act、米国の大統領令（Executive Order on AI）、日本のAI事業者ガイドラインなど、各国でAI規制の整備が進んでおり、コンプライアンスの観点からもAIガバナンスの重要性は増しています。LLMの利用ログの保持、説明可能性の確保、バイアス監査、定期的なリスク評価を含む包括的なガバナンスフレームワークを構築することが求められます。

LLMを活用したセキュリティ強化

LLMはセキュリティの脅威であると同時に、セキュリティ運用を強化する強力なツールでもあります。セキュリティコパイロットとしてSOCアナリストのインシデント分析を支援し、脅威インテリジェンスの自動分析・要約、脆弱性検出のためのコードレビュー自動化、フィッシングメール検知の精度向上などに活用されています。

ただし、LLMをセキュリティツールとして活用する際にも、ハルシネーションによる誤判定、敵対的入力による判断操作、訓練データの偏りによる検知バイアスなどのリスクがあり、人間による検証と監督が不可欠です。LLMの判断を最終判断とせず、意思決定支援ツールとして位置づけることが重要です。

• 01
  多層的なプロンプトインジェクション防御：入力バリデーション、プロンプトとデータの分離（システムプロンプトとユーザー入力の明確な境界）、出力フィルタリングを多層的に実装してください。単一の防御策では不十分であり、入力サニタイズ、コンテキスト分離、出力検証の3層防御が推奨されます。
• 02
  最小権限の原則に基づくLLMエージェントの権限管理：LLMが外部ツールやAPIを呼び出す際の権限を最小限に制限してください。ファイルシステムアクセス、ネットワークリクエスト、データベースクエリなどの操作は、ホワイトリスト方式で許可し、破壊的操作には人間の承認フローを組み込みましょう。
• 03
  RAG環境のアクセス制御とデータ保護：ナレッジベースにアクセス制御リスト（ACL）を実装し、ユーザーの権限に応じて検索範囲を制限してください。ドキュメントのチャンク化時にセキュリティメタデータを付与し、機密度分類に基づくフィルタリングを行いましょう。外部データソースからの間接プロンプトインジェクションへの防御も必須です。
• 04
  AIレッドチーミングの定期的な実施：LLMシステムのリリース前および定期的に、AIレッドチーミングを実施してください。プロンプトインジェクション、ジェイルブレイク、データ抽出、バイアス悪用など多角的な攻撃シナリオをテストし、発見された脆弱性を速やかに修正しましょう。
• 05
  LLM利用のモニタリングとログ管理：すべてのLLM入出力を記録し、異常な利用パターン（大量のプロンプトインジェクション試行、機密情報の出力、不適切なコンテンツ生成）を検知するモニタリング体制を構築してください。個人情報を含むログの取り扱いにはプライバシー規制への準拠が必要です。
• 06
  AIガバナンスフレームワークの策定と運用：LLMの利用ポリシー、データ分類基準（LLMに入力可能なデータの範囲）、第三者AIサービスの評価基準、インシデント対応計画を含む包括的なAIガバナンスフレームワークを策定してください。定期的なリスク評価と、AI規制（EU AI Act等）へのコンプライアンス状況の確認を行いましょう。