ガードレール（エージェント）とは
エージェントにおけるガードレール（Agent Guardrails）とは、AIエージェントが安全かつ適切に動作するよう制約や境界を設定する仕組みのことです。道路のガードレールが車両の逸脱を防ぐように、AIエージェントの行動範囲を適切に制限し、意図しない有害な行動を防止します。
| ひとことで言うと | エージェントがやってはいけないことを防ぐ、安全のための枠組み。 |
|---|---|
| 何を制限するか | アクセスできるデータ、実行できる操作、送信先、利用できる金額の上限。 |
| 注意点 | プロンプトでの指示だけでは破られる。システム側の権限制御が本体。 |
ガードレールの種類
入力ガードレール（不適切な指示のフィルタリング）、出力ガードレール（生成内容の安全性チェック）、行動ガードレール（実行可能なアクションの制限）、リソースガードレール（API呼び出し回数やコストの上限設定）など、複数のレイヤーでガードレールを設定することが推奨されます。
1入力を検査不正な指示を排除
▶
2権限を限定使える道具を絞る
▶
3実行前チェック危険な操作を止める
▶
4出力を検査機密の混入を防ぐ
▶
5ログを監視異常を後から追える
実装手法
ガードレールの実装手法には、ルールベース（明示的なホワイトリスト/ブラックリスト）、LLMベース（別のLLMが行動の安全性を評価）、分類器ベース（専用の安全性分類モデル）、サンドボックス（隔離環境での実行）などがあります。NeMo Guardrails（NVIDIA）やGuardrails AI（ライブラリ）などのツールも利用可能です。
ガードレールの設計原則
効果的なガードレール設計では、デフォルトで安全側に倒す（フェイルセーフ）、多層防御（単一のガードレールに依存しない）、透明性（制限の理由をユーザーに説明）、適応性（新たなリスクへの対応力）が重要です。過度に制限的なガードレールは有用性を損なうため、安全性と有用性のバランスが求められます。