エージェント評価とは
エージェント評価（Agent Evaluation）とは、AIエージェントの性能、信頼性、安全性を体系的に測定・評価するプロセスのことです。エージェントが実際のタスクをどの程度正確かつ効率的に遂行できるかを客観的に把握し、改善に繋げるために不可欠です。
評価の難しさ
エージェントの評価は、従来のAIモデル評価よりも複雑です。エージェントは複数のステップにわたって行動し、外部ツールと連携し、非決定的な結果を生成するため、単純な正解率だけでは十分に評価できません。中間ステップの品質、ツール選択の適切さ、エラー回復能力なども評価対象になります。
評価指標
エージェントの評価指標には、タスク完了率（タスクを最終的に完了できたか）、正確性（結果の品質）、効率性（ステップ数、API呼び出し回数、実行時間）、コスト（トークン使用量、API料金）、安全性（有害な行動の回避）、ユーザー満足度などがあります。
評価手法とツール
ベンチマーク（SWE-bench、WebArena、GAIA、AgentBenchなど）による定量評価、人間の専門家による定性評価、A/Bテスト、シミュレーション環境でのテスト、LLMによる自動評価（LLM-as-a-Judge）など、複数の評価手法を組み合わせることが推奨されています。