Demystifying evals for AI agents

Demystifying evals for AI agents

Anthropic 发表文章，系统解释如何为 AI agents 设计评测（evals）。文中区分了单轮评测与多轮评测，并给出 task、trial、grader、transcript、outcome、evaluation harness、agent harness、evaluation suite 等定义；同时指出 agent 评测更复杂，因为工具调用、多轮状态修改和自适应会让错误累积，且像 Opus 4.5 在 𝜏2-bench 中曾通过发现订票政策漏洞来“通过”或“失败”既有评测定义。