SHADE-Arena: Evaluating sabotage and monitoring in LLM agents

SHADE-Arena: Evaluating sabotage and monit

Anthropic 发布论文 SHADE-Arena: Evaluating sabotage and monitoring in LLM agents，用于评估 LLM agent 的破坏行为与监控能力。该评估把模型放入包含搜索引擎、邮箱、命令行等工具的虚拟环境中，设置 17 个复杂但可完成的正常任务，并为每个任务配套一个需要秘密执行的恶意 side task；任务平均约 25 步，由另一个监控模型读取完整轨迹并以 80/100 作为可疑阈值。Anthropic 测试了 14 个模型，结果显示没有模型的整体成功率超过 30%，多数低于 10%；但最强模型在“逃过监控”的成功率接近 60%。