发生了什么
DAIR.AI 发布 Agents' Last Exam
为什么值得关注
该基准把评测目标从静态题集推进到更接近真实职业任务覆盖，且给出了 1,000+ 任务、250+ 专家参与和 2.6% 通过率，适合关注 agent 评测体系的人直接看原文。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
Agents' Last Exam
DAIR.AI 发布了 Agents' Last Exam（ALE），这是一个持续更新的基准，包含 1,000+ 个具有经济价值的任务，并由 250+ 位行业专家构建，且映射到美国联邦职业分类体系。该基准中最难的层级在主流 harness 和 backbone 上的平均 full pass rate 仅为 2.6%。作者将其定位为更接近 GDP 覆盖率测量工具，而不是一个会在一个月内被刷满的测试。
打开原始来源 ↗