发生了什么
Yueqi Song 及合作者 发布 PACE
为什么值得关注
该方法揭示了代理基准所需的不同能力(如规划、验证),并提供了低成本的评估替代方案,值得阅读原文了解具体实现。
信息来源
以下内容来自公开来源,可打开原文继续核验。
01
PACE: A Proxy for Agentic Capability Evalu
Yueqi Song 及合作者发布 PACE,一种通过从非代理基准中选取少量实例来预测代理基准性能的方法。在 14 个模型、4 个代理基准和 19 个非代理基准上,PACE 实现了 3.80% 的绝对分数预测 MAE、0.81 的 Spearman 排名相关、约 84% 的成对偏好准确率,以及约 100 倍的成本降低。
打开原始来源 ↗