A shared playbook for trustworthy third party evaluations

A shared playbook for trustworthy third pa

OpenAI 发表文章，总结可信第三方评测的设计经验，强调前沿模型评测不能只看“问答式”结果，还要明确评测要验证的主张以及结果有效性的证据。文章指出，随着模型具备工具调用、跨步骤状态跟踪和工作流执行能力，评测中的 harness 会显著影响表现，甚至决定能力是否能被测出来。文中将评测主张分为三类：能力显现、护栏稳健性和系统对比，并列出需要检查的有效性风险，包括 reward hacking、拒绝回答、数据污染、问题失效和 sandbagging。