发生了什么
DAIR.AI 发表 harness-complexity paradox(432 轮实验 6 个模型 4 个层级 3 种条件 24 个任务)
为什么值得关注
这条内容提供了一个反直觉结论和明确实验设计，值得点开原文看三种 harness 条件的具体差异，以及该结论是否会影响 agent 框架的默认提示与编排方式。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
护栏复杂度悖论
DAIR.AI 转发的一项研究指出，更强的模型不一定需要更轻量的 harness（结构化控制框架）。研究通过一个 432 轮受控实验检验了“模型能力越高，所需结构化指导越少”的常见假设：实验覆盖 6 个模型、4 个能力层级、3 种 harness 条件，并在一个包含 24 个任务、带 git-based workspace verification 的基准上进行。结果显示，对于一个 frontier chat model，增加 harness 的冗长度会让成功率下降 29 到 38 个百分点，研究将其称为 harness-complexity paradox。
打开原始来源 ↗