发生了什么
TokenRhythm Technologies 发布 Claw-SWE-Bench (350 任务, 8 语言)
为什么值得关注
可帮助评估不同代码生成 harness 的成本与效果,值得在项目选型时参考。
信息来源
以下内容来自公开来源,可打开原文继续核验。
Claw-SWE-Bench 评测报告
TokenRhythm Technologies 等联合发布 Claw-SWE-Bench 基准,使用 350 条 GitHub Issue(8 种语言、43 个仓库)统一评测代码生成 harness,结果显示仅更换 harness 成功率可从 19% 提升至 73%,不同 harness 间成功率差异最高 27 点,模型差异导致成本相差最高 170 倍,且提供 80 任务 Lite 版成本约为完整版的 23%。
打开原始来源 ↗