发生了什么
Anthropic 发表 LLMs' Ability to Develop Exploits(Claude Mythos Preview, ExploitBench, ExploitGym, SCONE-bench, 41 个漏洞, 300 turn, 3 次)
为什么值得关注
可直接看原文的基准设计与分层评分方法，尤其适合关注模型在漏洞利用与安全评测上的能力边界。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
Measuring LLMs' Ability to Develop Exploit
Anthropic 的 Newton Cheng、Keane Lucas、Winnie Xiao、Nicholas Carlini 和 Milad Nasr 评测 Claude Mythos Preview 在漏洞利用开发上的能力，并将其与新基准 ExploitBench、ExploitGym 以及更新版 SCONE-bench 上的其他模型对比。文章指出，Mythos Preview 在三项基准上都持续优于所有被评测模型；其中 ExploitBench 使用 V8 JavaScript/WebAssembly 引擎中的 41 个已打补丁漏洞，分解为 16 个可程序化验证的能力，模型在统一的 300 turn 预算下运行，且每个变体重复 3 次。
打开原始来源 ↗