Signal Brief

Harness Handbook论文提升编码代理规划胜率

Harness Handbook论文提出使用静态分析和LLM辅助的BGPD流程,构建从运行时行为到源码位置的映射,在60个修改请求上规划胜率从28.3%提升至38.3%和从26.7%提升至45.6%,规划器token使用下降12.7%和8.6%,文件级和符号级F1在24个对比中全面优于GPT-5.5...

twitter关注列表 elvis (@omarsar0) 发布 2026-07-23 收录 2026-07-23 观察

一句话判断

该论文提供了可复现的BGPD流程和具体量化评估,适合需要处理大型代码库的编码代理开发团队参考。

核心信息

Harness Handbook论文提出使用静态分析和LLM辅助的BGPD流程,构建从运行时行为到源码位置的映射,在60个修改请求上规划胜率从28.3%提升至38.3%和从26.7%提升至45.6%,规划器token使用下降12.7%和8.6%,文件级和符号级F1在24个对比中全面优于GPT-5.5和Opus 4.8参考计划,定位失败减少最多25.9个百分点。

原始内容

Great paper on self-improving agent harnesses. (bookmark it) If you maintain a production agent harness, finding every file behind one behavior is often harder than writing the edit. Harness Handbook builds a three-level map from runtime behaviors to source locations using static analysis and LLM-assisted structuring. Its BGPD workflow guides coding agents from the system overview to relevant stages, functions, and files, then verifies every candidate against current source. Across 60 modification requests on Codex and Terminus-2, handbook guidance raised planning win rates from 28.3% to 38.3% and from 26.7% to 45.6%. Planner token use fell 12.7% and 8.6%. File- and symbol-level F1 improved in all 24 comparisons against GPT-5.5 and Opus 4.8 reference plans. Complete localization misses fell by as much as 25.9 points. This is a strong pattern for coding agents that need to evolve large harnesses without losing scattered or rarely executed behavior. Paper: https://t.co/DW7mIEuPr5 Learn to build effective AI agents in our academy: https://t.co/1e8RZKs4uX ![photo](https://pbs.twimg.com/media/HN6y_bfaYAA_HyQ.jpg)

相关动态

01

Introducing the Qwen-Audio-3.0-TTS.

阿里巴巴推出了 Qwen-Audio-3.0-TTS 文本转语音模型,提供实时版和高质量版两个版本,支持细粒度标签控制、自然语言指令、16 种语言、noise 鲁棒输出,最长 3 分钟长语音,并已登顶 Artificial Analysis TTS 排行榜。

twitter关注列表2026-07-23#技术#模型发布
观察
02

红点笔记模型获 IMO 完美分数

RedNote 的 dots‑note‑3.0 AI 模型在国际数学奥林匹克赛中得满分 42/42,超越去年 DeepMind 和 OpenAI 的 35/42,且仅有 7 名 666 名人类选手匹配。该模型仍在 beta,为 dots3 系列中最小的变体,公司承诺日后开源。

twitter关注列表2026-07-23#模型#技术
值得跟进
03

GPT-5.6 Sol解决6个Erdős问题

一位研究员使用GPT-5.6 Sol在5天内解决了6个开放Erdős问题(尝试13个,成功率46%)。他采用合同式提示,明确证明要求、排除弱结果,并指定搜索策略,包括同时探索多种路径和对抗性检查。

twitter关注列表2026-07-23#技术突破#模型#研究
观察
05

Devin 破解三个未解决数学猜想

Devin(AI编程助手)在一天内破解三个未解决数学猜想:驳斥了开放约40年的Graffiti猜想154,证明了同样开放约40年的Graffiti猜想39和40,并驳斥了开放约20年的Brandt's Regular Supergraph Problem。

twitter关注列表2026-07-23#技术突破#研究#创新
观察