一句话判断
ISO-Optimizer在减少训练步骤方面有显著效果,值得关注其具体实现和可复现性。
核心信息
Hanqing Zhu团队提出ISO,一个RLVR-native优化栈,包含ISO-Merger(无需数据、回滚或OPD即可合并RL专家)和ISO-Optimizer(作为AdamW/Muon的即插即用包装,在Qwen3-8B-Base上匹配AdamW精度,步骤减少约2.7倍)。
原始内容
相关动态
Codex GPT Live 跨项目协作与屏幕读取能力
Codex GPT Live 提供跨项目协作、跨桌面文件交互、语音直对聊及屏幕内容读取能力,支持读取当前活动窗口的图像和文本进行分析。
When Do Multi-Agent Systems Help? An Information Bottleneck Perspective
该论文通过信息瓶颈视角,在5个基准测试、3种模型大小、18个测试中,比较了单agent、单agent遵循任务拆分、多agent系统的性能。发现多agent系统在信息传递紧凑完整时有效,尤其对弱模型,但当后续步骤需要精确早期细节时优势减弱或逆转。
AI代码库知识图谱方法分享
Mark Ajzenstadt 分享一个团队通过先构建知识图谱再使用AI的方法,在3.5个月内完成FedEx供应商平台重建,AI生成90%代码,合并122个PR,计算成本200美元/月。
Scaling Laws for Hypernetwork-Based Knowledge Injection in Large Language Models
Nace AI研究团队发布论文,提出使用超网络将知识注入大语言模型,无需修改模型核心参数。方法通过超网络将自然语言事实转换为LoRA权重,附加在冻结的模型上,且最强结果为目标模型越大泛化越好。
The Stack v3 发布:最大的开放代码数据集
BigCode 社区发布 The Stack v3,这是迄今最大的开放代码数据集,包含 114 TB 原始数据、15.9 TB 处理后数据、约 5T 去重 tokens,涵盖 770 种编程语言和 2.24 亿仓库,完全开放且无限制许可。相比 2024 年的 v2(68 TB raw / 550B tokens / 618 种语言),v3...