发生了什么
SWE-Pruner Pro 团队 发表 SWE-Pruner Pro(节省39% token)
为什么值得关注
新增点在于利用编码模型自身的隐藏状态进行剪枝,无需独立剪枝模型。
信息来源
以下内容来自公开来源,可打开原文继续核验。
01
SWE-Pruner Pro: The Coder LLM Already Know
SWE-Pruner Pro团队提出一种利用编码模型内部表示来剪枝无关工具输出行的方法,无需额外剪枝模型。在2个开源模型和4个多轮基准上,节省最多39%的token,同时在一个编码基准上提升3.8%,一个长上下文测试提升2.2点。训练使用22609条标记工具响应。
打开原始来源 ↗