发生了什么
研究团队 发表 Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information(4B-30B，5个模型，最高+11.5分)
为什么值得关注
方法直接针对 reasoning RL 中 self-distillation 的训练信号失真问题，给出了可替换默认方案的机制设计与多模型、多基准的量化结果，适合关注推理训练效率的人进一步看原文与代码。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
Anti-Self-Distillation for Reasoning RL vi
研究团队提出 Anti-Self-Distillation（AntiSD），用于 reasoning RL 中的 self-distillation。作者用 pointwise mutual information 分析发现，带有 verified solution 等 privileged context 的 teacher 会对结构性连接词和可验证陈述更有信心，却会削弱“Wait”“Let”“Maybe”等推动多步搜索的 deliberation token；AntiSD 通过改为上升 student 与 teacher 之间有界的 divergence，并加入 entropy-triggered gate，作为默认 self-distillation 的即插即用替代方案。该方法在 4B 到 30B 参数的 5 个模型上、math reasoning benchmarks 上，将达到 GRPO 基线准确率所需训练步数减少到 2 到 10 倍，并将最终准确率提升最高 11.5 分，覆盖 AIME 2024/2025、HMMT 2025 和 BeyondAIME。
打开原始来源 ↗