发生了什么
Muhan Gao 发表 The First Drop of Ink 论文(ICML 2026, Qwen2.5 128K-token)
为什么值得关注
10%硬干扰项造成58%性能损失的数据点可复现验证，提示长上下文系统中上下文过滤比内容质量更重要。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
The First Drop of Ink: Nonlinear Impact of
Muhan Gao团队在ICML 2026发表的论文发现，长上下文LLM中误导信息的损害呈非线性关系。在128K-token的Qwen2.5设置中，前10%的hard distractors（硬干扰项）解释了约58%的总性能损失，而非按比例分配；10%的hard distractors即可解释约97%的干扰压力。机制在于softmax注意力奖励相对接近性，误导性文本在logit空间中靠近答案时会不成比例地占据注意力资源。
打开原始来源 ↗