AI 精选动态
智能评分 62
The First Drop of Ink: Nonlinear Impact of Misleading Information in Long-Context Reasoning
AI 推荐理由
10%硬干扰项造成58%性能损失的数据点可复现验证，提示长上下文系统中上下文过滤比内容质量更重要。核心解读
Muhan Gao团队在ICML 2026发表的论文发现，长上下文LLM中误导信息的损害呈非线性关系。在128K-token的Qwen2.5设置中，前10%的hard distractors（硬干扰项）解释了约58%的总性能损失，而非按比例分配；10%的hard distractors即可解释约97%的干扰压力。机制在于softmax注意力奖励相对接近性，误导性文本在logit空间中靠近答案时会不成比例地占据注意力资源。