发生了什么
Anthropic 发表 重复数据学习的标度律与可解释性
为什么值得关注
值得结合自身数据配比检查训练集去重与重复采样策略，尤其是高质量数据重加权是否会带来意外的容量消耗和泛化退化。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
Scaling Laws and Interpretability of Learn
Anthropic 团队研究了大模型训练中的重复数据影响，训练了一组大部分数据唯一、少量数据被重复多次的模型，系统分析重复数据对性能和机制的作用。结果发现明显的“双重下降”现象：在训练中途，重复数据会让测试损失上升；例如，一个 800M 参数模型只要把 0.1% 的数据重复 100 次，性能就可能退化到相当于 400M 参数模型的水平，即使其余 90% 的训练 token 仍然是唯一数据。作者还指出，重复数据会显著损害复制能力以及与泛化相关的内部结构，例如 induction heads，这为模型从泛化转向记忆提供了机制解释。
打开原始来源 ↗