AI 精选动态
智能评分 63
Predictability and Surprise in Large Generative Models
AI 推荐理由
可用于理解大模型可预测性与部署风险之间的张力，尤其是政策治理和安全评估视角下的论点与实验设计。核心解读
Anthropic 团队发表论文《Predictability and Surprise in Large Generative Models》，讨论大规模生成式模型的一个矛盾特性：训练损失在广泛数据分布上可预测，符合 scaling laws，但具体能力、输入和输出却具有不可预测性。论文以 GPT-3、Megatron-Turing NLG、Gopher 等模型为例，结合文献、现实观察和 2 个新实验，分析这种不可预测性如何带来社会危害，并总结了可能的政策干预方向，面向政策制定者、技术人员和学术研究者。