Predictability and Surprise in Large Generative Models

Predictability and Surprise in Large Gener

Anthropic 团队发表论文《Predictability and Surprise in Large Generative Models》，讨论大规模生成式模型的一个矛盾特性：训练损失在广泛数据分布上可预测，符合 scaling laws，但具体能力、输入和输出却具有不可预测性。论文以 GPT-3、Megatron-Turing NLG、Gopher 等模型为例，结合文献、现实观察和 2 个新实验，分析这种不可预测性如何带来社会危害，并总结了可能的政策干预方向，面向政策制定者、技术人员和学术研究者。