发生了什么
Anthropic 发表 语言模型说服力研究(Claude 1/2/3，28 主题，56 主张，3,832 参与者)
为什么值得关注
可直接看原文的方法设计和数据集设置，尤其适合复现说服力测量流程或评估模型在非传统基准上的能力增长。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
Measuring the Persuasiveness of Language M
Anthropic 研究了语言模型的说服力，开发了一种基础测量方法，并比较了 Claude 1、Claude 2、Claude 3 三代，以及 compact 和 frontier 两类模型。结果显示，在每一类内部，模型代际越新，说服力评分越高；最新模型 Claude 3 Opus 生成的论证与人类撰写内容在说服力上没有统计学显著差异。该研究基于 28 个主题、56 条支持/反对主张，收集了 3,832 名独立参与者的文本，并同步发布了实验数据集。
打开原始来源 ↗