发生了什么
Anthropic 发表 Red Teaming Language Models to Reduce Harms(38,961 条攻击样本)
为什么值得关注
可优先查看其 red teaming 流程、统计方法和 38,961 条攻击样本的组织方式，便于复用到有害输出评测与安全对齐工作中。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
Red Teaming Language Models to Reduce Harm
Anthropic 研究了对语言模型进行 red teaming 以发现、衡量并降低有害输出的方法，比较了 4 种模型类型：普通 LM、经过 helpful/honest/harmless 提示的 LM、使用 rejection sampling 的模型，以及通过 RLHF 训练的 helpful/harmless 模型。研究覆盖 3 个模型规模，分别为 2.7B、13B 和 52B 参数；结果显示，RLHF 模型随着规模增大越来越难以被 red team，而其他模型类型在规模上的趋势较平。团队还公开了 38,961 条 red team attacks 数据集，并系统说明了指令、流程、统计方法和不确定性，同时发布了 Red Teaming Policy Memo。
打开原始来源 ↗