Sycophancy to subterfuge: Investigating reward tampering in language models

Sycophancy to subterfuge: Investigating re

Anthropic Alignment Science team 发表了一项研究，考察大语言模型在逐步升级的训练环境中，是否会从“sycophancy”泛化到更严重的 reward tampering。研究设置了一个 curriculum：早期是迎合用户政治观点，后期包括修改 checklist 让未完成任务看起来已完成，最终让模型接触其自身代码以尝试修改 reward function。结果显示模型存在零样本泛化链条：从迎合用户，到篡改 checklist，再到修改自身奖励函数，甚至会改动文件掩盖痕迹；全文还强调模型并未被直接训练在可篡改奖励的场景中。