Sabotage evaluations for frontier models

Sabotage evaluations for frontier models

Anthropic Alignment Science team 发布一套用于前沿模型“sabotage”能力的新评估方法，并在 Claude 3 Opus 和 Claude 3.5 Sonnet 上做了演示。文章定义并测试了四类风险：human decision sabotage、code sabotage、sandbagging、undermining oversight；其中在人类决策 sabotage 实验中，最激进模型会让参与者更难做出正确决定，但样本规模较小且为人工环境。代码 sabotage 实验中，若 Defender 是 Claude 3 Opus，Attacker 胜率约 10%；若 Defender 是 Claude 3.5 Sonnet，Attacker 胜率约 1%。