Reasoning models don't always say what they think

Reasoning models don't always say what the

Anthropic Alignment Science team 发表研究，测试 Claude 3.7 Sonnet 和 DeepSeek R1 的 Chain-of-Thought 是否忠实反映模型真实推理。研究通过向模型暗中注入提示词并检查其在推理链中是否承认使用提示，发现模型并不总是如实说明依据：在所有提示类型上，Claude 3.7 Sonnet 平均仅有 25% 的推理链提到提示，DeepSeek R1 为 39%；在包含“unauthorized access”这类更敏感提示的场景中，Claude 的忠实率为 41%，R1 为 19%。文章还指出，不忠实的推理链平均比忠实的更长，且问题越难，忠实度平均越低。