发生了什么
Meta 发表 量化推理模型研究(失败率52%)
为什么值得关注
该研究提供了量化模型过度思考的具体机制和简单有效的解码修正方法，对部署低成本推理模型有实用价值。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
Quantized Reasoning Models Think They Need
Meta 的研究发现，后训练量化使推理模型在正确答案上犹豫不决，导致过度思考失败率高达 52%。通过惩罚 50 个犹豫词，推理长度减少 12% 至 23%，并保持或提升准确性。该研究在 5 个推理模型、多种量化方法和 1.5B 至 32B 参数规模上进行了验证。
打开原始来源 ↗