AI模型解题能力揭示前评估路径缺陷

AI模型解题能力揭示前评估路径缺陷

研究发现前沿AI模型在数学问题推理评估中存在重大缺陷：即使正确答案或观察到他人正确解法后，它们仍可能接受有缺陷的逻辑链条。通过Valid-Answer-Invalid-Reasoning（VAIR）基准测试，暴露出模型学习的产出评估差异问题——它们更倾向于通过自身推导验证答案而非系统检查推理过程。人类控制实验显示模型判断困难指数低于人类，在逻辑瑕疵检测中表现悬殊。这种偏差源于训练机制过度奖励结果而非跨步验证逻辑。