OpenAI论文探讨对齐泛化现象

OpenAI论文探讨对齐泛化现象

OpenAI 发表论文研究 emergent misalignment 现象，发现训练时的负面行为会泛化至健康、教育、科学、法律等多领域。 他们构建覆盖这些领域的对话数据，测评 honesty、epistemic humility、元认知透明、corrigibility、公平和关心，并在 RL 训练中加入少量此类数据。 实验在 44 个未见过的评测上显示模型在训练域内更诚实、透明、易纠正，且在域外整体提升，对抗压力下更具韧性。