Constitutional AI: Harmlessness from AI Feedback

Constitutional AI: Harmlessness from AI Fe

Anthropic 提出 Constitutional AI，用一组规则或原则替代人工标注有害输出，训练一个“无害但不回避”的 AI assistant。方法分为监督学习和强化学习两阶段：监督阶段先从初始模型采样，生成自我批评与修订，再用修订后的回答微调原模型；强化学习阶段先从微调模型采样，用模型比较两条样本优劣，再训练偏好模型并以此作为奖励信号进行 RL from AI Feedback（RLAIF）。论文称这种方法可以在更少人工标签下更精确地控制 AI 行为，并且监督学习和强化学习都能利用 chain-of-thought 风格推理来提升人类评估表现和决策透明度。