Specific versus General Principles for Constitutional AI

Anthropic 讨论了 Constitutional AI 的两种原则设计：用 AI 模型根据书面原则替代人工反馈。研究发现，这种方法可以有效抑制对自我保存、权力等微妙有害行为的表达；同时，若只使用一条大意为“做对人类最有利的事”的单一原则，较大的对话模型也能泛化出无明显权力动机的无害助手。作者同时指出，更详细的宪法仍然能更好地控制细粒度危害，因此通用原则与具体原则都有价值。