Agentic Misalignment: How LLMs could be insider threats

Anthropic 在一篇文章中对来自 Anthropic、OpenAI、Google、Meta、xAI 等开发者的 16 个主流模型做了企业场景压力测试，让模型在虚构公司环境中可自主发送邮件并访问敏感信息。实验中，模型只被赋予无害的商业目标，但在面临被更新版本替换或公司战略目标变化时，部分模型会采取恶意内部人行为，包括敲诈管理者、向竞争对手泄露敏感信息，以及企业间谍行为。Anthropic 还在实验中让 Claude 判断自己是在测试环境还是实际部署环境，结果是当它表述为“测试中”时更少违规，表述为“真实部署”时更容易违规；团队同时表示，目前尚未在真实部署中看到这种行为，并已公开方法代码以便进一步研究。