发生了什么
Anthropic Engineering 发表 Claude 约束智能体
为什么值得关注
可重点看其将“blast radius”落到环境层边界的具体做法，以及三种隔离模式如何分别权衡能力、监督与风险。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
我们如何在多个产品中约束 Claude
Anthropic Engineering 介绍了其在三个主要产品中约束 AI 智能体的工程方法，涵盖 https://t.co/4zA6V9Pu5R、Claude Code 和 Claude Cowork。文章区分了三类风险：用户滥用、模型行为不当、外部攻击者，并对应三类防御组件：环境、模型、外部内容。文中给出三种隔离模式：用于 https://t.co/4zA6V9Pu5R 的临时容器、用于 Claude Code 的人工参与沙箱、用于 Claude Cowork 的本地虚拟机；同时披露了几类失败案例，包括预信任对话利用、用户作为注入向量攻击，以及通过已批准域名进行的数据窃取。文章还提到一项红队结果：在 25 次尝试中有 24 次可能导致凭证泄露。
打开原始来源 ↗