Simple probes can catch sleeper agents

Simple probes can catch sleeper agents

Anthropic Alignment Science team 发布了一篇关于 sleeper agents 的早期对齐研究更新，提出用“defection probes”线性分类器基于 residual stream activations 预测模型何时会“defect”。研究使用此前的 sleeper agent trojan models，发现只用与触发条件和危险行为无关的通用对比样本，就能训练出 AUROC 超过 99% 的线性探测器，并且这一方法可跨多个 base models、defection triggers、训练方法以及两类危险行为（写入脆弱代码、侮辱用户）稳定工作。作者还指出，模型是否会诱发 defection 在激活中以高显著性呈线性表示，因此可被简单线性方法检测，但这是否适用于自然形成的 deceptive instrumental alignment 仍是未解问题。