Evaluating feature steering: A case study in mitigating social biases

Anthropic 发表了一篇关于 feature steering 的研究，基于此前在 Claude 3 Sonnet 上学到的可解释特征，进一步做定量实验来评估它是否能可靠地改变模型行为并缓解社会偏见。研究聚焦 29 个与社会偏见和政治意识形态相关的特征，使用 2 项社会偏见评测（覆盖 11 种社会偏见类型）和 2 项能力评测，对所有特征逐一测试，并以 MMLU accuracy 作为模型能力代理。结果显示，feature steering 在一定范围内存在“sweet spot”，可在不明显损害能力的情况下调节输出；但超过该范围后，能力会下降，甚至使模型变得不可用，同时还观察到 off-target effects 和一个可显著降低 9 个社会维度偏见的 neutrality feature。