「激活引导」是一类推理时干预技术:模型的权重一个都不动,而是在前向传播过程中修改中间层的激活值,把模型往某个行为方向推一点。
CAA 的具体做法
Contrastive Activation Addition(对比激活加法)先准备同一行为的正例与负例——论文举的例子是"事实性回答"与"幻觉性回答"——把两者在残差流上的激活相减,再对多组样本取平均,得到一个引导向量。推理时,在用户提示之后的所有 token 位置上,以正或负的系数把这个向量加进去,系数大小决定目标行为的强弱。
论文验证了什么
在 Llama 2 Chat 上,用多选行为问答数据集与开放式生成任务评测,CAA 能显著改变模型行为;它与微调、系统提示词设计这类传统手段叠加仍然有效,且对通用能力的损害较小。
与「可解释性」「稀疏自编码器」的关系
稀疏自编码器偏向把激活分解成可读特征,激活引导则是直接拿一个方向向量去做控制——前者偏"看懂",后者偏"调节",两者常配合使用。
适用边界
需要先构造高质量的正负样本对,向量质量直接决定效果;系数过大会损伤通用能力,需要逐场景调;它改变的是生成时的倾向,不写入权重,因此不会持久保留,也不能替代微调来做长期能力改造。