🎛️

激活引导(Activation Steering)

Activation Steering / Contrastive Activation Addition
技术原理
可解释性表征工程推理时干预

「激活引导」是一类推理时干预技术:模型的权重一个都不动,而是在前向传播过程中修改中间层的激活值,把模型往某个行为方向推一点。

CAA 的具体做法

Contrastive Activation Addition(对比激活加法)先准备同一行为的正例与负例——论文举的例子是"事实性回答"与"幻觉性回答"——把两者在残差流上的激活相减,再对多组样本取平均,得到一个引导向量。推理时,在用户提示之后的所有 token 位置上,以正或负的系数把这个向量加进去,系数大小决定目标行为的强弱。

论文验证了什么

在 Llama 2 Chat 上,用多选行为问答数据集与开放式生成任务评测,CAA 能显著改变模型行为;它与微调、系统提示词设计这类传统手段叠加仍然有效,且对通用能力的损害较小。

与「可解释性」「稀疏自编码器」的关系

稀疏自编码器偏向把激活分解成可读特征,激活引导则是直接拿一个方向向量去做控制——前者偏"看懂",后者偏"调节",两者常配合使用。

适用边界

需要先构造高质量的正负样本对,向量质量直接决定效果;系数过大会损伤通用能力,需要逐场景调;它改变的是生成时的倾向,不写入权重,因此不会持久保留,也不能替代微调来做长期能力改造。

🔗 探索更多 AI 工具板块

除了本板块,AI工具宝箱还有这些自有内容板块,帮你从不同角度发现好工具。

☆ 0