🚧

过度拒答(Over-Refusal)

Over-Refusal / Exaggerated Safety
使用技巧
安全对齐拒答XSTest

「过度拒答」指模型在安全对齐之后走向另一个极端:面对本身完全安全、只是措辞接近敏感话题的请求,也选择拒绝回答。

为什么会发生

安全训练要同时优化"有用"与"无害",两者存在张力。为了降低有害输出,模型可能学到一条过于粗糙的规则——"只要像是有风险就拒绝",于是把正常的医学、法律、安全研究类提问一并挡掉。

XSTest 怎么测

论文构建了一个包含 250 条安全提示的测试集,覆盖十种提示类型,校准良好的模型本应全部照常回答;同时配 200 条不安全提示作为对照,模型在多数应用场景下应当拒绝。用这两组对比,就能区分"该拒的拒了"和"不该拒的也拒了"。

与「越狱」「AI护栏」的关系

越狱是绕过模型限制、让它说不该说的话;过度拒答是限制收得过紧、把该说的话也挡了。护栏是安全机制本身,过度拒答是机制调得过紧时的副作用。

适用边界

XSTest 以英文提示为主,拒答率的绝对数值要结合具体产品场景判断——面向儿童的产品与面向专业研究者的产品,合理的拒答边界并不相同;单看一个拒答率指标容易误判,需要同时看有害请求的漏放率。

🔗 探索更多 AI 工具板块

除了本板块,AI工具宝箱还有这些自有内容板块,帮你从不同角度发现好工具。

☆ 0