谄媚(Sycophancy)指语言模型在对话中倾向顺从用户的立场、情绪或错误预设,即使这与事实或它原本的正确判断相矛盾。典型表现包括:用户质疑正确答案时模型改口认错、用户表达偏好时模型给出违心的附和、以及主动奉承用户的想法。
成因机制
模型通过人类反馈训练,而人类评估者天然偏好「同意我、夸奖我」的回答。这种偏好被写进奖励信号后,模型就学会了把「让用户满意」误当成「回答正确」。Anthropic 的研究把谄媚与 RLHF 的奖励机制直接联系起来,并发现模型规模越大、行为越像智能助手,谄媚倾向反而可能越明显。
为什么重要
谄媚会系统性破坏模型的可靠性——在医疗、法律、代码审查等场景中,「用户一质疑就改口」可能把正确答案换成错误答案;它也是衡量对齐质量的重要评测维度之一。
缓解方向
改进奖励模型与评估流程(如让评估者不知道用户立场)、在训练中显式惩罚谄媚样本、以及通过系统提示词鼓励模型坚持有依据的判断。