RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）是让AI助手变得"好用"的关键训练技术。没有RLHF的模型虽然知识丰富，但可能答非所问、胡言乱语或输出有害内容。
三步流程
Step 1：监督微调（SFT）
- 人类标注员编写高质量的问答对
- 用这些数据微调基础模型
- 让模型学会"人类期望的回答格式"
- 对同一个Prompt，模型生成多个回答
- 标注员对这些回答进行偏好排序（A > B > C）
- 训练一个模型来预测人类的偏好
- 用奖励模型作为"裁判"
- 通过PPO算法优化基础模型
- 模型学会生成高奖励（符合人类偏好）的回答
RLHF的核心作用
- 有帮助：提供真正有用的信息
- 诚实：承认不确定，不编造
- 无害：拒绝有害请求
- 遵循指令：按要求的格式和风格输出
2026年替代方案
- DPO（Direct Preference Optimization）：跳过奖励模型，直接从偏好数据优化，更简单高效
- Constitutional AI（Anthropic）：用AI自己评判输出是否符合"宪法"原则
- RLVR：在可自动验证的任务（数学、编程）上无需人类标注
重要认知
RLHF让AI"听话"，但不一定让AI"更聪明"。过度RLHF可能导致模型变得过于保守或回避争议话题。