过程奖励模型（PRM）源自 OpenAI 论文《Let's Verify Step by Step》，核心区分是两种监督方式：结果监督（outcome supervision）只在最终结果上给反馈，过程监督（process supervision）对每个中间推理步骤都给反馈。
机制与证据
训练方式上，过程监督需要人对推理链条的每一步标注「对/错」，论文团队为此发布 PRM800K 数据集——80 万条步骤级人工反馈标注，用于训练其最佳奖励模型。论文的核心实验结论是：在 MATH 数据集的代表性子集上，过程监督显著优于结果监督，其过程监督模型解出 78% 的题目；论文还发现主动学习能进一步提升过程监督的效力。
为什么过程监督更可靠
直觉上，只看最终答案的奖励模型即使推理链错了也可能碰对答案，从而奖励「错误的过程」；逐步骤打分则能在第一个错误环节就叫停，更难被错误的推理糊弄过去。
与词库「奖励模型」的边界
奖励模型是总概念（学习人类偏好给输出打分），PRM 特指在「步骤粒度」上打分的奖励模型，常与结果奖励模型（ORM，outcome reward model）对举。该思路至今仍指导推理模型的训练与评测：例如按步骤验证数学推理、以及在推理时用 PRM 挑选最优解答路径。