是什么:标准语言模型的训练目标是「下一个 token 预测」——每个位置只预测紧随其后的一步。多 Token 预测(Multi-Token Prediction,MTP)改成一次预测未来多个位置的 token:在主模型之后挂若干额外的预测头,第 k 个头负责预测往后第 k 步,训练时多个头并行学习。Meta 2024 年论文《Better & Faster Large Language Models via Multi-token Prediction》系统研究了这一做法,报告它能提升样本效率(同样的数据学出更强的模型)。
与推测解码的关系
训练出的额外预测头还有推理期的妙用——它们本身就是「自带的小草稿模型」。推理引擎可以用主模型先出首个 token、MTP 头顺着给出后续候选,再用主模型一次性验证这几个候选,验证通过就等于一步产出了多个 token,这正是推测解码的加速思想,只是草稿来自模型自带的 MTP 模块而非独立的小模型。DeepSeek-V3 的技术报告即采用 MTP 作为训练目标之一,并说明其在推理加速中的用途。
适用边界
MTP 改变的是训练目标与加速手段,不改变「自回归生成」的本质(仍按序产出、受因果约束);额外预测头会带来一定的参数与显存开销,收益依赖训练管线支持——对使用者而言,它通常体现为「同价位下质量与速度更好」,而非需要主动操作的功能开关。