🌀

扩散语言模型(Diffusion LLM)

Diffusion Large Language Model (dLLM)
前沿概念
生成模型并行解码非自回归

是什么:扩散语言模型(dLLM)把图像生成里的扩散/去噪思路搬到文本上。它不按「下一个词」逐个预测,而是一次性给出整段被遮盖的文本,再让模型反复预测被遮住的位置、逐步把答案「擦亮」。

机制

LLaDA 论文给出的框架是「前向数据遮盖 + 反向生成」——训练时把文本按前向过程遮掉一部分,让 Transformer 学会预测被遮住的 token,并通过优化似然下界来做概率推断;生成时从高遮盖状态出发,多轮并行地把被遮位置填回。因为每一轮可以同时修改多个 token,解码步数不再等于输出长度,这正是它追求速度优势的来源。

与自回归的区别

自回归模型每次只前进一步、且不能回头改已写的内容;扩散式生成可以全局规划、并支持并行改写。LLaDA 论文报告,其 8B 模型在上下文学习上可与同规模自回归模型相比,并称在「反转诗」补全这类任务上缓解了反转诅咒。

适用边界

这是一条与主流自回归并行的技术路线,不等于「更强」。并行解码在通用对话、长文写作上的质量与工程成熟度仍在演进;实际产品的能力与速度说法应以其官方发布为准(例如 Inception 的 Mercury 自称是首个商业化规模的 dLLM,并称其代码模型达到 1000+ tokens/秒、比同期 LLM 快 5–10 倍,属厂商自述口径)。

🔗 探索更多 AI 工具板块

除了本板块,AI工具宝箱还有这些独家内容板块,帮你从不同角度发现好工具。

☆ 0