🎯

解码策略(Decoding Strategies)

Decoding Strategies (Top-k / Top-p / Beam Search)
技术原理
生成控制采样

解码策略(Decoding Strategies)决定大模型在每一步如何从概率分布中选出下一个词。模型每步输出的其实是一整张“候选词概率榜”,怎么挑,直接决定回答是呆板还是灵动、稳定还是发散。

主要策略

  • 贪心搜索(Greedy):永远选概率最高的词。稳定、可复现,但容易重复啰嗦
  • 束搜索(Beam Search):同时保留若干条最优路径最后选整体最好的。机器翻译常用,创意写作显得平庸
  • Top-k:只在概率前 k 个候选里随机挑,把长尾低质词排除
  • Top-p(核采样,Nucleus Sampling):动态选取累计概率达到 p(如 0.9)的最小候选集,候选数量随分布情况自适应
  • 温度(Temperature):调低分布“尖锐度”——低温保守复读,高温天马行空

实践建议

要事实准确(问答、代码)用低温 + 小 Top-p;要创意发散(写文案、起标题)适当升温。温度参数和解码策略通常在 API 请求里一起设置。

🔗 探索更多 AI 工具板块

除了本板块,AI工具宝箱还有这些独家内容板块,帮你从不同角度发现好工具。

☆ 0