指令微调（Instruction Tuning）

指令微调（Instruction Tuning）指用大量“指令-回答”形式的数据对模型进行微调，让模型学会理解并遵循用户的指令。该方向在 2021 年前后被系统化提出（如 Google 的 FLAN 系列工作），此后成为大模型训练的标准环节——ChatGPT 等对话助手“会听指令”正是建立在指令微调之上。

解决的问题

• 预训练模型只会接续文本：给它“写一首诗”，它可能继续写“关于诗的知识”
• 指令微调后：它真正理解“写一首诗”是一个需要执行的指令

工作方式

• 收集大量指令数据：涵盖问答、总结、翻译、写作、编程等任务
• 统一格式训练：把指令和期望输出配对，让模型学习“指令 → 正确回应”
• 覆盖多样任务：任务越多样，模型的泛化能力越强

与 SFT 的关系

• 监督微调（SFT）是“用标注数据继续训练”的统称
• 指令微调是 SFT 的一种典型形式，专门用指令数据训练对话与任务遵循能力

代表工作与影响

• FLAN（Google）等研究证明了指令微调能显著提升模型在未见任务上的表现
• “指令遵循”后来成为评测模型“好用程度”的核心维度

趋势 2026 年，指令微调已与监督微调、对齐优化深度融合，几乎不再单独出现，而是作为模型后训练流水线的一部分被广泛应用。