灾难性遗忘（Catastrophic Forgetting）

灾难性遗忘（Catastrophic Forgetting）指神经网络在学习新知识时，把之前学到的旧知识“冲掉”的现象。比如一个模型本来擅长通用问答，若只拿大量编程数据继续微调，它可能在编程上变强，却在通用问答上明显变笨——这种“顾此失彼”就是灾难性遗忘。它是神经网络持续学习研究中的经典难题。

为什么会出现

• 模型参数是共享的：更新参数让它适应新任务，必然同时改变旧任务的“记忆”
• 新数据反复冲刷旧模式，旧知识的权重被覆盖
• 数据分布差异越大，遗忘越严重

现实中的表现

• 微调模型后，原有技能退化（如数学变差、通用知识变差）
• 智能体学完新工具，忘了旧工具的用法

缓解方法

• 数据混合：微调时混入一定比例的通用/旧任务数据，防止“偏科”
• 低资源微调：用 LoRA 等参数高效微调技术，只更新少量参数，减少对旧知识的扰动
• 经验重放：训练时反复回顾旧任务样本
• 知识蒸馏：用旧模型“教”新模型，把旧能力保留下来

趋势 2026 年，随着模型持续更新、智能体不断学习，避免灾难性遗忘成为“模型可进化”的关键课题，参数高效微调与记忆管理方案被广泛采用。