涌现能力(Emergent Abilities)指当大模型规模(参数、数据、算力)超过某个临界点后,突然出现的、小模型不具备的能力——例如在复杂推理、数学竞赛题、代码生成等任务上性能“跳变式”提升。这一概念由 Google 研究团队在 2022 年的一篇论文中系统描述,成为理解大模型“为什么越大越神奇”的重要视角。
典型表现
- 小模型答不对的任务,规模到某个阈值后准确率突然飙升
- 能力出现有“拐点”:过了拐点,性能跳升;没到拐点,几乎为零
- 思维链(Chain-of-Thought):规模够大后,模型才“会”一步步推理
- 多步数学、复杂代码:小模型基本不会,大模型明显会
- 指令遵循、少样本学习:大模型表现出的“即学即用”
- 有研究者认为“涌现”可能只是评测方式的错觉:用更连续、更细粒度的指标衡量时,能力的提升其实是平滑的,而非真正的“突变”
- 规模法则:描述平滑、可预测的提升
- 涌现能力:描述阈值式的跳跃;两者共同描绘了“模型越大越强”的两副面孔