模型崩塌（Model Collapse）指模型在训练数据中不加区分地混入大量自身生成内容后出现的退化现象。该术语来自 Shumailov 等人 2024 年 7 月发表于《Nature》的论文《AI models collapse when trained on recursively generated data》。
论文结论
论文的结论是不加区分地使用模型生成内容做训练，会给模型带来不可逆的缺陷，表现为原始内容分布的长尾消失；作者把这一效应命名为 model collapse，并证明它不只出现在大语言模型上，在变分自编码器（VAE）与高斯混合模型（GMM）中同样会发生。论文给出了该现象的理论直觉，并说明它在各类学习式生成模型中具有普遍性。
为什么会发生
生成模型学的是训练数据的分布，对分布中低频（长尾）部分本就覆盖不足；当上一代模型的输出成为下一代模型的训练数据，低频部分被进一步抹平，误差逐代累积，分布逐渐收窄。
论文的实践含义
作者强调，若要继续从网络大规模抓取数据来训练模型，就必须认真对待这一问题；反过来，在互联网充斥模型生成内容的情况下，系统与真实人类交互所产生的数据会越来越有价值。
适用边界
论文的论断限定在「不加区分地使用模型生成内容」，并非主张任何形式的合成数据使用都会导致崩塌；这属于该研究明确的适用范围之外。