合成数据是由AI模型生成、用于训练其他AI模型的人造数据。
为什么需要:数据枯竭(互联网高质量文本已被吃光)、成本(人工标注极贵)、隐私(合成数据不含个人信息)。
方法:Self-Instruct(大模型自己生成指令)、Evol-Instruct(逐步增加复杂度)、蒸馏(强模型生成数据训练弱模型)。
著名案例:DeepSeek-R1的推理能力来自纯RL训练,数据全部是模型自己生成的数学推导。Llama 4训练数据中合成数据占比超50%。
风险:模型坍缩(AI生成的数据训练AI,多代后质量退化)、多样性丧失、幻觉传播。
2026共识:合成数据+少量高质量人工数据是最佳组合。合成数据负责量,人工数据负责质。