预训练是大模型训练的第一阶段，也是最昂贵的阶段。模型在海量互联网文本（数万亿tokens）上进行自监督学习，学会语言的基本结构、知识和推理模式。
训练数据来源：Common Crawl（互联网快照）、维基百科、书籍、学术论文、GitHub代码仓库。
训练目标：语言模型目标（给定上文预测下一个词）、填空目标（BERT风格，随机遮住部分词让模型预测）。
成本：GPT-4级别模型预训练成本约5000万-1亿美元；DeepSeek-V3以创新的MoE架构将成本降至约560万美元。
预训练决定了模型的知识基础和能力上限，后续的微调和对齐只是在基础上做调整。