损失函数（Loss Function）是训练AI模型的核心组件：它把“模型答得有多差”变成一个具体的数字，训练过程的所有优化（梯度下降、反向传播）都是围绕“把这个数字降下来”展开的。
常见损失函数
- 交叉熵损失（Cross-Entropy）：分类任务和语言模型的标准选择——大语言模型本质上就是在预测“下一个词”，用交叉熵衡量预测分布与真实答案的差距
- 均方误差（MSE）：回归任务常用，衡量预测值与真实值的平方距离
- 对比损失：训练嵌入模型时拉近相似样本、推远不相似样本
与训练的关系
损失函数给出误差 → 反向传播计算每个参数对误差的“责任” → 优化器按责任大小调整参数 → 损失下降。这个循环重复亿万次，模型就“学会”了。
延伸
在人类反馈强化学习（RLHF）中，奖励信号本质上扮演了“损失函数”的角色；GRPO、DPO 等新方法则是把偏好数据改写成不同形式的损失来优化模型。