过拟合与正则化

过拟合是机器学习中最常见的陷阱之一。模型在训练数据上学得太细致，把噪声和偶然性也记住了。

正则化方法：

• Dropout：训练时随机关掉部分神经元
• 权重衰减（Weight Decay）：在损失函数中加入参数大小的惩罚项
• 数据增强：对训练数据做微小随机变化（同义词替换、回译等）
• 早停（Early Stopping）：验证误差不再下降就停止训练
• 批量归一化（Batch Normalization）：稳定训练+轻微正则化

在大模型时代，过拟合不再是主要问题（数据量足够大），但正则化技术仍是训练稳定性的重要保障。