反向传播是训练所有深度神经网络的基石算法。
核心思想:数据前向传播得到输出 → 计算输出与正确答案的误差 → 用链式法则从输出层向输入层反向计算梯度 → 用梯度更新参数(梯度下降)→ 重复。
自动微分(Autograd):PyTorch/TensorFlow自动跟踪计算图,开发者只需定义前向计算,框架自动完成反向传播。这是深度学习框架最重要的功能。
历史意义:1970年代首次提出,1986年经典论文使其广为人知,2006年后随着GPU算力增长成为训练深度网络的可行方法。2020年代所有大语言模型都基于反向传播训练。
反向传播的优雅在于它的简洁和通用——任何可微的计算图都可以用它高效训练。