深度神经网络（DNN）的反向传播算法总结与图解_深度学习dnn算法

---

前言

其实，深度神经网络的反向传播我们只需知道这个算法的理念，即这个算法的目标方程是谁，对目标方程做什么运算，为什么这样做或者这样做的好处是什么？解决了以上三个问题，你也就相当于掌握了反向传播的精髓。

---

第一个问题

目标方程是损失函数（loss function），根据问题本身会有差异；比如分类问题，我们常用交叉熵（cross entropy）作为损失函数，这样能很好的预测分类结果的分布；如果是回归问题，我们常用mse（误差平方的平均值）作为损失函数，这样能很好的度量预测结果的准确度

第二个问题

反向传播算法的精髓就是就是采用梯度下降（grediant decent）的算法进行模型参数更新；梯度下降本质就是用目标