神经网络的前置函数公式，反向传播公式，参数更新公式_神经网络参数更新公式

作者：空白诗007 | 2024-08-23 06:54:22

踩

神经网络参数更新公式

复合函数求导法则：

g(f(x))'(x) = g'(f(x)) * f'(x)

对神经网络的代价函数进行求导的时候，使用反向传播算法计算，会用到上述法则

前向传播公式：

假定:

不定义偏置b

激活函数为a

则有：

$z^{n}$ = a ( $w^{n}$ * $z^{n-1}$ )

总结：

本层输出 = 激活函数（本层参数 * 本层入参）

反向传播算法的公式：

假定:

不定义偏置b

代价函数使用 $\frac{1}{2}\sum\left ( z - lable \right )^{2}$

激活函数为a,激活函数的导数为a'

第n层的参数为 $w^{n}$

第n层的反向偏导为 $D^{n}$

则有：

最后一层：D = 预测值 - 实际值

其他层： $D^{n}$ = $w^{n+1}$ . * $D^{n+1}$ . * a'

如下代码第：115，116行

总结：

误差倒数 = 下一层的误差倒数 * 本层的参数 * 激活函数的导数

最后一层的误差导数（反向传播起始值）= 模型预测值 - 实际值

参数值更新公式：

W = W - $\lambda$ .* D

总结：

新参数= 上一次的参数 - 学习率 * 误差导数

代码可参考：https://www.cnblogs.com/jsfantasy/p/12177216.html

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/空白诗007/article/detail/1019915