L2正则与权重衰减_adam公式权重衰退

L2正则与权重衰减

首先要清楚这俩概念的区别和联系：

权重衰减是优化器中做的一种具体策略，其目的是让网络参数（权重）得到不同程度的衰减。具体来说，权重越大，希望衰减地越快。

L2正则是数学上 对最优化式的一种约束手段，采用L2范数对变量进行约束，可以达到一些想要的效果。

二者的联系：（下面会证明）

在不引入动量的SGD系优化器中，权重衰减完全等价于L2正则。

对于引入动量的SGD优化器中，权重衰减约等于L2正则，其差别实际可忽略不计。

而对于Adam系优化器，权重衰减不能认为等价于L2正则。

1. 对于不引入动量的SGD系优化器，由L2正则推导权重衰减：

我们要对原优化式做L2正则，则一定要把原来的梯度改写成(1-1)这样带L2正则的梯度：
$$\begin{gathered} L^{{}^{\prime }}(x,{\theta }_t{)}^T=L(x,{\theta }_t{)}^T+\frac{\omega }{2}||{\theta }_t|{|}_2^2 \\ 对\theta 求偏导得： \\ {\nabla }_{{\theta }_t}{L}^{{}^{\prime }}(x,{\theta }_t{)}^T={\nabla }_{{\theta }_t}L(x,{\theta }_t{)}^T+\omega {\theta }_t\text{\hspace{1em}(1-1)} \end{gathered}$$
之后我们把带有L2正则的梯度代入原梯度下降优化式中：
$$\begin{gathered} {\theta }_{t+1}={\theta }_t-\alpha {\nabla }_{{\theta }_t}{L}^{{}^{\prime }}(x,{\theta }_t{)}^T \\ {\theta }_{t+1}={\theta }_t-\alpha {\nabla }_{{\theta }_t}L(x,{\theta }_t{)}^T-\alpha \omega {\theta }_t \\ =(1-\omega \alpha ){\theta }_t-\alpha {\nabla }_{{\theta }_t}L(x,{\theta }_t{)}^T\text{\hspace{1em}(1-2)} \end{gathered}$$
至此 我们发现，其实L2正则在求导之后其实就是这样(1-2)嘛。。。也很容易实现，那我们就把(1-2)叫做权重衰减，各种框架的优化器中也是这么实现权重衰减。

因此，容易证明，对于不带动量的SGD系优化，L2正则和权重衰减是等价的。

2. 对于动量SGD系优化器：

根据(1-1)和引入动量的SGD优化器迭代式，很容易推出加入L2正则化和动量的SGD表达式：
$$\begin{gathered} 引入L2正则的动量SGD： \\ {v}_t^{{}^{\prime }}=\beta v_{t-1}^{{}^{\prime }}+g_t^{{}^{\prime }} \\ {\theta }_{t+1}={\theta }_t-\alpha v_t^{{}^{\prime }} \\ 展开v_t^{{}^{\prime }}的递推公式： \\ {v}_t^{{}^{\prime }}={\beta }^1{g}_1^{{}^{\prime }}+{\beta }^2{g}_2^{{}^{\prime }}+...+{\beta }^{t-1}{g}_{t-1}^{{}^{\prime }}+g_t^{{}^{\prime }} \\ ={\beta }^1(g_1+\omega {\theta }_t)+{\beta }^2(g_2+\omega {\theta }_t)+...+{\beta }^{t-1}(g_{t-1}+\omega {\theta }_t)+g_t+\omega {\theta }_t \\ =\beta v_{t-1}+g_t+(1+{\beta }^1+{\beta }^2+...+{\beta }^{t-1})\omega {\theta }_t \\ =v_t+(1+{\beta }^1+{\beta }^2+...+{\beta }^{t-1})\omega {\theta }_t \\ 把推理后的v_t^{{}^{\prime }}代入参数更新公式： \\ {\theta }_{t+1}={\theta }_t-\alpha [v_t+(1+{\beta }^1+{\beta }^2+...+{\beta }^{t-1})\omega {\theta }_t] \\ =[1-(1+{\beta }^1+{\beta }^2+...+{\beta }^{t-1})\omega \alpha ]{\theta }_t-\alpha v_t\text{\hspace{1em}(1-3)} \end{gathered}$$
**(1-3)就是引入L2正则的动量优化器准确权重更新式，**其与(1-2)的区别就是衰减权重从ω变成了(1+…)ω。对于动量法，ω一般取0.9，当更新次数足够多时衰减权重约等于不变。所以认为，如果用(1-2)式替代(1-3)来对动量优化器进行权重衰减和L2正则化区别不大。

3. 对于Adam系优化器：

Adam优化器的权重迭代公式：
$$\begin{gathered} v_t={\beta }_1{v}_{t-1}+(1-{\beta }_1)g_t \\ {s}_t={\beta }_2{s}_{t-1}+(1-{\beta }_2)g_t^2 \\ \widehat{v_t}=\frac{v_t}{1-{\beta }_1} \\ \widehat{s_t}=\frac{s_t}{1-{\beta }_2} \\ {\theta }_t={\theta }_{t-1}-\frac{\alpha \widehat{v_t}}{\sqrt{\widehat{s_t}}+\epsilon }.g_t\text{\hspace{1em}(1-4)} \end{gathered}$$
按照上面的思路，把gt换成gt’，想象一下最后的更新公式会是啥样。反正和【权重衰减】差挺多的应该…

数学不好，时间有限，咱就不推了哈，逃~

4. 小节

证明推理不是重点，关键是要记住：L2正则化和权重衰减不一定等价！L2正则化就是(1-1)式，权重衰减就是指(1-2)式。

只是恰好对于无动量的SGD来说二者是严格等价的。