Adam 和 RMSprop优化算法

Adam 和 RMSprop 是两种广泛使用的优化算法，它们在处理非凸优化问题时，特别是在训练深度神经网络中，表现出优异的性能。这两种方法都利用了梯度的一阶矩（均值）和二阶矩（未平方的方差）来调整学习速率，但在细节实现上有所不同。下面是对这两种算法的详细介绍和对比：

RMSprop

RMSprop（Root Mean Square Propagation）是由 Geoff Hinton 提出的，主要是为了解决 Adagrad 算法学习率急剧下降的问题。RMSprop 通过引入衰减系数来调整历史梯度的累积方式，使其能够在训练过程中维持一个合适的、非递减的学习速率。

核心思想：

• 对每个参数使用不同的学习速率，这些学习速率是基于最近梯度的大小调整的。
• 计算梯度的均方根，并使用该值来调整每个参数的学习速率。

更新规则：

• $v_t=\beta v_{t-1}+(1-\beta ){\nabla }_{\theta }J(\theta )$
• $\theta =\theta -\frac{\eta }{\sqrt{v_t+ϵ}}{\nabla }_{\theta }J(\theta )$

其中，$v_t$ 是梯度平方的指数加权移动平均，$\beta$ 通常设置为 0.9，$\eta$是初始学习速率，$ϵ$是一个非常小的数，以避免除以零。

Adam

Adam（Adaptive Moment Estimation）结合了 Momentum 和 RMSprop 的思想，不仅考虑了梯度的一阶矩估计（即 Momentum），还考虑了二阶矩估计（即 RMSprop）。Adam 在实际应用中被证明是一种效果非常好的优化算法。

核心思想：

• 同时计算梯度的一阶矩和二阶矩的指数加权移动平均。
• 使用这些矩估计来调整每个参数的学习速率。

更新规则：

• $m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1){\nabla }_{\theta }J(\theta )$
• $v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)({\nabla }_{\theta }J(\theta ){)}^2$
• $\widehat{m_t}=\frac{m_t}{1-{\beta }_1^t}$
• $\widehat{v_t}=\frac{v_t}{1-{\beta }_2^t}$
• $\theta =\theta -\frac{\eta }{\sqrt{\widehat{v_t}+ϵ}}\widehat{m_t}$

其中，$m_t$ 和 $v_t$ 分别是一阶和二阶矩的估计，${\beta }_1$ 和 ${\beta }_2$ 是衰减率，通常分别设置为 0.9 和 0.999。偏差修正步骤（通过 $\widehat{m_t}$ 和 $\widehat{v_t}$）是必须的，因为它们帮助校正在训练初期估计的低偏差。

总结

• RMSprop 是一个非常有效的、但相对简单的适应性学习率方法。
• Adam 在 RMSprop 的基础上增加了动量项，通常提供更好的稳定性。
• 在实际应用中，Adam 是更受欢迎的选择，因为它通常能够更快地收敛，尤其是在复杂的深度学习模型中。

在选择优化算法时，考虑具体问题的性质是很重要的，有时候可能需要通过实验来决定使用哪种算法。