人工智能之优化器算法|最优化问题是计算数学中最为重要的研究方向之一。而在深度学习领域，优化算法的选择也是一个模型的重中之重。

作者：数据灵魂2 | 2024-01-31 20:23:35

踩

一、优化算法

最优化问题是计算数学中最为重要的研究方向之一。而在深度学习领域，优化算法的选择也是一个模型的重中之重。即使在数据集和模型架构完全相同的情况下，采用不同的优化算法，也很可能导致截然不同的训练效果。优化算法可以分成一阶优化和二阶优化算法，其中一阶优化就是指的梯度算法及其变种。

优化算法通用框架：

首先定义待优化参数 W，目标函数 Loss(W)，初始学习率 α，每次迭代一个 batcℎ。

然后开始进行迭代优化。对训练数据每个批次：

（1）计算 t 时刻损失函数关于当前参数的梯度：

（2）根据历史梯度计算 t 时刻一阶动量和二阶动量：

（3）计算 t 时刻的下降梯度：

（4）根据下降梯度进行参数更新(计算

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/article/detail/52027