深度学习中不同学习率调整策略

1、StepLR

功能：固定等间隔调整学习率

主要参数：
step_size:调整间隔数
gamma：调整系数

调整方式：
$$lr=lr\ast gamma$$

2、MultiStepLR

功能：按给定间隔调整学习率

主要参数：
milestones:设定调整的时刻数
gamma：调整系数

调整方式：
$$lr=lr\ast gamma$$

3、ExponentialLR

功能：按指数衰减调整学习率

主要参数：
gamma：指数的底

调整方式：
$$lr=lr\ast gamm{a}^{epoch}$$

4、CosineAnnealingLR

功能：预弦周期调整学习率

主要参数：
T_max：下降周期
eta_min:学习率下限

调整方式：
$${\eta }_t={\eta }_{min}+\frac{1}{2}\left({\eta }_{max}-{\eta }_{min}\right)\left(1+\cos \frac{T_{cur}}{T_{max}}\Pi \right)$$

这里的T_max是以epoch为单位的，T_max对于余弦函数学习率的半周期（下降的半周期）

5、LinearLR

主要参数：
start_factor：起始factor
end_factor:终止factor

LinearLR是线性学习率，给定起始factor和最终的factor，LinearLR会在中间阶段做线性插值，比如学习率为0.1，起始factor为1，最终的factor为0.1。那么刚开始迭代时，学习率将为0.1，最终轮学习率为0.01。下面设置的总轮数total_iters为80,所以超过80时，学习率恒为0.01。