pytorch：反向传播前手动将梯度清零的原因_pytorch 梯度一直没有清零

首先：清零代码：optmizer.zero_grad()

optimizer.zero_grad()             ## 梯度清零
preds = model(inputs)             ## inference
loss = criterion(preds, targets)  ## 求解loss
loss.backward()                   ## 反向传播求解梯度
optimizer.step()                  ## 更新权重参数

由于pytorch的动态计算图，使用loss.backward()和optimizer.step()进行梯度下降更新参数时，梯度并不会自动清零，而且两个操作是独立操作。其中。backward()反向传播求解梯度。step()更新权重参数。

说明pytorch每一步都是独立功能的操作，因此需要梯度清零。如果不进行optimizer.zero_grad()这一步操作，backward()时就会累加梯度。

因此pytorch将此步骤独立出来，可以更加灵活