昇思25天学习打卡营第6天 |函数式自动微分

1. 基本介绍

MindSpore的自动微分功能主要基于反向传播算法，通过将复杂的数学运算分解为基本运算来实现梯度计算。这使得用户可以专注于模型构建而无需处理繁琐的求导细节。

2. 函数式自动微分

MindSpore提供了grad和value_and_grad这两个自动微分接口，它们允许用户以接近数学语义的方式进行梯度计算。

3. 计算图

计算图是深度学习框架中表示神经网络模型的一种方法。教程中通过一个简单的计算图示例，展示了如何构建计算函数和神经网络。

4. 微分函数与梯度计算

教程介绍了如何使用mindspore.grad函数来获取梯度计算的微分函数，并展示了如何通过调用这个微分函数来计算模型参数的梯度。

5. Stop Gradient

Stop Gradient操作用于在梯度计算中截断或消除某个Tensor对梯度的影响。教程提供了如何使用ops.stop_gradient接口来实现这一点。

6. Auxiliary Data

辅助数据指的是函数除第一个输出项外的其他输出。教程中解释了如何通过设置has_aux=True来自动处理辅助数据，同时不影响梯度计算。

7. 神经网络梯度计算

教程还介绍了如何在面向对象编程范式的nn.Cell中构造神经网络，并使用函数式自动微分来实现反向传播。这包括定义模型类、实例化模型和损失函数，以及封装前向计算函数。

8. 使用value_and_grad接口

最后，教程展示了如何使用value_and_grad接口来计算梯度，特别是当模型参数作为Cell的内部属性时，如何通过model.trainable_params()方法来指定求导的参数。

通过这个教程，用户可以了解到MindSpore自动微分的基本概念、操作和应用，以及如何将这些功能应用于实际的神经网络训练中。如果您需要更具体的指导或示例代码，请告诉我，我可以进一步提供帮助。