李沐深度学习-ch04

作者：天景科技苑 | 2024-08-06 20:08:56

踩

李沐深度学习-ch04

回归 VS 分类

在这里插入图片描述
从回归到多类分类–均方损失

对于每一类i来说，Y中只有第i位为1，其余位均为0。

对于分类来说，并不关心其输出的值，更加关心的是最终输出识别的某个类别。

需要保证模型更置信的识别正确类，即满足：

Oy - Qi > Δ(y,i)

希望最终输出是一个匹配概率值。则我们构造一个操作算子softmax(O)
在这里插入图片描述

熵定义：
参考来源：王木头学科学的交叉熵
在这里插入图片描述
P、Q交叉熵定义：

（Dkl为散度。以P为基准，判断Q与P的匹配程度能够有多少。）
因为通过吉布斯不等式可以证明，散度一定是大于零的，即交叉熵一定是大于后面定值减数的。即当交叉熵越小时，散度越小，P、Q越匹配。

在这里插入图片描述
总结：

三种，其中绿色线代表最大似然估计，蓝色线代表损失值，黄色线代表梯度
在这里插入图片描述

在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/天景科技苑/article/detail/939097