信息熵与Gini不纯度

作者：在线问答5 | 2024-06-27 21:26:42

踩

信息熵与Gini不纯度

1、信息熵

信息论中的信息量和信息熵。

信息量：

信息量是对信息的度量，就跟温度的度量是摄氏度一样，信息的大小跟随机事件的概率有关。

例如：在哈尔滨的冬天，一条消息说：哈尔滨明天温度30摄氏度，这个事件肯定会引起轰动，因为它发生的概率很小（信息量大）。日过是夏天，“明天温度30摄氏度”可能没有人觉得是一个新闻，因为夏天温度30摄氏度太正常了，概率太大了（信息点太小了）

从这个例子中可以看出一个随机事件的信息量的大小与其发生概率是成反相关的。

香农定义的一个事件的信息信息量为：I(X) = log2(1/p) 其中p为事件X发生的概率

信息熵：Entropy

一个随机变量 X 可以代表n个随机事件，对应的随机变为X=xi,

那么熵的定义就是 X的加权信息量。

H(x) = p(x1)I(x1)+...+p(xn)I(x1)

= p(x1)log2(1/p(x1)) +.....+p(xn)log2(1/p(xn))

= -p(x1)log2(p(x1)) - ........-p(xn)log2(p(xn))

其中p(xi)代表xi发生的概率

例如有32个足球队比赛，每一个队的实力相当，那么每一个对胜出的概率都是1/32

那么要猜对哪个足球队胜出非常困难，

这个时候的熵H(x) = 32 * (1/32)log(1/(1/32)) = 5

熵也可以作为一个系统的混乱程度的标准

试想如果32个队中有一个是ac米兰，另外31个对是北邮计算机1班队，2班，...31班

那么几乎只有一个可能 ac米兰胜利的概率是100%，其他的都是0%，这个系统的熵

就是 1*log(1/1) = 0. 这个系统其实是有序的，熵很小，而前面熵为5 系统处于无序状态。

2、基尼不纯度

基尼不纯度的大概意思是一个随机事件变成它的对立事件的概率

例如一个随机事件X ，P(X=0) = 0.5 ,P(X=1)=0.5

那么基尼不纯度就为 P(X=0)*(1 - P(X=0)) + P(X=1)*(1 - P(X=1)) = 0.5

一个随机事件Y ，P(Y=0) = 0.1 ,P(Y=1)=0.9

那么基尼不纯度就为P(Y=0)*(1 - P(Y=0)) + P(Y=1)*(1 - P(Y=1)) = 0.18

很明显 X比Y更混乱，因为两个都为0.5 很难判断哪个发生。而Y就确定得多，Y=0发生的概率很大。而基尼不纯度也就越小。

所以基尼不纯度也可以作为衡量系统混乱程度的标准

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/在线问答5/article/detail/763801