搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
在线问答5
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
Eureka服务发现注册详解_register-with-eureka
2
《深度学习之pytorch实战计算机视觉》第10章 循环神经网络(代码可跑通)_for循环epoch
3
2024华为OD机试(C卷+D卷)最新题库(Java & Python & C++)_华为od题库c卷
4
FPGA - 7系列 FPGA内部结构之SelectIO -02- 源语简介_ibufg原语
5
小红书商城店铺所有商品接口(整店商品API接口)_小红书公共接口
6
C语言——文件
7
【MySQL命令】远程连接、数据库备份_mysql远程连接命令
8
问题与解决:大华视频后台播放报错_the play() request was interrupted because video-o
9
Golang Redis:构建高效和可扩展的应用程序_golang开发的redis工具
10
十、chatGPT4.0_chatgpt申请研究人员访问计划
当前位置:
article
> 正文
信息熵与Gini不纯度
作者:在线问答5 | 2024-06-27 21:26:42
赞
踩
信息熵与Gini不纯度
1、信息熵
信息论中的
信息量
和
信息熵。
信息量:
信息量是对信息的度量,就跟温度的度量是摄氏度一样,信息的大小跟随机事件的概率有关。
例如: 在哈尔滨的冬天,一条消息说:哈尔滨明天温度30摄氏度,这个事件肯定会引起轰动,因为它发生的概率很小(信息量大)。日过是夏天,“明天温度30摄氏度”可能没有人觉得是一个新闻,因为夏天温度30摄氏度太正常了,概率太大了(信息点太小了)
从这个例子中可以看出 一个随机事件的信息量的大小与其发生概率是成反相关的。
香农定义的一个事件的信息信息量为:I(X) = log2(1/p) 其中p为事件X发生的概率
信息熵:
Entropy
一个随机变量 X 可以代表n个随机事件,对应的随机变为X=xi,
那么熵的定义就是 X的加权信息量。
H(x) = p(x1)I(x1)+...+p(xn)I(x1)
= p(x1)log2(1/p(x1)) +.....+p(xn)log2(1/p(xn))
= -p(x1)log2(p(x1)) - ........-p(xn)log2(p(xn))
其中p(xi)代表xi发生的概率
例如有32个足球队比赛,每一个队的实力相当,那么每一个对胜出的概率都是1/32
那么 要猜对哪个足球队胜出 非常困难,
这个时候的熵H(x) = 32 * (1/32)log(1/(1/32)) = 5
熵也可以作为一个系统的混乱程度的标准
试想如果32个队中有一个是ac米兰,另外31个对是北邮计算机1班队,2班,...31班
那么几乎只有一个可能 ac米兰胜利的概率是100%,其他的都是0%,这个系统的熵
就是 1*log(1/1) = 0.
这个系统其实是有序的,熵很小,而前面熵为5 系统处于无序状态。
2、基尼不纯度
基尼不纯度的大概意思是 一个随机事件变成它的对立事件的概率
例如 一个随机事件X ,P(X=0) = 0.5 ,P(X=1)=0.5
那么基尼不纯度就为
P(X=0)*(1 - P(X=0)) +
P(X=1)*(1 - P(X=1))
= 0.5
一个随机事件Y ,P(Y=0) = 0.1 ,P(Y=1)=0.9
那么基尼不纯度就为P(Y=0)*(1 - P(Y=0)) +
P(Y=1)*(1 - P(Y=1))
= 0.18
很明显 X比Y更混乱,因为两个都为0.5 很难判断哪个发生。而Y就确定得多,Y=0发生的概率很大。而基尼不纯度也就越小。
所以基尼不纯度也可以作为 衡量系统混乱程度的 标准
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/在线问答5/article/detail/763801
推荐阅读
article
RabbitMQ
消息
幂
等
性之
全局
唯一ID_
rabbitmq
messageid
...
当消费者消费完
消息
之后,通常会发送一个ack应答确认信息给生产者,但是这中间有可能因为网络中断
等
原因,导致生产者未能收到...
赞
踩
article
P2P
去
中心化
网络
的重点组件...
智能合约是一种嵌入在区块链上的自执行程序,以代码形式定义合约条款,当预定条件满足时,合约自动执行。
P2P
去
中心化
网络
的重...
赞
踩
article
Pytorch
|
BERT
模型
实现
,
提供转换
脚本
【横扫NLP】...
《谷歌终于开源
BERT
代码:3 亿参数量
,
机器之心全面解读》
,
上周推送的这篇文章
,
全面解读基于TensorFlow
实现
的...
赞
踩
article
ULTRAINTERACT
数据
集
与
EURUS
模型
:推动开源大型语言
模型
在
推理
领域的新进展_st...
推理
任务,特别是那些需要综合运用数学知识、编程技能和逻辑分析的挑战,对LLMs提出了更高的要求。为了提升
模型
的
推理
能力,...
赞
踩
article
10
个
GitHub
上最火
的
程序员
简历
项目
,2024 金三银四必备
的
加薪宝剑!_
github
项目
...
前端
程序员
模版,这
个
模版就是结合前面
的
几
个
简历
模版,结合笔者自己
的
工作经验,写
的
简历
,也就是笔者上一年跳槽时
的
简历
gi...
赞
踩
article
人工
智能
(
AI
)与
机器
学习
(
ML
):开启
智能
时代的大门_ai+ml...
三、
AI
和
ML
的
学习
路径
学习
AI
和
ML
需要扎实的数学基础和编程能力。其次,需要
学习
编程语言如Python和R,并掌握常...
赞
踩
article
Android
开发
规范:
Git
版本
管理
规范,小白也能看明白_
版本
管理
流程...
算法知识点繁多,企业考察的题目千变万化,面对越来越近的“金九银十”,我给大家准备好了一套比较完善的学习方法,希望能帮助大...
赞
踩
article
Linux
常用
make
命令
_
linux
的
make
命令
...
本文介绍了
make
命令
,一个常用于自动化软件构建的工具,它通过Makefile定义规则。
make
能管理依赖、提高效率,支...
赞
踩
article
logback
kafka
输出
日志
到
ELK
_
logback
怎么打印
日志
elk
好分词...
参考
logback
+
kafka
+
elk
搭建
日志
, 学习总结
日志
流程:
logback
-&gt...
赞
踩
article
MySQL
之
视图
,
索引
,
存储
过程
,
触发器
--实操_
索引
视图
触发器
存储
过程
的作用...
视图
是一个虚拟表,其内容由查询定义。同真实的表一样,
视图
包含系列带有名称的列和行数据。行和列数据来自定义
视图
的查询所引用...
赞
踩
article
Vision
Transformer
(
Pytorch
版)
代码
阅读注释_
vit
-
base
-patch1...
Vision
Transformer
Pytorch
版
代码
阅读注释_
vit
-
base
-
patch16
vit
-
base
-p...
赞
踩
article
rabbitmq
消费者
配置...
消费者
重启(断开连接)后,队列中未确认的消息会回到队列头重新消费。
rabbitmq
配置。_
rabbitmq
消费者
配置r...
赞
踩
article
华为
自研
编程
语言
“
仓颉
“
在
HDC
2024首次公开:一文带你了解
仓颉
语言
特性_
仓颉
编程
语言
...
编程
语言
的演变从未停止过。
在
2024年6月23日的
华为
开发者大会(
HDC
)上,
华为
隆重发布了一种全新的
编程
语言
——
仓颉
语...
赞
踩
article
c++
线程
池
/Github 开源项目源码分析(
progschj
/
ThreadPool
)_
c++
线...
维基百科上对
线程
池
的简要介绍:
线程
池
(thread pool):一种
线程
使用模式。
线程
过多会带来调度开销,进而影响缓存局...
赞
踩
article
深度
学习
算法
transformer
(
时序
预测
)模型优化(二)_
nn
.
transformer
时序
预测
...
【代码】
深度
学习
算法
transformer
(
时序
预测
)模型优化(二)_
nn
.
transformer
时序
预测
nn
.tra...
赞
踩
article
一文了解
tcp
/
ip
协议
的
运行原理_
tcp
ip
协议
是
如何工作
的
...
TCP/IP
协议
实际上
是
一系列网络通信
协议
的
一个统称,他负责具体
的
数据传输工作,核心
的
两个
协议
包括TCP以及IP,还有...
赞
踩
article
网络
安全
——
应用层
安全
协议...
本章将会讲解网络
安全
协议中
应用层
安全
协议。_
应用层
安全
应用层
安全
作者简介:一名云计算...
赞
踩
article
计算机
毕业设计
hadoop
+
hive
+
spark
医院
数据
分析
大屏 医疗
数据
分析
医疗
可视化
医院大数...
计算机
毕业设计
hadoop
+
hive
+
spark
医院
数据
分析
大屏 医疗
数据
分析
医疗
可视化
医院大
数据
医院爬虫 医疗爬...
赞
踩
article
使用
BERT
进行
文本
分类
: 一个
PyTorch
实现的深度学习
项目
...
本文介绍了一个使用
BERT
模型
进行
文本
分类
的
PyTorch
项目
,详细讲解了如何在预训练和微调阶段操作,以及如何在情感分析...
赞
踩
article
使用
RPA
通过
GPT
大
模型
AI
Agent
自动
执行
业务流程
任务
企业级应用开发实战:如何持续优化和改进...
1.背景介绍随着人工智能技术的不断发展,
自动
化
任务
在企业级应用中的应用也越来越广泛。在这篇文章中,我们将探讨如何使用RP...
赞
踩
相关标签
rabbitmq消费者幂等性
避免重复消费
rabbitmq重复消费
网络
p2p
去中心化
人工智能
数据集
大模型
自然语言处理
深度学习
机器学习
推理能力提升
github
android
git
linux
mysql
数据库
pytorch
transformer
rabbitmq
分布式
spring boot