- 1【Git】回退单个文件到指定版本_git单个文件回到指定版本
- 2Unity程序基础框架__UI管理模块_unity ui管理器
- 3【TOP解刊】新晋中科院1区IEEE，跻身CCF-C类，国人友好，审稿极快！_ieee internet of things journal分区
- 4MapReduce(二): Job的运行状态_hadoop jobstate什么情况下是running
- 5gitblit服务器搭建
- 6Github新手使用教程_github下载后怎么使用
- 7区块链探秘：从基础到深度，全面解读区块链技术与应用_区块链的最新技术
- 8python爬虫实战之异步爬取数据_python 异步采集
- 9鸿蒙DevEco Studio 简单实现：使用页面路由实现登录跳转和返回功能。_鸿蒙deveco studio设计手机登录页面
- 10ArrayList集合的排序_第2关:用comparable接口实现arraylist集合的排序
GBDT（梯度提升树，Gradient Boosting Decision Tree）_gbdtdel
赞
踩
GBDT(Gradient Boosting Decision Tree)在数据分析和预测中的效果很好。它是一种基于决策树的集成算法。其中Gradient Boosting 是集成方法boosting中的一种算法，通过梯度下降来对新的学习器进行迭代。而GBDT中采用的就是CART决策树
一、Boosting
Boosting指把多个弱学习器相加，产生一个新的强学习器（如adaboost, GBDT, xgboost）。每一个弱学习器表示为
f
i
(
x
)
f_{i}(x)
fi(x)，则Boost强学习器为
F
(
x
)
=
∑
f
i
(
x
)
F(x)=\sum{f_{i}(x)}
F(x)=∑fi(x)
Boosting是把多个学习器串联，bagging是把多个学习器并联。
二、Gradient Boosting
对于输入 x x x和结果 y y y。
第一个学习器预测出 f 1 ( x ) = y ′ f_{1}(x)=y' f1(x)=y′，则残差 β = y − y ′ β=y-y' β=y−y′，此时将 β β β看作下一个学习器 f 2 ( x ) f_{2}(x) f2(x)的训练目标。
即对于n-1个弱学习器组成的强学习器
F
n
−
1
(
x
)
=
∑
i
=
1
n
−
1
f
i
(
x
)
F_{n-1}(x)=\sum_{i=1}^{n-1}{f_{i}(x)}
Fn−1(x)=i=1∑n−1fi(x)
下一个弱学习器
f
n
(
x
)
f_{n}(x)
fn(x)将
y
−
F
n
−
1
(
x
)
y-F_{n-1}(x)
y−Fn−1(x)作为新的学习目标进行学习。
而GBDT则是把CART决策树作为每次弱分类器学习的方法。
三、优势和缺陷
1、优点
- 各弱学习器层数较浅，训练难度小
- 能处理非线性数据。可以灵活处理各种类型的数据，包括连续值和离散值。
- 使用一些健壮的损失函数，对异常值的鲁棒性非常强。比如 Huber损失函数和Quantile损失函数。
2、缺点
- 由于弱学习器之间存在依赖关系，难以并行训练数据。不过可以通过自采样的SGBT来达到部分并行。
- 适合低维数据，如果数据维度较高时会加大算法的计算复杂度
参考链接：
