随机森林（Random Forests）介绍

1.决策树（Decision Tree）

决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。常见的决策树算法有C4.5、ID3和CART。ID3算法用的是信息增益，C4.5算法用信息增益率；CART算法使用基尼系数。

2.集成学习（Ensemble Learning）

集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。
在集成学习中，主要分为bagging算法和boosting算法。

3. Bagging和Boosting

Bagging（套袋法）是Bootstrap AGGregatING的缩写。
Bagging基于自助采样法(bootstrap sampling)。给定包含m个样本的数据集，先随机取出一个样本放入采样集中，再把该样本放回初始数据集，使得下次采样时该样本仍有可能被选中(有放回的采样)。这样，经过m次随机采样操作，得到含m个样本的采样集，初始训练集中有的样本再采样集里多次出现，有的则从未出现。
采样出T个含有m个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将