devbox
Li_阴宅
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

机器学习——决策树(2020最新版)_graph.render

作者：Li_阴宅 | 2024-07-12 15:51:13

赞

踩

graph.render

1、什么是决策树(Decision Tree)

 

 

2、决策树算法发展

 

 

3、决策树的例子

根据age、income、student、credit_rating属性来推断是否会买电脑：

然后画出如下的决策树：

 

 

4、熵(entropy)的概念

(1) 熵其实可以代表不确定性，如果一个事情的熵越大，代表不确定性越大；熵越小，说明事情是比较确定的。

 

4.1 信息熵的计算

所以分别得到骰子A、B、C的信息熵：

所以有骰子ABC可知，信息熵越大，不确定性越大。

 

 

5、ID3算法(选择根节点的算法)

(1) 把信息增益最大的那个作为根节点，如下图，age的信息增益最大，为0.246，即age为根节点。

再分别累计使用ID3算法选择下一个节点的根节点：

 

 

6、连续变量的处理、C4.5算法的提出

(2) ID3算法比较倾向选择分支数(属性值)比较多的那个参数(下面图中age是三个属性值，而students、credit-rating、income都只有两个属性值)

而为了优化这种倾向于选择因子数较多的变量的特点，提出来C4.5算法:

 

 

7、决策树的一个例子ID3 algorithm(dataset:是否要购买电脑)+如何画决策树

  1. # -*- coding: utf-8 -*- #
  2. """
  3. -------------------------------------------------------------------------------
  4.   FileName:    decision_tree_ID3
  5.   Author:      newlinfeng
  6.   Date:        2020/8/3 0003  10:17
  7.   Description: 使用是否购买电脑的数据集，来构建一个决策树例子(ID3)
  8. -------------------------------------------------------------------------------
  9. """
  10. from sklearn.feature_extraction import DictVectorizer
  11. from sklearn import tree
  12. from sklearn import preprocessing
  13. import csv
  14.  
  15. #读入数据
  16. Dtree = open(r'AllElectronics.csv', 'r')
  17. #这次不是使用numpy来读(如果都是数字，可以使用这种方式来读，但现在这个csv里面都是字符，需要使用csv来读取)，而是使用csv来读
  18. reader = csv.reader(Dtree)
  19.  
  20. #获取第一行数据
  21. #__next__()：读取文件里面的第一行
  22. headers = reader.__next__()
  23. print(headers)
  24.  
  25. #定义两个列表
  26. featureList = [] #保存特征的
  27. labelList = [] #保存标签的
  28.  
  29.  
  30. for row in reader: #每次从reader里面读取一行
  31.     #把label存入list
  32.     labelList.append(row[-1]) #拿到每一行的最后一列的数据存入标签的list中
  33.     rowDict = {} #定义了一个空的字典
  34.     for i in range(1, len(row)-1): #某一行的每一列(除第一行，最后一列以外)对应元素遍历，存入rowDict中
  35.         #建立一个数据字典
  36.         rowDict[headers[i]] = row[i]
  37.     #把数据字典存入list
  38.     featureList.append(rowDict) #再将每个rowDict保存到特征list
  39.  
  40. print('特征List初始化后的值:', featureList)
  41. print('标签List初始化后的值:', labelList)
  42.  
  43.  
  44. #由于算法无法使用字符来进行计算和分析，只能使用数字，所以需要将上面的数据进行转化
  45. vec = DictVectorizer() #这个DictVectorizer类主要是将字典结构的字符转换为数字形式
  46. x_data = vec.fit_transform(featureList).toarray()
  47. print('featureList数字化转换成x_data: ' + str(x_data))
  48.  
  49. #打印属性名称
  50. print(vec.get_feature_names())
  51. #打印标签list
  52. print("labelList:"+str(labelList))
  53.  
  54. #把标签转换成01表示
  55. lb = preprocessing.LabelBinarizer()
  56. y_data = lb.fit_transform(labelList)
  57. print("labelList转换后的y_data:"+str(y_data) )
  58.  
  59.  
  60. #创建一个决策树模型
  61. # DecisionTreeClassifier:决策树分类器；criterion属性表示使用不同的算法，默认是gini的方式，这里是entropy是信息熵的方式
  62. model = tree.DecisionTreeClassifier(criterion='entropy')
  63. #输入数据建立模型
  64. model.fit(x_data, y_data)
  65.  
  66. #测试
  67. x_test = x_data[0] #选取x_data中的第0行元素
  68. print("x_test:", str(x_test))
  69.  
  70. #reshape() 把x_test从一维数据变成二维数据
  71. predict = model.predict(x_test.reshape(1, -1))
  72. print("predict:"+str(predict))
  73.  
  74. '''
  75. 导出决策树
  76. @todo：
  77. 1.pip install graphviz
  78. 2.http://www.graphviz.org
  79. '''
  80. import graphviz #http://www.graphviz.org
  81.  
  82. dot_data = tree.export_graphviz(model,
  83.                                 out_file=None,
  84.                                 feature_names=vec.get_feature_names(),
  85.                                 class_names=lb.classes_,
  86.                                 filled=True,
  87.                                 rounded=True,
  88.                                 special_characters=True)
  89. graph = graphviz.Source(dot_data)
  90. graph.render('computer')

(1) 这里需要注意，在第一次安装完毕graphviz之后，需要讲Pycharm重启一下，否则画图会报如下错误：

graphviz.backend.ExecutableNotFound: failed to execute ['dot', '-Tpdf', '-O', 'cart'], make sure the Graphviz executables are on your systems' PATH

最终决策树的pdf文件为：

 

 

7、CART算法

 

7.1 CART算法举例

第一步：

 

第二步：

最后构建的CART:

 

 

8、抵抗决策树的过拟合问题：决策树的剪枝

 

 

9、决策树的优缺点

 

 

10、使用CART算法来实现决策树的一个问题

  1. # -*- coding: utf-8 -*- #
  2. """
  3. -------------------------------------------------------------------------------
  4.   FileName:    decision_tree_CART
  5.   Author:      newlinfeng
  6.   Date:        2020/8/3 0003  22:22
  7.   Description: 使用CART算法实现决策树的例子
  8. -------------------------------------------------------------------------------
  9. """
  10. from sklearn import tree
  11. import numpy as np
  12.  
  13. #载入数据
  14. data = np.genfromtxt("cart.csv", delimiter=",")
  15. x_data = data[1:, 1:-1]
  16. y_data = data[1:, -1]
  17.  
  18. #创建决策树模型
  19. model = tree.DecisionTreeClassifier()
  20. #输入数据建立模型
  21. model.fit(x_data, y_data)
  22.  
  23. #导出决策树
  24. import graphviz
  25. dot_data = tree.export_graphviz(model,
  26.                                 out_file=None,
  27.                                 feature_names=['house_yes', 'house_no', 'single', 'married', 'divorced', 'income'],
  28.                                 class_names=['no', 'yes'],
  29.                                 filled=True,
  30.                                 rounded=True,
  31.                                 special_characters=True)
  32. graph = graphviz.Source(dot_data)
  33. graph.render('cart')

得到的decision tree的PDF：

 

 

11、决策树-线性二分类(linear dichotomy)

  1. # -*- coding: utf-8 -*- #
  2. """
  3. -------------------------------------------------------------------------------
  4.   FileName:    linear_dichotomy
  5.   Author:      newlinfeng
  6.   Date:        2020/8/4 0004  9:05
  7.   Description: 使用决策树解决线性二分类的问题
  8. -------------------------------------------------------------------------------
  9. """
  10. import matplotlib.pyplot as plt
  11. import numpy as np
  12. from sklearn.metrics import classification_report
  13. from sklearn import tree
  14.  
  15. #载入数据
  16. data = np.genfromtxt("LR-testSet.csv", delimiter=',')
  17. x_data = data[:, :-1]
  18. y_data = data[:, -1]
  19.  
  20. plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
  21. plt.show()
  22.  
  23.  
  24. #创建决策树模型
  25. model = tree.DecisionTreeClassifier()
  26. #输入数据建立模型
  27. model.fit(x_data, y_data)
  28.  
  29. #导出决策树
  30. import graphviz
  31. dot_data = tree.export_graphviz(model,
  32.                                 out_file=None,
  33.                                 feature_names=['x', 'y'],
  34.                                 class_names=['label0', 'label1'],
  35.                                 filled=True,
  36.                                 rounded=True,
  37.                                 special_characters=True)
  38. graph = graphviz.Source(dot_data)
  39.  
  40.  
  41. #输入数据建立模型
  42. model.fit(x_data, y_data)
  43.  
  44. #获取数据值所在的范围
  45. x_min, x_max = x_data[:, 0].min() - 1, x_data[:, 0].max()+1
  46. y_min, y_max = x_data[:, 1].min() - 1, x_data[:, 1].max()+1
  47.  
  48. #生成网络矩阵
  49. xx, yy = np.meshgrid(np.arange(x_min, y_max, 0.02),
  50.                      np.arange(y_min, y_max, 0.02))
  51. #ravel与flatten类似,多维数组转一维。flatten不会改变原始数据，ravel会改变原始数据
  52. z = model.predict(np.c_[xx.ravel(), yy.ravel()])
  53. z = z.reshape(xx.shape)
  54. #等高线图
  55. cs = plt.contourf(xx, yy, z)
  56. #样本散点图
  57. plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
  58. plt.show()
  59.  
  60.  
  61. predictions = model.predict(x_data)
  62. print(classification_report(predictions,y_data))

 

 

12、决策树-非线性二分类(non-linear dichotomy)/出现了过拟合

  1. # -*- coding: utf-8 -*- #
  2. """
  3. -------------------------------------------------------------------------------
  4.   FileName:    non-linear_dichotomy
  5.   Author:      newlinfeng
  6.   Date:        2020/8/5 0005  15:16
  7.   Description: 使用决策树解决非线性二分类
  8. -------------------------------------------------------------------------------
  9. """
  10. import matplotlib.pyplot as plt
  11. import numpy as np
  12. from sklearn.metrics import classification_report
  13. from sklearn import tree
  14. from sklearn.model_selection import train_test_split
  15.  
  16. #载入数据
  17. data = np.genfromtxt("LR-testSet2.txt", delimiter=',')
  18. x_data = data[:, :-1]
  19. y_data = data[:, -1]
  20.  
  21. plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
  22. plt.show()
  23.  
  24.  
  25. #分割数据,默认情况下是3/4是训练集和训练集标签；1/4是测试集和测试集标签
  26. x_train, x_test, y_train, y_test = train_test_split(x_data, y_data)
  27.  
  28. #创建决策树模型
  29. #max_depth, 树的深度
  30. #min_samples_split 内部节点再划分所需要最小样本数
  31. model = tree.DecisionTreeClassifier()
  32. #输入数据建立模型
  33. model.fit(x_train, y_train)
  34.  
  35. #导出决策树
  36. import graphviz
  37.  
  38. dot_data = tree.export_graphviz(model,
  39.                                 out_file=None,
  40.                                 feature_names= ['x', 'y'],
  41.                                 class_names = ['label0', 'label1'],
  42.                                 filled=True,
  43.                                 rounded = True,
  44.                                 special_characters=True)
  45. graph = graphviz.Source(dot_data)
  46. # graph.render('non-linear_dichotomy') #决策树导出为pdf
  47.  
  48.  
  49. #获取数据值所在的范围
  50. x_min, x_max = x_data[:, 0].min() - 1, x_data[:, 0].max()+1
  51. y_min, y_max = x_data[:, 1].min() - 1, x_data[:, 1].max()+1
  52.  
  53. #生成网络矩阵
  54. xx, yy = np.meshgrid(np.arange(x_min, y_max, 0.02),
  55.                      np.arange(y_min, y_max, 0.02))
  56. #ravel与flatten类似,多维数组转一维。flatten不会改变原始数据，ravel会改变原始数据
  57. z = model.predict(np.c_[xx.ravel(), yy.ravel()])
  58. z = z.reshape(xx.shape)
  59. #等高线图
  60. cs = plt.contourf(xx, yy, z)
  61. #样本散点图
  62. plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
  63. plt.show()
  64.  
  65.  
  66. #使用训练集预测效果非常好，几个标准都为1
  67. predictions = model.predict(x_train)
  68. print(classification_report(predictions,y_train))
  69.  
  70. #使用训练集预测效果非常差，几个标准都为只有50%
  71. predictions = model.predict(x_test)
  72. print(classification_report(predictions,y_test))

决策树导出为PDF展示，结构较为复杂：

描述的决策边界：

最终结果却出现了过拟合：即：训练集中很好，测试集中表现很差，如下图：

训练集进行预测，很好：

测试集进行预测，很差：

 

12.1 使用剪枝来抵抗过拟合

剪枝的方式如下：

(1) 在DecisionTreeClassifier()方法中设置树的深度max_depth

(2) 在DecisionTreeClassifier()方法中设置树的内部节点再划分所需要最小样本数min_samples_split

经过上述的两个参数的修改，可以将评分从50%提高到80%左右，和之前使用逻辑回归得到的评价差不多：

 

 

2020-08-10 更新

 

 

 

 

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号