机器学习实战笔记（二）KNN算法_knn算法的距离度量采用方法

作者：花生_TL007 | 2024-06-11 12:05:50

踩

knn算法的距离度量采用方法

文章目录

算法概念、基本思想和应用

概念

官方概念：所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中。

简单来说，根据待分类点的周围邻居来判断类别，邻居大多数属于哪一类，就将待分类点归为哪一类。

简单示例

上图中绿色的点为待分类点，我们的任务是对它进行分类，判断它是属于蓝色正方形，还是红色三角形。如果我们设K=3，就找离它最近的3个邻居，我们发现3个邻居中红色三角形占多数，所以我们将它归类为红色三角形。如果我们设K=5，就找离它最近的5个邻居，发现5个邻居中蓝色正方形占多数，所以我们将它归类为蓝色正方形。

通过这个示例，你可以发现K的取值，对分类结果有重要影响。实际上，KNN有三个基本要素：

K的取值
距离度量
分类决策规则

这三者对分类结果都有重要影响。

基本思想

KNN的基本思想是：在训练集中数据和标签已知的情况下，输入测试数据，将测试数据的特征与特征集中对应的特征进行相互比较，找到训练集中与之最为相似的前K个数据，则该测试数据对应的类别就是K个数据中出现次数最多的那个类别。

应用实例

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs  #make_blobs 聚类数据生成器 
from sklearn.neighbors import KNeighborsClassifier   #KNeighborsClassfier K近邻分类
#sklearn 基于Python语言的机器学习工具，支持包括分类，回归，降维和聚类四大机器学习算法。
#  还包括了特征提取，数据处理和模型评估者三大模块。
#  sklearn.datasets (众)数据集；sklearn.neighbors 最近邻


data=make_blobs(n_samples=5000,centers=5,random_state=8)
# n_samples 待生成样本的总数，sample 样本，抽样
# centers 要生成的样本中心数
# randon_state 随机生成器的种子
X,y=data
#返回值，X 生成的样本数据集；y 样本数据集的标签

plt.scatter(X[:,0],X[:,1],c=y,cmap=plt.cm.spring,edgecolor='k')
#c颜色，cmap Colormap实体或者是一个colormap的名字，cmap仅仅当c是一个浮点数数组的时候才使用。

clf=KNeighborsClassifier()
clf.fit(X,y)


x_min,x_max=X[:,0].min()-1,X[:,0].max()+1
y_min,y_max=X[:,1].min()-1,X[:,1].max()+1

xx,yy=np.meshgrid(np.arange(x_min,x_max,0.02),
                  np.arange(y_min,y_max,0.02))
Z=clf.predict(np.c_[xx.ravel(),yy.ravel()])
Z=Z.reshape(xx.shape)
plt.pcolormesh(xx,yy,Z,cmap=plt.cm.Pastel1)
plt.scatter(X[:,0],X[:,1],c=y,cmap=plt.cm.spring,edgecolor='k')
plt.title('KNN-Classifier')
plt.scatter(6.88,4.18,marker='*',s=200,c='r')
plt.xlim([x_min,x_max])


print('模型建好后的运行结果如下：')
print('=======================')
print('新加入样本的类别是：',clf.predict([[6.72,4.29]]))

print('该模型针对次数据集的分类正确率是:{:.2f}'.format(clf.score(X,y)))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42