devbox
IT小白
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

C/C++开发，opencv-ml库学习，K近邻（KNN）应用_opencv knearest c++

作者：IT小白 | 2024-07-09 03:16:12

赞

踩

opencv knearest c++

目录

一、k近邻算法

1.1 算法简介

1.2 opencv-k近邻算法

二、cv::ml::KNearest应用

2.1 数据集样本准备

2.2 KNearest应用

2.3 程序编译

2.4 main.cpp全代码

一、k近邻算法

1.1 算法简介

        K近邻算法（K-Nearest Neighbor，KNN）基本原理是：

        在特征空间中，如果一个样本附近的K个最近（即特征空间中最邻近）样本的大多数属于某一个类别，则该样本也属于这个类别。具体来说，给定一个训练数据集，对于新的输入实例，KNN算法会在训练数据集中找到与该实例最邻近的K个实例（即K个邻居）。然后，根据这K个邻居的类别进行投票，将票数最多的类别作为新输入实例的预测类别。

        KNN算法的优点包括：

  1. 简单易理解：KNN算法非常直观和简单，易于理解和实现。
  2. 适用于多分类问题：KNN算法可以很容易地应用于多分类问题。
  3. 适用于非线性数据：KNN算法对于非线性数据具有良好的适应性。
  4. 无需训练：KNN算法属于懒惰学习（lazy learning），不需要训练过程，节省了模型训练时间。

        KNN算法也存在一些缺点：

  1. 需要大量内存：KNN算法需要存储所有训练数据，因此在处理大规模数据集时需要大量内存。
  2. 计算复杂度高：当训练集很大时，KNN算法需要计算测试样本与所有训练样本之间的距离，计算复杂度较高。
  3. 预测时间长：由于需要计算测试样本与所有训练样本的距离，KNN算法的预测时间较长。
  4. 敏感度高：KNN算法对于异常值和噪声数据非常敏感，容易受到局部特征的影响。

        KNN算法的应用实例包括但不限于手写数字识别、电影推荐系统、人脸识别和疾病诊断等。在这些应用中，KNN算法可以通过计算测试样本与训练样本之间的距离，找到最相似的邻居，并根据邻居的类别进行预测或分类。常用的距离度量方法包括欧式距离、曼哈顿距离、闵可夫斯基距离等。

1.2 opencv-k近邻算法

        OpenCV中的K近邻算法（K-Nearest Neighbors, KNN）是一种常用的监督学习算法，主要用于分类和回归问题。该算法基于样本之间的距离来进行分类或回归。

        1)对于分类问题，KNN算法将未知样本与训练集中的样本逐个比较距离，并选择距离最近的K个邻居样本。然后，根据这K个邻居样本的标签进行投票，将未知样本归类为票数最多的标签。

        2)对于回归问题，KNN算法同样将未知样本与训练集中的样本逐个比较距离，并选择距离最近的K个邻居样本。但是，在回归问题中，KNN算法会取这K个邻居样本的平均值作为未知样本的预测值。

        OpenCV中的KNN算法实现包含在ml模块中，函数为cv.ml.KNearest_create()。通过这个函数，你可以创建一个KNN分类器或回归器，并使用训练数据对其进行训练。训练完成后，你可以使用训练好的模型对新的数据进行预测。

  1. k近邻算法是使用的是KNearest类 继承了StatModel类(base类)
  2. class CV_EXPORTS_W KNearest : public StatModel
  3. {
  4. public:
  5.     //类代码
  6. };
  7. StatModel类 方法:
  8.     训练函数
  9.     ret = cv.ml_StatModel.train(samples,layout,responses)
  10.     samples: 训练的样本矩阵
  11.     layout: 排列方式
  12.     responses: 标签矩阵
  13.  
  14.     返还一个bool类型变量来作为是否完成了模型训练
  15.     samples 必须为float32类型
  16.     layout  cv.ml.ROW_SAMPLE 样本按行排列
  17.             cv.ml.COL_SAMPLE 按列排列
  18.  
  19.     responses: 单行或者单列的矩阵 类型为int 或者 float
  20.     
  21.     检测函数
  22.     retval, res = cv.ml_StatModel.predict(samples)
  23.     flags模型标志
  24.     res 结果矩阵
  25.     samples 输入矩阵
  26.     retval: 第一个值得标签
  27.  
  28. 除了使用StatModel提供的通用的预测方法
  29.         
  30.         KNearest类也提供了预测方法
  31.         retval,results,neighborResponses,dist = cv.ml_KNearest.findNearest(
  32.         sample
  33.         k
  34.         )
  35.         sample: 待预测数据
  36.         k: 近邻数
  37.         results: 预测结果
  38.         neighborResponses: 可以选择输出的每个数据的k个最近邻
  39.         dist: 输出k个最近邻的距离

        KNN算法的优点包括在线技术（新数据可以直接加入数据集而不必进行重新训练）、理论简单、容易实现、准确性高和对异常值和噪声有较高的容忍度。然而，KNN算法也存在一些缺点，如对于样本容量大的数据集计算量比较大、容易导致维度灾难、样本不平衡时预测偏差比较大，以及k值大小的选择需要依靠经验或交叉验证等。

        在OpenCV中，KNN算法可以用于各种图像处理任务，如图像分类、目标检测和模式识别等。通过调整k值和使用不同的距离度量方法，你可以优化KNN算法的性能以适应你的具体任务。

二、cv::ml::KNearest应用

2.1 数据集样本准备

   本文为了快速验证使用，采用mnist数据集，参考本专栏博文《C/C++开发，opencv-ml库学习，支持向量机（SVM）应用-CSDN博客》下载MNIST 数据集（手写数字识别），并解压。

        同时参考该博文“2.4 SVM（支持向量机）实时识别应用”的章节资料，利用python代码解压t10k-images.idx3-ubyte出图片数据文件。

2.2 KNearest应用

         类似ml模块的其他算法一样，创建了一个 cv::ml::KNearest对象，并设置了训练数据和终止条件。接着，我们调用 train 方法来训练决策树模型。最后，我们使用训练好的模型来预测一个新样本的类别。

  1. 	// 4. 设置并训练KNN模型 
  2.     // 创建KNN模型  
  3.     cv::Ptr<cv::ml::KNearest> knn = cv::ml::KNearest::create();  
  4.     // 设置KNN参数 
  5.     knn->setAlgorithmType(cv::ml::KNearest::BRUTE_FORCE); // 使用暴力搜索  
  6.     knn->setIsClassifier(true); // 设置为分类器  
  7.     knn->setDefaultK(3); // 设置K值  
  8.     // 训练KNN模型  
  9.     knn->train(trainingData, cv::ml::ROW_SAMPLE, labelsMat);  
  10.     //同样预测函数调用
  11. 	cv::Mat testResp;
  12. 	float response = knn->predict(testData,testResp); 
  13.     //存储模型，文件名借用了博文的命名，不必在意
  14.     knn->save("mnist_svm.xml");

        训练及测试过的算法模型，保存输出(.xml），然后调用。PS，训练图片解压读取请参见C/C++开发，opencv-ml库学习，支持向量机（SVM）应用-CSDN博客的“2.4 SVM（支持向量机）实时识别应用”章节。

  1. cv::Ptr<cv::ml::KNearest> kkn = cv::ml::StatModel::load<cv::ml::KNearest>("mnist_svm.xml");
  2. 	//read img 28*28 size
  3. 	cv::Mat image = cv::imread(fileName, cv::IMREAD_GRAYSCALE);
  4. 	//uchar->float32
  5. 	image.convertTo(image, CV_32F);
  6. 	//image data normalization
  7. 	image = image / 255.0;
  8. 	//28*28 -> 1*784
  9. 	image = image.reshape(1, 1);
  10.  
  11. 	//预测图片
  12. 	float ret = knn->predict(image);
  13. 	std::cout << "predict val = "<< ret << std::endl;
2.3 程序编译

        和讲述支持向量机（SVM）应用的博文编译类似，采用opencv+mingw+makefile方式编译：

  1. #/bin/sh
  2. #win32
  3. CX= g++ -DWIN32 
  4. #linux
  5. #CX= g++ -Dlinux 
  6.  
  7. BIN 		:= ./
  8. TARGET      := opencv_ml04.exe
  9. FLAGS		:= -std=c++11 -static
  10. SRCDIR 		:= ./
  11. #INCLUDES
  12. INCLUDEDIR 	:= -I"../../opencv_MinGW/include" -I"./"
  13. #-I"$(SRCDIR)"
  14. staticDir   := ../../opencv_MinGW/x64/mingw/staticlib/
  15. #LIBDIR		:= $(staticDir)/libopencv_world460.a\
  16. #			   $(staticDir)/libade.a \
  17. #			   $(staticDir)/libIlmImf.a \
  18. #			   $(staticDir)/libquirc.a \
  19. #			   $(staticDir)/libzlib.a \
  20. #			   $(wildcard $(staticDir)/liblib*.a) \
  21. #			   -lgdi32 -lComDlg32 -lOleAut32 -lOle32 -luuid 
  22. #opencv_world放弃前，然后是opencv依赖的第三方库，后面的库是MinGW编译工具的库
  23.  
  24. LIBDIR 	    := -L $(staticDir) -lopencv_world460 -lade -lIlmImf -lquirc -lzlib \
  25. 				-llibjpeg-turbo -llibopenjp2 -llibpng -llibprotobuf -llibtiff -llibwebp \
  26. 				-lgdi32 -lComDlg32 -lOleAut32 -lOle32 -luuid 
  27. source		:= $(wildcard $(SRCDIR)/*.cpp) 
  28.  
  29. $(TARGET) :
  30. 	$(CX) $(FLAGS) $(INCLUDEDIR) $(source)  -o $(BIN)/$(TARGET) $(LIBDIR)
  31.  
  32. clean:
  33. 	rm  $(BIN)/$(TARGET)

        make编译，make clean 清除可重新编译。

        运行效果，同样数据样本，相比前面博文所述算法训练结果，其准确率有了较大改善，大家可以尝试调整参数验证： 

2.4 main.cpp全代码

        main.cpp源代码，由于是基于前三篇博文支持向量机（SVM）应用、决策树（DTrees）应用、随机森林（RTrees）应用基础上，快速移用实现的，有很多支持向量机（SVM）应用或决策树（DTrees）的痕迹，采用的数据样本也非较合适的，仅仅是为了阐述c++ opencv K近邻算法（KNearest）应用说明。

  1. #include <opencv2/opencv.hpp>  
  2. #include <opencv2/ml/ml.hpp>  
  3. #include <opencv2/imgcodecs.hpp>
  4. #include <iostream>  
  5. #include <vector>  
  6. #include <iostream>
  7. #include <fstream>
  8.  
  9. int intReverse(int num)
  10. {
  11. 	return (num>>24|((num&0xFF0000)>>8)|((num&0xFF00)<<8)|((num&0xFF)<<24));
  12. }
  13.  
  14. std::string intToString(int num)
  15. {
  16. 	char buf[32]={0};
  17. 	itoa(num,buf,10);
  18. 	return std::string(buf);
  19. }
  20.  
  21.  
  22. cv::Mat read_mnist_image(const std::string fileName) {
  23. 	int magic_number = 0;
  24. 	int number_of_images = 0;
  25. 	int img_rows = 0;
  26. 	int img_cols = 0;
  27.  
  28. 	cv::Mat DataMat;
  29.  
  30. 	std::ifstream file(fileName, std::ios::binary);
  31. 	if (file.is_open())
  32. 	{
  33. 		std::cout << "open images file: "<< fileName << std::endl;
  34.  
  35. 		file.read((char*)&magic_number, sizeof(magic_number));//format
  36. 		file.read((char*)&number_of_images, sizeof(number_of_images));//images number
  37. 		file.read((char*)&img_rows, sizeof(img_rows));//img rows
  38. 		file.read((char*)&img_cols, sizeof(img_cols));//img cols
  39.  
  40. 		magic_number = intReverse(magic_number);
  41. 		number_of_images = intReverse(number_of_images);
  42. 		img_rows = intReverse(img_rows);
  43. 		img_cols = intReverse(img_cols);
  44. 		std::cout << "format:" << magic_number
  45. 			<< " img num:" << number_of_images
  46. 			<< " img row:" << img_rows
  47. 			<< " img col:" << img_cols << std::endl;
  48.  
  49. 		std::cout << "read img data" << std::endl;
  50.  
  51. 		DataMat = cv::Mat::zeros(number_of_images, img_rows * img_cols, CV_32FC1);
  52. 		unsigned char temp = 0;
  53. 		for (int i = 0; i < number_of_images; i++) {
  54. 			for (int j = 0; j < img_rows * img_cols; j++) {
  55. 				file.read((char*)&temp, sizeof(temp));
  56. 				//svm data is CV_32FC1
  57. 				float pixel_value = float(temp);
  58. 				DataMat.at<float>(i, j) = pixel_value;
  59. 			}
  60. 		}
  61. 		std::cout << "read img data finish!" << std::endl;
  62. 	}
  63. 	file.close();
  64. 	return DataMat;
  65. }
  66.  
  67. cv::Mat read_mnist_label(const std::string fileName) {
  68. 	int magic_number;
  69. 	int number_of_items;
  70.  
  71. 	cv::Mat LabelMat;
  72.  
  73. 	std::ifstream file(fileName, std::ios::binary);
  74. 	if (file.is_open())
  75. 	{
  76. 		std::cout << "open label file: "<< fileName << std::endl;
  77.  
  78. 		file.read((char*)&magic_number, sizeof(magic_number));
  79. 		file.read((char*)&number_of_items, sizeof(number_of_items));
  80. 		magic_number = intReverse(magic_number);
  81. 		number_of_items = intReverse(number_of_items);
  82.  
  83. 		std::cout << "format:" << magic_number << "  ;label_num:" << number_of_items << std::endl;
  84.  
  85. 		std::cout << "read Label data" << std::endl;
  86. 		//data type:CV_32SC1,channel:1
  87. 		LabelMat = cv::Mat::zeros(number_of_items, 1, CV_32SC1);
  88. 		for (int i = 0; i < number_of_items; i++) {
  89. 			unsigned char temp = 0;
  90. 			file.read((char*)&temp, sizeof(temp));
  91. 			LabelMat.at<unsigned int>(i, 0) = (unsigned int)temp;
  92. 		}
  93. 		std::cout << "read label data finish!" << std::endl;
  94.  
  95. 	}
  96. 	file.close();
  97. 	return LabelMat;
  98. }
  99.  
  100. //change path for real paths
  101. std::string trainImgFile = "D:\\workForMy\\OpenCVLib\\opencv_demo\\opencv_ml01\\train-images.idx3-ubyte";
  102. std::string trainLabeFile = "D:\\workForMy\\OpenCVLib\\opencv_demo\\opencv_ml01\\train-labels.idx1-ubyte";
  103. std::string testImgFile = "D:\\workForMy\\OpenCVLib\\opencv_demo\\opencv_ml01\\t10k-images.idx3-ubyte";
  104. std::string testLabeFile = "D:\\workForMy\\OpenCVLib\\opencv_demo\\opencv_ml01\\t10k-labels.idx1-ubyte";
  105.  
  106. void train_SVM()
  107. {
  108. 	//read train images, data type CV_32FC1
  109. 	cv::Mat trainingData = read_mnist_image(trainImgFile);
  110. 	//images data normalization
  111. 	trainingData = trainingData/255.0;
  112. 	std::cout << "trainingData.size() = " << trainingData.size() << std::endl;
  113. 	std::cout << "trainingData.type() = " << trainingData.type() << std::endl;  
  114. 	std::cout << "trainingData.rows = " << trainingData.rows << std::endl; 
  115. 	std::cout << "trainingData.cols = " << trainingData.cols << std::endl; 
  116. 	//read train label, data type CV_32SC1
  117. 	cv::Mat labelsMat = read_mnist_label(trainLabeFile);
  118. 	std::cout << "labelsMat.size() = " << labelsMat.size() << std::endl; 
  119. 	std::cout << "labelsMat.type() = " << labelsMat.type() << std::endl;  
  120. 	std::cout << "labelsMat.rows = " << labelsMat.rows << std::endl; 
  121. 	std::cout << "labelsMat.cols = " << labelsMat.cols << std::endl; 
  122.  
  123. 	std::cout << "trainingData & labelsMat finish!" << std::endl;  
  124.  
  125.     // //create SVM model
  126.     // cv::Ptr<cv::ml::SVM> svm = cv::ml::SVM::create();  
  127. 	// //set svm args,type and KernelTypes
  128.     // svm->setType(cv::ml::SVM::C_SVC);  
  129. 	// svm->setKernel(cv::ml::SVM::POLY);  
  130. 	// //KernelTypes POLY is need set gamma and degree
  131. 	// svm->setGamma(3.0);
  132. 	// svm->setDegree(2.0);
  133. 	// //Set iteration termination conditions, maxCount is importance
  134. 	// svm->setTermCriteria(cv::TermCriteria(cv::TermCriteria::EPS | cv::TermCriteria::COUNT, 1000, 1e-8)); 
  135. 	// std::cout << "create SVM object finish!" << std::endl;  
  136.  
  137. 	// std::cout << "trainingData.rows = " << trainingData.rows << std::endl; 
  138. 	// std::cout << "trainingData.cols = " << trainingData.cols << std::endl; 
  139. 	// std::cout << "trainingData.type() = " << trainingData.type() << std::endl; 
  140.     // // svm model train 
  141.     // svm->train(trainingData, cv::ml::ROW_SAMPLE, labelsMat);  
  142. 	// std::cout << "SVM training finish!" << std::endl; 
  143.  
  144.     // // 创建决策树对象  
  145.     // cv::Ptr<cv::ml::DTrees> dtree = cv::ml::DTrees::create();  
  146.     // dtree->setMaxDepth(30);          // 设置树的最大深度  
  147. 	// dtree->setCVFolds(0);
  148.     // dtree->setMinSampleCount(1);   // 设置分裂内部节点所需的最小样本数 
  149.     // std::cout << "create dtree object finish!" << std::endl;  
  150.     // // 训练决策树--trainingData训练数据,labelsMat训练标签
  151.     // cv::Ptr<cv::ml::TrainData> td = cv::ml::TrainData::create(trainingData, cv::ml::ROW_SAMPLE, labelsMat);  
  152.     // std::cout << "create TrainData object finish!" << std::endl; 
  153.     // if(dtree->train(td))
  154. 	// {
  155. 	// 	std::cout << "dtree training finish!" << std::endl;
  156. 	// }else{
  157. 	// 	std::cout << "dtree training fail!" << std::endl; 
  158. 	// }
  159.   
  160. //    // 3. 设置并训练随机森林模型  
  161. //     cv::Ptr<cv::ml::RTrees> rf = cv::ml::RTrees::create();  
  162. //     rf->setMaxDepth(30);                    // 设置决策树的最大深度  
  163. //     rf->setMinSampleCount(2);             // 设置叶子节点上的最小样本数  
  164. //     rf->setTermCriteria(cv::TermCriteria(cv::TermCriteria::EPS + cv::TermCriteria::COUNT, 10, 0.1)); // 设置终止条件  
  165. //     rf->train(trainingData, cv::ml::ROW_SAMPLE, labelsMat);  
  166.  
  167. 	// 4. 设置并训练KNN模型 
  168.     // 创建KNN模型  
  169.     cv::Ptr<cv::ml::KNearest> knn = cv::ml::KNearest::create();  
  170.     // 设置KNN参数 
  171.     knn->setAlgorithmType(cv::ml::KNearest::BRUTE_FORCE); // 使用暴力搜索  
  172.     knn->setIsClassifier(true); // 设置为分类器  
  173.     knn->setDefaultK(3); // 设置K值  
  174.     // 训练KNN模型  
  175.     knn->train(trainingData, cv::ml::ROW_SAMPLE, labelsMat);  
  176.  
  177.     // svm model test  
  178. 	cv::Mat testData = read_mnist_image(testImgFile);
  179. 	//images data normalization
  180. 	testData = testData/255.0;
  181. 	std::cout << "testData.rows = " << testData.rows << std::endl; 
  182. 	std::cout << "testData.cols = " << testData.cols << std::endl; 
  183. 	std::cout << "testData.type() = " << testData.type() << std::endl; 
  184. 	//read test label, data type CV_32SC1
  185. 	cv::Mat testlabel = read_mnist_label(testLabeFile);
  186. 	cv::Mat testResp;
  187. 	// float response = svm->predict(testData,testResp); 
  188.     // float response = dtree->predict(testData,testResp); 
  189. 	// float response = rf->predict(testData,testResp); 
  190. 	float response = knn->predict(testData,testResp); 
  191. 	// std::cout << "response = " << response << std::endl; 
  192. 	testResp.convertTo(testResp,CV_32SC1);
  193. 	int map_num = 0;
  194. 	for (int i = 0; i <testResp.rows&&testResp.rows==testlabel.rows; i++)
  195. 	{
  196. 		if (testResp.at<int>(i, 0) == testlabel.at<int>(i, 0))
  197. 		{
  198. 			map_num++;
  199. 		}
  200. 		// else{
  201. 		// 	std::cout << "testResp.at<int>(i, 0) " << testResp.at<int>(i, 0) << std::endl;
  202. 		// 	std::cout << "testlabel.at<int>(i, 0) " << testlabel.at<int>(i, 0) << std::endl;
  203. 		// }
  204. 	}
  205. 	float proportion  = float(map_num) / float(testResp.rows);
  206. 	std::cout << "map rate: " << proportion * 100 << "%" << std::endl;
  207. 	std::cout << "SVM testing finish!" << std::endl; 
  208. 	//save svm model
  209. 	// svm->save("mnist_svm.xml");
  210.     // dtree->save("mnist_svm.xml");
  211. 	// rf->save("mnist_svm.xml");
  212. 	knn->save("mnist_svm.xml");
  213. }
  214.  
  215. void prediction(const std::string fileName,cv::Ptr<cv::ml::KNearest> knn)
  216. // void prediction(const std::string fileName,cv::Ptr<cv::ml::DTrees> dtree)
  217. // void prediction(const std::string fileName,cv::Ptr<cv::ml::SVM> svm)
  218. {
  219. 	//read img 28*28 size
  220. 	cv::Mat image = cv::imread(fileName, cv::IMREAD_GRAYSCALE);
  221. 	//uchar->float32
  222. 	image.convertTo(image, CV_32F);
  223. 	//image data normalization
  224. 	image = image / 255.0;
  225. 	//28*28 -> 1*784
  226. 	image = image.reshape(1, 1);
  227.  
  228. 	//预测图片
  229. 	// float ret = dtree->predict(image);
  230. 	float ret = knn->predict(image);
  231. 	std::cout << "predict val = "<< ret << std::endl;
  232. }
  233.  
  234. std::string imgDir = "D:\\workForMy\\OpenCVLib\\opencv_demo\\opencv_ml01\\t10k-images\\";
  235. std::string ImgFiles[5] = {"image_0.png","image_10.png","image_20.png","image_30.png","image_40.png",};
  236. void predictimgs()
  237. {
  238. 	//load svm model
  239. 	// cv::Ptr<cv::ml::SVM> svm = cv::ml::StatModel::load<cv::ml::SVM>("mnist_svm.xml");
  240.     //load DTrees model
  241.     // cv::Ptr<cv::ml::DTrees> dtree = cv::ml::StatModel::load<cv::ml::DTrees>("mnist_svm.xml");
  242. 	// cv::Ptr<cv::ml::RTrees> rf = cv::ml::StatModel::load<cv::ml::RTrees>("mnist_svm.xml");
  243. 	cv::Ptr<cv::ml::KNearest> kkn = cv::ml::StatModel::load<cv::ml::KNearest>("mnist_svm.xml");
  244. 	for (size_t i = 0; i < 5; i++)
  245. 	{
  246. 		prediction(imgDir+ImgFiles[i],kkn);
  247. 	}
  248. }
  249.  
  250. int main()  
  251. {  
  252. 	train_SVM();
  253. 	predictimgs();	
  254.     return 0;  
  255. }
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/801234
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号