5、编写 OpenVINO 应用程序（C++ 版）_openvino c++

前提条件

已经安装好 OpenVINO、Visual Studio 2017。

配置项目

1. 新建项目 -> C++ Windows 桌面项目 -> Windows 桌面向导 -> 项目命名为 cats_dogs_infer -> 空项目 -> 确定：
   

2. 选中“空项目” -> 确定：
   

3. 右键源文件 -> 新建 cats_dogs_infer.cpp：
   

4. 右键项目 -> 属性 -> 配置选择“所有配置” -> 平台选择“所有平台”：

• 输出目录： $(SolutionDir)bin\$(Platform)\$(Configuration)\
• 中间目录： $(SolutionDir)Intermediate\$(Platform)\$(Configuration)\
  
  修改完毕后点击应用。

4. C/C++ -> 常规 -> 平台选中“x64”：
   附加包含目录：$(IE_DIR)\include; $(IE_DIR)\src\extension; $(IE_DIR)\samples\common; $(OPENCV_DIR)\include
   修改完毕后点击应用。
   

5. C/C++ -> 预处理器：
   预处理器定义中输入：_CRT_SECURE_NO_WARNINGS
   

6. 链接器 -> 常规：
   附加库目录：$(IE_DIR)\lib\intel64\$(Configuration); $(OPENCV_DIR)\lib
   

7. 链接器 -> 输入 -> 配置选中“Debug” -> 平台选中“x64”：
   附加依赖项中添加：
   inference_engined.lib; cpu_extension.lib; opencv_calib3d412d.lib; opencv_core412d.lib; opencv_dnn412d.lib; opencv_features2d412d.lib; opencv_flann412d.lib; opencv_gapi412d.lib; opencv_highgui412d.lib; opencv_imgcodecs412d.lib; opencv_imgproc412d.lib; opencv_ml412d.lib; opencv_objdetect412d.lib; opencv_photo412d.lib; opencv_stitching412d.lib; opencv_video412d.lib; opencv_videoio412d.lib
   修改完毕后点击应用。
   

8. 链接器 -> 输入 -> 配置选中“Release”-> 平台选中“x64”：
   附加依赖项中添加：inference_engine.lib; cpu_extension.lib; opencv_calib3d412.lib; opencv_core412.lib; opencv_dnn412.lib; opencv_features2d412.lib; opencv_flann412.lib; opencv_gapi412.lib; opencv_highgui412.lib; opencv_imgcodecs412.lib; opencv_imgproc412.lib; opencv_ml412.lib; opencv_objdetect412.lib; opencv_photo412.lib; opencv_stitching412.lib; opencv_video412.lib; opencv_videoio412.lib
   
   其中 cpu_extension.lib 是 CPU 插件扩展库。

• inference_engine.lib 是用于 Release 模式的 OpenVINO 推理引擎库函数，在 C:\Program Files (x86)\IntelSWTools\openvino_2019.3.334\deployment_tools\inference_engine\lib\intel64\Release 目录下。
• inference_engined.lib 是用于 Debug 模式的 OpenVINO 推理引擎库函数，在 C:\Program Files (x86)\IntelSWTools\openvino_2019.3.334\deployment_tools\inference_engine\lib\intel64\Debug 目录下。
• OpenCV 库函数在 C:\Program Files (x86)\IntelSWTools\openvino_2019.3.334\opencv\lib 文件夹中。有带后缀 ‘d’ 的，表示用于 Debug 模式，没有后缀 ‘d’ 的，表示用于 Release 模式。

编写程序

需要修改的地方：

• IR_FileNameNoExt：设置成你电脑上优化后的模型的路径，不要带后缀，如：E:/1-tf_train/workspaces/cats_dogs/optimized_model/ssd_inception_v2_coco（ssd_inception_v2_coco 是模型的名字）
• imageFile：用来测试的图片的路径

//包含必要的头文件
#include<string> //C++ string标准库
#include<inference_engine.hpp> //Inference Engine库
#include<samples/ocv_common.hpp>//OpenCV库及matU8ToBlob函数定义
#include<ext_list.hpp>//IE CPU扩展库
#include<time.h>//C time标准库

using namespace InferenceEngine;

//将OpenCV Mat对象中的图像数据传给为InferenceEngine Blob对象
void frameToBlob(const cv::Mat& frame, InferRequest::Ptr& inferRequest, const std::string& inputName) {
	/* 从OpenCV Mat对象中拷贝图像数据到InferenceEngine 输入Blob对象 */
	Blob::Ptr frameBlob = inferRequest->GetBlob(inputName);
	matU8ToBlob<uint8_t>(frame, frameBlob);
}
//配置推理计算设备，IR文件路径，图片路径，阈值和标签
std::string DEVICE = "CPU";
std::string IR_FileNameNoExt = "E:/1-tf_train/workspaces/cats_dogs/optimized_model/ssd_inception_v2_coco";
std::string imageFile = "E:/1-tf_train/workspaces/cats_dogs/images/train/cat.11.jpg";
float confidence_threshold = 0.7; //取值0~1
std::vector<std::string> labels = { "fake","cat","dog" }; //标签输入

int main(void) {
	// ------------------------------------------------------------------------------------------

	// --------------------------- 1. 载入硬件插件(Plugin) --------------------------------------
	Core ie;
	std::cout << "1.Load Plugin..." << std::endl;     //输出当前执行步骤信息
	std::cout << ie.GetVersions(DEVICE) << std::endl; //输出插件版本信息

	 /** 载入默认扩展库 **/
	if (DEVICE.find("CPU") != std::string::npos) {
		/**
		 * CPU扩展库包含自定义的MKLDNNPlugin层实现
		 * 这些没有被MKLDNN实现的自定义层对的网络层推理计算很有用
		**/
		ie.AddExtension(std::make_shared<Extensions::Cpu::CpuExtensions>(), "CPU");

	}
	// ----------------------------------------------------------------------------------

	// ------------------- 2. 读取IR文件 (.xml and .bin files) --------------------------
	std::cout << "2.Read IR File..." << std::endl;

	CNNNetReader networkReader;
	/** 读取神经网络模型文件*.xml **/
	networkReader.ReadNetwork(IR_FileNameNoExt + ".xml");
	/** 读取神经网络权重文件*.bin **/
	networkReader.ReadWeights(IR_FileNameNoExt + ".bin");
	/** 获取神经网络对象 **/
	CNNNetwork network = networkReader.getNetwork();
	// ----------------------------------------------------------------------------------

	// -------------------- 3. 配置网络输入输出 -----------------------------------------
	std::cout << "3.Prepare Input and Output..." << std::endl;
	/** 获得神经网络的输入信息 **/
	InputsDataMap inputsInfo(network.getInputsInfo());
	std::string imageInputName, imInfoInputName;
	InputInfo::Ptr inputInfo = nullptr;
	SizeVector inputImageDims;

	/** 遍历模型所有的输入blobs **/
	for (auto & item : inputsInfo) {
		/** 处理保存图像数据的第一个张量 **/
		if (item.second->getInputData()->getTensorDesc().getDims().size() == 4) {
			imageInputName = item.first;
			inputInfo = item.second;
			/** 创建第一个输入blob **/
			Precision inputPrecision = Precision::U8;
			item.second->setPrecision(inputPrecision);
		}
		else if (item.second->getInputData()->getTensorDesc().getDims().size() == 2) {
			imInfoInputName = item.first;
			Precision inputPrecision = Precision::FP32;
			item.second->setPrecision(inputPrecision);
			if ((item.second->getTensorDesc().getDims()[1] != 3 && item.second->getTensorDesc().getDims()[1] != 6)) {
				throw std::logic_error("Invalid input info. Should be 3 or 6 values length");
			}
		}
	}
	/** 获得神经网络的输出信息 **/
	OutputsDataMap outputsInfo(network.getOutputsInfo());
	std::string outputName;
	DataPtr outputInfo;
	for (const auto& out : outputsInfo) {
		if (out.second->getCreatorLayer().lock()->type == "DetectionOutput") {
			outputName = out.first;
			outputInfo = out.second;
		}
	}
	const SizeVector outputDims = outputInfo->getTensorDesc().getDims();
	const int maxProposalCount = outputDims[2];
	const int objectSize = outputDims[3];
	outputInfo->setPrecision(Precision::FP32);
	// --------------------------------------------------------------------------------------------

	// --------------------------- 4. 载入模型到AI推理计算设备---------------------------------------
	std::cout << "4.Load model into device..." << std::endl;
	ExecutableNetwork executable_network = ie.LoadNetwork(network, DEVICE, {});

	// --------------------------------------------------------------------------------------------

	// --------------------------- 5. 创建Infer Request--------------------------------------------
	std::cout << "5.Create Infer Request..." << std::endl;
	InferRequest::Ptr infer_request = executable_network.CreateInferRequestPtr();

	// --------------------------------------------------------------------------------------------

	// --------------------------- 6. 准备输入数据 ------------------------------------------------
	std::cout << "6.Prepare Input..." << std::endl;
	cv::Mat img = cv::imread(imageFile);
	frameToBlob(img, infer_request, imageInputName);
	const size_t width = (size_t)img.cols;
	const size_t height = (size_t)img.rows;
	// --------------------------------------------------------------------------------------------

	// --------------------------- 7. 执行推理计算 ------------------------------------------------
	std::cout << "7.Start inference..." << std::endl;
	std::clock_t begin, end;
	begin = std::clock();
	infer_request->Infer();
	end = std::clock();
	std::ostringstream infer_time;//计算推理计算所花费的时间
	infer_time << "Infer Time:" << (double)(end - begin) << "ms";
	cv::putText(img, infer_time.str(), cv::Point2f(0, 12), cv::FONT_HERSHEY_TRIPLEX, 0.6, cv::Scalar(0, 255, 0));
	// --------------------------------------------------------------------------------------------

	// --------------------------- 8. 处理输出 ----------------------------------------------------
	std::cout << "8.Process output blobs..." << std::endl;
	
	
	
	const float *detections = infer_request->GetBlob(outputName)->buffer().as<PrecisionTrait<Precision::FP32>::value_type*>();
	
	for (int i = 0; i < maxProposalCount; i++) {

		float image_id = detections[i * objectSize + 0];

		float confidence = detections[i * objectSize + 2];
		auto label = static_cast<int>(detections[i * objectSize + 1]);
		float xmin = detections[i * objectSize + 3] * width;
		float ymin = detections[i * objectSize + 4] * height;
		float xmax = detections[i * objectSize + 5] * width;
		float ymax = detections[i * objectSize + 6] * height;
		
		if (confidence > confidence_threshold) {
			// 仅当> confidence_threshold值时，显示推理计算结果
			std::ostringstream conf;
			conf << ":" << std::fixed << std::setprecision(3) << confidence;
			
			if (xmin < 0) {
				xmin = -xmin;
			}
			if (ymin < 0) {
				ymin = -ymin;
			}
			if (xmax > width) {
				xmax = width;
			}
			if (ymax > height) {
				ymax = height;
			}
			cv::Point origin;
			origin.x = xmin;
			origin.y = ymin + 20;
			
			std::cout << label << std::endl;
			std::string text = "UNKNOWN";
			if (1 <= label && label <= 2) {
				text = labels[label];
			}
			cv::putText(img, text,
				origin, cv::FONT_HERSHEY_COMPLEX_SMALL, 1,
				cv::Scalar(0, 0, 255));
			cv::rectangle(img, cv::Point2f(xmin, ymin), cv::Point2f(xmax, ymax), cv::Scalar(0, 0, 255));
		}
		
	}
	
	std::cout << "Infer done!" << std::endl;
	cv::imshow("Detection results", img);
	cv::waitKey(0);
	cv::destroyAllWindows();

	return 0;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186

编译执行

完成 cats_dogs_infer.cpp 代码后，将解决方案配置设置为 Release 和 x64，然后点击本地 Windows 调试器，编译并运行 cats_dogs_infer 程序。

切换 AI 推理计算硬件

英特尔所有的 AI 计算硬件都使用统一的 OpenVINO 工具套件进行应用程序开发，在切换硬件的时候，不需要修改一行代码，只需更改插件名称，即可完成 AI 推理硬件的切换。