TensorRT 下不同 API 推理时间的对比实验_tensorrt api

项目简介

• 基于 TensorRT 8.2.4 版本，具体环境见下面的环境构建部分

• 目标：

  对比 pytorch、onnx runtime、tensorrt C++（包括onnxparser、原生api）、tensorrt python（包括onnxparser、原生api）等不同框架的推理速度

• 流程：

1. 使用 PyTorch 实现或收集了一些经典的 CNN 网络，训练得到.pth模型文件；
2. TensorRT 和 cuda 的 python api :
   • OnnxParser构建网络：.pth -> .onnx -> .plan；
   • TensorRT API逐层构建网络：.pth -> .npz-> .plan；
3. TensorRT 和 cuda 的 C++ api :
   • OnnxParser构建网络：：.pth -> .onnx -> .plan；
   • TensorRT API逐层构建网络：：.pth -> .wts -> .plan；
4. 分别对比 python 和 C++ api 下，pytorch、onnx、tensorrt 等模型的推理速度。

实验结果

以下是基于 x86_64 Linux 的结果，对应本文的环境构建部分

• TensorRT FP32 精度

备注：

1. Deeplabv3+ 的 backbone 为 resnet50
2. YOLOv5-v5.0 的推理源自作者另一个项目 ( TensorRT v8.2 加速部署 YOLOv5-v5.0 )

• TensorRT Int8量化

补充：int8量化前后精度对比

补充内容
展示由 CUDA 做图像预处理，速度进一步提升的结果

• 基于 x86_64 Linux ，具体环境见下方环境构建

数据来源：作者的另外 2 个项目 CUDA加速图像处理 ，TensorRT-YOLOv5-v5.0

• 基于 Jetson Xavier NX硬件 和 Jetpack 4.6.1 系统

环境构建

宿主机基础环境

• Ubuntu 16.04
• GPU：GeForce RTX 2080 Ti
• docker，nvidia-docker

基础镜像拉取

docker pull nvcr.io/nvidia/tensorrt:22.04-py3
1

• 该镜像中各种环境版本如下：

安装其他库

1. 创建 docker 容器

   docker run -it --gpus device=0 --shm-size 32G -v /home:/workspace nvcr.io/nvidia/tensorrt:22.04-py3 bash
   1

   其中-v /home:/workspace将宿主机的/home目录挂载到容器中，方便一些文件的交互，也可以选择其他目录

   • 将容器的源换成国内源

   cd /etc/apt
   rm sources.list
   vim sources.list
   1
   2
   3

   • 将下面内容拷贝到文件sources.list

   deb http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse
   deb http://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse
   deb http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse
   deb http://mirrors.aliyun.com/ubuntu/ focal-proposed main restricted universe multiverse
   deb http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse
   deb-src http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse
   deb-src http://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse
   deb-src http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse
   deb-src http://mirrors.aliyun.com/ubuntu/ focal-proposed main restricted universe multiverse
   deb-src http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10

   • 更新源

   apt update
   1

2. 安装 OpenCV-4.5.0

   • OpenCV-4.5.0源码链接如下，下载 zip 包，解压后放到宿主机/home目录下，即容器的/workspace目录下

   https://github.com/opencv/opencv
   1

   • 下面操作均在容器中

   # 安装依赖
   apt install build-essential
   apt install libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
   apt install libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libdc1394-22-dev
   # 开始安装 OpenCV
   cd /workspace/opencv-4.5.0
   mkdir build
   cd build
   cmake -D CMAKE_INSTALL_PREFIX=/usr/local -D CMAKE_BUILD_TYPE=Release -D OPENCV_GENERATE_PKGCONFIG=ON -D OPENCV_ENABLE_NONFREE=True ..
   make -j6
   make install
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11

3. 安装PyTorch

   • 下载torch-1.12.0

   进入链接 https://download.pytorch.org/whl/torch/
   找到 torch-1.12.0+cu116-cp38-cp38-linux_x86_64.whl
   下载后放到 /workspace 目录下
   pip install torch-1.12.0+cu116-cp38-cp38-linux_x86_64.whl
   1
   2
   3
   4

   • 下载torchvision-0.13.0

   进入链接 https://download.pytorch.org/whl/torchvision/
   找到 torchvision-0.13.0+cu116-cp38-cp38-linux_x86_64.whl
   下载后放到 /workspace 目录下
   pip install torchvision-0.13.0+cu116-cp38-cp38-linux_x86_64.whl
   1
   2
   3
   4

4. 安装其他 python 库

   pip install opencv-python==3.4.16.59
   pip install opencv-python-headless==3.4.16.59
   pip install tensorboard
   pip install cuda-python
   pip install onnxruntime-gpu==1.10
   pip install scipy
   pip install matplotlib
   pip install tqdm
   1
   2
   3
   4
   5
   6
   7
   8

   下载速度慢或超时的话，在后面加上-i https://pypi.tuna.tsinghua.edu.cn/simple/

项目代码

• 代码链接：github地址
  注： 绝大多数代码为博主手打，编码不易，若有帮助，望不吝star，以资鼓励

文件说明

project dir
    ├── flower_classify_dataset  # 分类项目所用到的数据集，5种花的分类，完整数据集可通过下方链接获取
    │   ├── train
    │   ├── val
    │   └── test
    ├── Camvid_segment_dataset  # 语义分割项目所用到的数据集，完整数据集可通过下方链接获取
    │   ├── images  # 原始图像目录
    |   │   ├── train
    |   │   ├── val
    |   │   └── test
    │   ├── labels  # mask标签目录，类别index所构成
    │   ├── train.lst  # 原始图像路径\t标签路径
    │   ├── val.lst  # 原始图像路径\t标签路径
    │   └── labels.txt  # 标签index和其所对应的颜色及类别
    ├── VGG16
    │   ├── PyTorch
    │   │   ├── dataset.py
    │   │   ├── model  # 运行train.py时自动生成，pth模型会保存到其中
    │   │   ├── pytorch_inference.py  # 使用pytorch推理
    │   │   ├── train.py  # 启动训练文件
    │   │   └── vgg.py  # 模型文件
    │   └── TensorRT
    │       ├── C++
    │       │   ├── api_model
    │       │   │   ├── calibrator.cpp  # int8量化
    │       │   │   ├── calibrator.h
    │       │   │   ├── Makefile
    │       │   │   ├── pth2wts.py  # pth模型文件转wts文件
    │       │   │   ├── public.h
    │       │   │   ├── trt_infer.cpp  # 构建 tensorrt engine 及使用 engine 推理
    │       │   │   └── vgg.py
    │       │   └── onnx_parser
    │       │       ├── calibrator.cpp
    │       │       ├── calibrator.h
    │       │       ├── Makefile
    │       │       ├── onnx_infer.py  # pth模型文件转onnx文件 并使用 onnx runtime 推理
    │       │       ├── public.h
    │       │       ├── trt_infer.cpp  # onnx 转 tensorrt engine 及使用 engine 推理
    │       │       └── vgg.py
    │       └── python
    │           ├── api_model
    │           │   ├── calibrator.py  # int8量化
    │           │   ├── pth2npz.py  # pth模型文件转 numpy 文件
    │           │   ├── trt_inference.py  # 构建 tensorrt engine 及使用 engine 推理
    │           │   └── vgg.py
    │           └── onnx_parser
    │               ├── calibrator.py
    │               ├── onnx_infer.py  # pth模型文件转onnx文件 并使用 onnx runtime 推理
    │               ├── trt_infer.py  # onnx 转 tensorrt engine 及使用 engine 推理
    │               └── vgg.py
    ├── ResNet50  # 文件结构基本同VGG16
    │   ├── PyTorch
    │   └── TensorRT
    │       ├── C++
    │       │   ├── api_model
    │       │   └── onnx_parser
    │       └── python
    │           ├── api_model
    │           └── onnx_parser
    ├── UNet  # 文件结构基本同VGG16
    │   ├── PyTorch
    │   └── TensorRT
    │       ├── C++
    │       │   ├── api_model
    │       │   └── onnx_parser
    │       └── python
    │           ├── api_model
    │           └── onnx_parser
    └── Deeplabv3+  # 文件结构基本同VGG16
        ├── PyTorch
	    └── TensorRT
	        ├── C++
	        │   ├── api_model
	        │   └── onnx_parser
	        └── python
	            ├── api_model
	            └── onnx_parser
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77

• 具体到各工程的运行，请阅读具体工程目录下的 README
• 数据集获取链接：dataset 提取码：z3qp

至此，可运行项目中全部程序。

感谢阅毕，欢迎点赞收藏。