【TensorRT】NVIDIA TensorRT 安装 (Windows C++)

NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK，可为深度学习推理应用提供低延迟和高吞吐量。基于 NVIDIA TensorRT 的应用程序在推理过程中的执行速度比仅使用 CPU 的平台快 36 倍，使开发人员能够优化在所有主要框架上训练的神经网络模型，以高精度校准以降低精度，并部署到超大规模数据中心、嵌入式平台或汽车产品平台。

椒颜皮皮虾྅

5393人浏览 · 2022-10-14 15:37:34

椒颜皮皮虾྅ · 2022-10-14 15:37:34 发布

NVIDIA TensorRT 安装 Windows C++

1.TensorRT介绍
2. 查看设备信息
3.下载TensorRT
4 设置环境变量
5. vs环境设置

1.TensorRT介绍

NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK，可为深度学习推理应用提供低延迟和高吞吐量。

基于 NVIDIA TensorRT 的应用程序在推理过程中的执行速度比仅使用 CPU 的平台快 36 倍，使开发人员能够优化在所有主要框架上训练的神经网络模型，以高精度校准以降低精度，并部署到超大规模数据中心、嵌入式平台或汽车产品平台。
在这里插入图片描述

TensorRT 基于 NVIDIA CUDA 并行编程模型构建，使开发人员能够通过利用 CUDA-X 中的库、开发工具和技术来优化推理®™用于 AI、自主机器、高性能计算和图形。借助新的NVIDIA Ampere Architecture GPU，TensorRT还使用稀疏张量内核来进一步提高性能。

TensorRT 提供 INT8，使用量化感知训练和雨后量化，以及 FP16 优化，用于深度学习推理应用程序的生产部署，如视频流、语音识别、推荐、欺诈检测、文本生成和自然语言处理。降低精确度推断可显著降低应用程序延迟，这是许多实时服务以及自主和嵌入式应用程序的要求。

借助TensorRT，开发人员可以专注于创建新颖的AI应用程序，而不是推理优化。然后，TensorRT优化的模型可以与NVIDIA Triton一起部署，NVIDIA Triton™是一种开源推理服务软件，包括TensorRT作为其后端之一。
在这里插入图片描述

官方安装文档为：安装指南：： NVIDIA Deep Learning TensorRT 文档

2. 查看设备信息

TensorRT 基于 NVIDIA CUDA 并行编程模型构建，因此当前电脑需要已经安装CUDN以及cuDNN依赖。此处不做详述。
首先查看CUDA 版本，命令提示符输入下面命令：

nvcc --version

在这里插入图片描述
可以看出本机电脑安装的CUDN版本为11.4。
接下来查看cuDNN版本，进入 CUDA 的安装目录查看文件 cudnn_version.h ：

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\include\cudnn_version.h

在这里插入图片描述
在此处可以看出，cuDNN版本为8.2.4。

3.下载TensorRT

根据上一步查看的本机CUDN、以及cuDNN版本，此处选择最新版本为8.0系列版本，下载链接为：NVIDIA TensorRT 8.x Download | NVIDIA Developer；进入页面如下，根据自己安装的CUDA版本与CUDNN版本进行下载。
在这里插入图片描述
由于cuDNN版本为8.2.4，所以此处我们选者8.2以上版本的TensorRT，这与我们的电脑是适配的。

下载完为下述文件，其最大支持cuda-11.6、cudnn8.3，是大于我们电脑所安装版本，将下载好的文件解压缩到本地目录，最好放置在固定目录中，该目录即作为安装目录。
在这里插入图片描述

4 设置环境变量

将以下路径加入当环境变量中：

D:\Program Files\TensorRT-8.4.0.6\lib

5. vs环境设置

5.1 包含目录

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\include
D:\Program Files\TensorRT-8.4.0.6\include

5.2 库目录

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\lib
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\lib\x64
D:\Program Files\TensorRT-8.4.0.6\lib

5.3 附加依赖项

nvinfer.lib
nvinfer_plugin.lib
nvonnxparser.lib
nvparsers.lib
cublas.lib
cublasLt.lib
cuda.lib
cudadevrt.lib
cudart.lib
cudart_static.lib
cudnn.lib
cudnn64_8.lib
cudnn_adv_infer.lib
cudnn_adv_infer64_8.lib
cudnn_adv_train.lib
cudnn_adv_train64_8.lib
cudnn_cnn_infer.lib
cudnn_cnn_infer64_8.lib
cudnn_cnn_train.lib
cudnn_cnn_train64_8.lib
cudnn_ops_infer.lib
cudnn_ops_infer64_8.lib
cudnn_ops_train.lib
cudnn_ops_train64_8.lib
cufft.lib
cufftw.lib
curand.lib
cusolver.lib
cusolverMg.lib
cusparse.lib
nppc.lib
nppial.lib
nppicc.lib
nppidei.lib
nppif.lib
nppig.lib
nppim.lib
nppist.lib
nppisu.lib
nppitc.lib
npps.lib
nvblas.lib
nvjpeg.lib
nvml.lib
nvrtc.lib
OpenCL.lib