VMware 虚拟化如何配置GPU卡直通模式及GPU卡驱动&CUDA安装基准测试_vmware显卡直通

一、环境说明

硬件环境：W560-G30,12 CPUs x Intel(R) Xeon(R) Bronze 3104 CPU @ 1.70GHz

GPU 卡Quadro P1000

软件环境：VCSA6.7U2,EXSI 6.7U2

虚拟机：centos7.6 1810

 二、配置步骤

2.1 查看GPU卡号

ssh 登陆exsi底层，执行lspci|grep -i nv

2.2 修改GPU卡号 

vi /etc/vmware/esx.conf，修改GPU卡号，注意：此处为lspci看到的数字的十进制 ，需要将十六进制转换成十进制

2.3 修改虚拟机配置文件vmx 

我这里以AI-comput1虚拟机为例，进行修改，增加如下图内容

注意：不同配置可能虚拟机配置文件路径不同，请以实际情况为主

 2.4 切换直通

登陆vcsa,或者esxi web界面依次点击管理→硬件→PCI设备，选中GPU卡后，选择切换直通，重启exsi主机

 2.5 配置PCI设备

重启exsi主机后，如下图，显示为活动状态，接着编辑虚机设置→添加pci设备，选中直通的GPU卡。

注意：新pci设备下方选择，预留所有内存，否则无法打开虚机电源，如下图。（虚拟机提前装好wmtools）

 

2.5 登录虚拟机验证

登陆Linux虚拟机，输入lspci|grep -i nv ,查看GPU卡是否成功映射到虚拟机

2.6 虚拟机安装GPU显卡驱动

1、安装GPU卡驱动，

修改vim /lib/modprobe.d/dist-blacklist.conf,注释#blacklist nvidiafb
 
新增如下两行内容
 
blacklist nouveau
 
options nouveau modeset=0

2、重建引导

mv /boot/initramfs-$(uname -r).img  /boot/initramfs-$(uname-r).img.bak
 
dracut /boot/initramfs-$(uname -r).img $(uname -r)
 
运行dracut，需要花费几分钟时间，耐心等待即可

 3、关闭图形显示

systemctl set-default multi-user.target
 
或者init 3
 
或者systemctl disable gdm

4、查看nouveau是否禁用

重新启动虚拟机，查看nouveau是否禁用,无输出内容，表示已经禁用

Lsmod|grep nouveau

5、安装驱动

进入驱动文件所在目录，执行如下命令

./NVIDIA-Linux-x86_64-430.34.run --kernel-source-path=/usr/src/kernels/3.10.0-957.el7.x86_64/

是否安装32bit兼容包，选择NO，否则后面会报错。

 安装进行中

是否配置X configuration这里选择NO 

 6、验证驱动是否安装成功

7、改回图形显示模式

修改运行级别为图形模式，并重启节点，查看图形化能否正常进入，如下图

systemctl set-default graphical.target

 2.7 虚拟机安装cuda

1、进如cuda 10.1所在目录执行如下命令

./CentOS7-cuda_10.0.130_410.48_linux.run

 2、设置环境变量

这是临时设置方式，如果某个用户需生效在bashrc里面添加如下2条命令，全局环境变量在/etc/profile.d/

export PATH=/usr/local/cuda-10.0/bin:$PATH 
export LD_LIBRARY_PATH=/usr/local/cuda-10.0/lib64:$LD_LIBRARY_PATH

2.8 虚拟机 GPU卡基准测试

1、GPU PCIE带宽测试

cd /root/NVIDIA_CUDA-10.0_Samples/1_Utilities/bandwidthTest/

 

2、P2P带宽几延时测试

cd /root/NVIDIA_CUDA-10.0_Samples/1_Utilities/p2pBandwidthLatencyTest/

 

3、矩阵运算测试sgemm/dgemm

cd /root/NVIDIA_CUDA-10.0_Samples/7_CUDALibraries/batchCUBLAS/