PVE显卡虚拟化

1.加载虚拟化驱动

cat >/etc/modules<<EOF
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
EOF

2.屏蔽开源驱动

echo “blacklist nouveau” >> /etc/modprobe.d/pve-blacklist.conf

3.内核配置IOMMU（显卡直通用）

修改grub文件中的GRUB_CMDLINE_LINUX_DEFAULT参数：

vim /etc/default/grub

intel cpu

GRUB_CMDLINE_LINUX_DEFAULT=“quiet intel_iommu=on iommu=pt video=efifb:off,vesafb:off”

amd cpu

GRUB_CMDLINE_LINUX_DEFAULT=“quiet intel_iommu=on iommu=pt video=efifb:off”

需要重启系统

4.更新grub

update-grub

5.安装依赖

pve8

apt install build-essential dkms mdevctl pve-headers

pve7

apt install pve-headers-$(uname -r)

6.重启系统

dpkg -l | grep headers

7.安装驱动

安装之前解释一下驱动包里的文件

Guest_Drivers

是需要在虚拟机中安装的驱动

Host_Drivers

是需要在PVE主机上安装的驱动

提示DKMS管理驱动包，更新内核后可以自动更新驱动

chmod 755 NVIDIA-Linux-x86_64-535.161.05-vgpu-kvm.run
./NVIDIA-Linux-x86_64-535.161.05-vgpu-kvm.run

# 安装完之后可以用以下命令查看显卡驱动
nvidis-smi
mdevctl types# 查看显卡所支持的虚拟化类型(安装完驱动需要重启)

# 使用deb包安装驱动如果出现依赖缺失
apt —-fix-broken install

给虚拟机添加设备

Mapped Device

然后勾选PCI-Express

windows的话Machine要使用pc-q35-8.1

如果不搞license就会逐渐降帧到3

license服务器

docker-compose.yaml

version: ‘3’
services:
  dls:
    container_name: dls
    image: collinwebdesigns.fastapi-dls:latest
    restart: always
    environment:
      - TZ=Asia/Shanghai
      - DLS_URL=192.168.1.33
      - DLS_PORT=443
      - LEASE_EXPRIE_DAYS=1825
      - DATABASE=sqlite:////app/database/db.sqlite
      - DEBUG=false
    network_mode: host
    volumes:
      - ./cert:/app/cert
      - ./db:/app/database

windows获取license

curl.exe —-insecure -L -X GET https://192.168.1.33/-/client-token -o “C:\Program Files\NVIDIA Corporation\vGPU Licensing\ClientConfigToken\client_cofiguration_token_$($(Get-Date).tostring(‘dd-MM-yy-hh-mm-ss’)).tok”

重启服务

Restart-Service NVDisplay.ContainerLocalSystem

查询license状态

nvidia-smi.exe -q | Select-String License

Linux获取License

curl —insecure -L -X GET https://192.168.1.33/-/client-token -o /etc/nvidia/ClientConfigToken/client_configuration_token_$(date ‘+%d-%m-%Y-%H-%M-%S’).tok

查询license状态

nvidia-smi -q | grep License