物理机使用魔方云安装后无网络配置显卡直通去虚拟化检测原创文章

安装魔方

魔方云提供了4种业务模式（节点类型）：KVM加强版、KVM轻量版、Hyper-V、拨号云，结合实际的业务需求选择合适的脚本进行部署即可。本文提供的是KVM加强版的脚本部署方式。

环境要求

1、必须安装在全新的服务器上：centos7.9请使用 yum update 将系统更新至最新版，centos8stream不需要执行 dnf update 更新系统命令。具体物理机安装过程可以参看下面文章：文章源自玩技e族-https://www.playezu.com/820475.html

文章源自玩技e族-https://www.playezu.com/820475.html

2、系统：确保是干净的操作系统，没有安装过其它环境（已有环境不可安装）；主控（Web面板）建议使用CentOS 8 stream、CentOS 7.9；计算节点（生产KVM的母鸡）建议使用centos 8 stream（强烈建议）、CentOS 7.9文章源自玩技e族-https://www.playezu.com/820475.html

3、主控：建议将所有容量分配到 / ,磁盘最低20G，配置建议：4核4G  / 50G；如果主控安装到虚拟机，建议内存不低于4GB文章源自玩技e族-https://www.playezu.com/820475.html

4、节点/分区需大于10G 其余都分配到/home分区，文章源自玩技e族-https://www.playezu.com/820475.html

5、系统采用KVM+OVS架构文章源自玩技e族-https://www.playezu.com/820475.html

6、服务器需放行的端口：

l 计算节点（生产KVM的母鸡）：ssh端口和4432端口；

l 主控服务器：80、8443、443、ssh端口；

l VNC控制台端口范围：10000-30000；

l 魔方云程序管理端口：4000-5000;

l  转发与建站的默认端口范围：20000~60000

注意事项

1、同一个服务器上，如果主控（WBE面板）和计算节点（生产KVM的母鸡）分开部署，请先部署主控后部署计算节点

2、一个主控面板可以同时管理魔方云4种业务模式，一个服务器不能部署多种类型的计算节点

3、为避免误操作，请勿将主控安装在魔方云的实例中，或者迁移至魔方云的实例中

4、部署脚本的服务器要求支持虚拟化/关闭SELINUX

5、安装之前，请获取授权码

6、请执行脚本下载安装包进行部署，切勿直接拷贝文件部署

脚本部署

1、SSH进入准备好的服务器，执行安装脚本命令

wget https://mirror.cloud.idcsmart.com/cloud/scripts/install-zjmf-cloud_new -O install-zjmf-cloud_new && chmod +x install-zjmf-cloud_new && ./install-zjmf-cloud_new

2、如需使用Trunk类型的节点，则执行下面这个命令

wget https://mirror.cloud.idcsmart.com/cloud/scripts/install-zjmf-cloud_new -O install-zjmf-cloud_new && chmod +x install-zjmf-cloud_new && ./install-zjmf-cloud_new -t

3、根据命令提示，选择需要安装的系统

4、根据命令提示，输入授权码

5、授权码校验成功后，选择需要安装的版本

6、选择用于实例访问外部网络的网卡

7、确认选择无误后，进入脚本自动安装流程，期间不需要任何操作，保持服务器正常运行即可

8、脚本安装完毕，会输出主控登陆信息，根据该信息进入魔方云web控制面板

9、如果是选择的同时安装WEBUI主控和计算节点，则节点信息会被默认添加在节点管理列表中

10、如果单独部署的计算节点（会输出鉴权账号和密码），则需要在主控面板手动添加节点，节点类型选择KVM加强版

显卡直通

第一步：主板BIOS需启用 IOMMU / VT-d、bove 4G Decoding、SR-IOV

• IOMMU：是一种地址映射技术，而 VT-d 是 Intel 对该技术的别称
• Above 4G Decoding：关系到 PCI-E 设备 RAM 的 64 位寻址能力，通常用于需要让 CPU 访问全部显存的场景，使用 vGPU 时推荐开启
• SR-IOV：允许一个 PCI-E 设备被多个虚拟机使用，常用于网卡等设备共享。

第二步：确认CPU硬件是否支持虚拟化、关闭selinux

# 核查是否支持cpu虚拟化
egrep -o '(vmx|svm)' /proc/cpuinfo

# 关闭selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

第三步：CPU启用iommu

# intel_iommu=on iommu=pt
# Intel添加： rd.driver.pre=vfio-pci intel_iommu=on video=efifb:off,vesafb:off
# AMD添加：   rd.driver.pre=vfio-pci amd_iommu=on video=efifb:off,vesafb:off
[root@sv-gpu-node-001 ~]# cat /etc/default/grub
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="crashkernel=auto resume=/dev/mapper/cs-swap rd.lvm.lv=cs00/root rd.lvm.lv=cs/swap rhgb quiet rd.driver.pre=vfio-pci intel_iommu=on video=efifb:off,vesafb:off"
GRUB_DISABLE_RECOVERY="true"
GRUB_ENABLE_BLSCFG=true

第四步：更新grub

sudo grub2-mkconfig -o /boot/grub2/grub.cfg

#    参数说明：
#        vfio-pci 显卡直通虚拟话需要的驱动
#        iommu开启直通分组
#        efifb:off 禁用efi启动的显示设备
#        vesafb:off 禁用legacy启动的显示设备

第五步：加载显卡直通所需的驱动模块

cat > /etc/modules-load.d/vfio.conf << EOF
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
EOF

第六步：禁用原本的英伟达显卡驱动和开源驱动nouveau，避免直通出错

cat > /etc/modprobe.d/blacklist.conf << EOF
blacklist nouveau
blacklist nvidia
options nouveau modeset=0
EOF

第七步：重构

# 先备份
    mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r)-nouveau.img
# 重建
    dracut /boot/initramfs-$(uname -r).img $(uname -r)
# 重启
    reboot

第八步：验证

# 验证IOMMU是否开启
[root@sv-gpu-node-001 ~]# dmesg | grep -e DMAR -e IOMMU
[    0.000000] ACPI: DMAR 0x000000007DF6D650 000160 (v01 A M I  OEMDMAR  00000001 INTL 00000001)
[    0.000000] ACPI: Reserving DMAR table memory at [mem 0x7df6d650-0x7df6d7af]
[    0.000000] DMAR: IOMMU enabled

# 这是未屏蔽开源显卡驱动的情况
[root@localhost ~]# lsmod | grep nouveau
nouveau              2355200  4
video                  53248  1 nouveau
mxm_wmi                16384  1 nouveau
wmi                    32768  2 mxm_wmi,nouveau
drm_display_helper    151552  1 nouveau
i2c_algo_bit           16384  2 ast,nouveau
drm_kms_helper        167936  5 drm_vram_helper,ast,drm_display_helper,nouveau
drm_ttm_helper         16384  3 drm_vram_helper,ast,nouveau
ttm                    81920  3 drm_vram_helper,drm_ttm_helper,nouveau
drm                   577536  13 drm_kms_helper,drm_vram_helper,ast,drm_display_helper,drm_ttm_helper,ttm,nouveau

# 这是已经成功屏蔽开源显卡驱动的情况（这是期待的结果-表示成功）
[root@localhost ~]# lsmod | grep nouveau
[root@localhost ~]# 

# 如下分别是禁用nvidia驱动后，未分配给虚拟机使用 和 已分配给虚拟机使用 的情况
[root@localhost ~]# lspci -v -s  85:00.0
85:00.0 VGA compatible controller: NVIDIA Corporation GM107GL [Tesla M10] (rev a2) (prog-if 00 [VGA controller])
    Subsystem: NVIDIA Corporation Tesla M10
    Flags: bus master, fast devsel, latency 0, IRQ 304, NUMA node 1, IOMMU group 78
    Memory at f8000000 (32-bit, non-prefetchable) [size=16M]
    Memory at 39ffa0000000 (64-bit, prefetchable) [size=256M]
    Memory at 39ffb0000000 (64-bit, prefetchable) [size=32M]
    I/O ports at c000 [size=128]
    Capabilities: [60] Power Management version 3
    Capabilities: [68] MSI: Enable+ Count=1/1 Maskable- 64bit+
    Capabilities: [78] Express Endpoint, MSI 00
    Capabilities: [100] Virtual Channel
    Capabilities: [258] L1 PM Substates
    Capabilities: [128] Power Budgeting <?>
    Capabilities: [420] Advanced Error Reporting
    Capabilities: [600] Vendor Specific Information: ID=0001 Rev=1 Len=024 <?>
    Capabilities: [900] Secondary PCI Express
    Kernel driver in use: nvidia    # 这是还未直通给虚拟机用时
    Kernel modules: nouveau, nvidia_drm, nvidia

[root@localhost ~]# lspci -v -s  85:00.0 
85:00.0 VGA compatible controller: NVIDIA Corporation GM107GL [Tesla M10] (rev a2) (prog-if 00 [VGA controller])
    Subsystem: NVIDIA Corporation Tesla M10
    Flags: fast devsel, IRQ 38, NUMA node 1, IOMMU group 76
    Memory at fa000000 (32-bit, non-prefetchable) [size=16M]
    Memory at 39ffe0000000 (64-bit, prefetchable) [size=256M]
    Memory at 39fff0000000 (64-bit, prefetchable) [size=32M]
    I/O ports at e000 [size=128]
    Capabilities: [60] Power Management version 3
    Capabilities: [68] MSI: Enable- Count=1/1 Maskable- 64bit+
    Capabilities: [78] Express Endpoint, MSI 00
    Capabilities: [100] Virtual Channel
    Capabilities: [250] Latency Tolerance Reporting
    Capabilities: [258] L1 PM Substates
    Capabilities: [128] Power Budgeting <?>
    Capabilities: [420] Advanced Error Reporting
    Capabilities: [600] Vendor Specific Information: ID=0001 Rev=1 Len=024 <?>
    Capabilities: [900] Secondary PCI Express
    Kernel driver in use: vfio-pci    # 这是已经直通给虚拟机用后
    Kernel modules: nouveau, nvidia_drm, nvidia

第九步：业务管理—》实例管理—》创建  等待实例安装完成。

第十步：将显卡PCI选中

第十一步：安装显卡驱动

去虚拟化