阅读量:1
银河麒麟高级服务器操作系统V10SP2（ARM）安装mlnx网卡驱动
一、基本环境
1.1 操作系统版本信息
############## Kylin Linux Version ################# Release: Kylin Linux Advanced Server release V10 (Sword) Kernel: 4.19.90-24.4.v2101.ky10.aarch64 Build: Kylin Linux Advanced Server release V10 (SP2) /(Sword)-aarch64-Build09/20210524 ################################################# 1.2 驱动版本信息
5.4-3.7.5.0 驱动下载地址：https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/ 下载对应系统版本以及架构的驱动包，下面示例是下载的银河麒麟V10-SP2-0524-arm版本对应的驱动iso文件：
1.3 网卡型号
华为SP380/SP333
二、未升级内核驱动安装步骤
2.1 安装依赖包
yum install tcsh rpm-build elfutils-devel createrepo -y 2.2 挂载官网下载的iso驱动文件到/mnt目录
[root@localhost ~]# mount MLNX_OFED_LINUX-5.4-3.7.5.0-kylin10sp2-aarch64.iso /mnt mount: /mnt: WARNING: source write-protected, mounted read-only. [root@localhost ~]# cd /mnt/ [root@localhost mnt]# ls common_installers.pl create_mlnx_ofed_installers.pl docs LICENSE mlnxofedinstall RPMS uninstall.sh common.pl distro is_kmp_compat.sh mlnx_add_kernel_support.sh RPM-GPG-KEY-Mellanox src 2.3 执行安装脚本
[root@localhost mnt]#./mlnxofedinstall --skip-distro-check --without-fw-update Logs dir: /tmp/MLNX_OFED_LINUX.7290.logs General log file: /tmp/MLNX_OFED_LINUX.7290.logs/general.log This program will install the MLNX_OFED_LINUX package on your machine. Note that all other Mellanox, OEM, OFED, RDMA or Distribution IB packages will be removed. Those packages are removed due to conflicts with MLNX_OFED_LINUX, do not reinstall them. Do you want to continue?[y/N]:y Starting MLNX_OFED_LINUX-5.4-3.7.5.0 installation ... Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Installing mlnx-ofa_kernel 5.4 RPM Verifying... ######################################## Preparing... ######################################## Updating / installing... mlnx-ofa_kernel-5.4-OFED.5.4.3.7.5.1.k######################################## Configured /etc/security/limits.conf /sbin/ldconfig: /usr/lib64/libLLVM-7.so is not a symbolic link Installing mlnx-ofa_kernel-modules 5.4 RPM Verifying... ######################################## Preparing... ######################################## Updating / installing... mlnx-ofa_kernel-modules-5.4-OFED.5.4.3######################################## /sbin/ldconfig: /usr/lib64/libLLVM-7.so is not a symbolic link Installing mlnx-ofa_kernel-devel 5.4 RPM Verifying... ######################################## Preparing... ######################################## Updating / installing... mlnx-ofa_kernel-devel-5.4-OFED.5.4.3.7######################################## Installing kernel-mft 4.21.0 RPM Verifying... ######################################## Preparing... ######################################## Updating / installing... kernel-mft-4.21.0-102.kver.4.19.90_24.######################################## /sbin/ldconfig: /usr/lib64/libLLVM-7.so is not a symbolic link Installing knem 1.1.4.90mlnx2 RPM Verifying... ######################################## Preparing... ######################################## Updating / installing... knem-1.1.4.90mlnx2-OFED.23.04.0.5.2.1.######################################## /sbin/ldconfig: /usr/lib64/libLLVM-7.so is not a symbolic link Installing knem-modules 1.1.4.90mlnx2 RPM Verifying... ######################################## Preparing... ######################################## Updating / installing... knem-modules-1.1.4.90mlnx2-OFED.23.04.######################################## /sbin/ldconfig: /usr/lib64/libLLVM-7.so is not a symbolic link Verifying... ######################################## Preparing... ######################################## Installing user level RPMs: Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Verifying... ######################################## Preparing... ######################################## Installation finished successfully. Verifying... ################################# [100%] Preparing... ################################# [100%] Updating / installing... 1:mlnx-fw-updater-5.4-3.7.5.0 ################################# [100%] Added 'RUN_FW_UPDATER_ONBOOT=no to /etc/infiniband/openib.conf Initializing... Attempting to perform Firmware update... No devices found! You may need to update your initramfs before next boot. To do that, run: dracut -f To load the new driver, run: /etc/init.d/openibd restart 三、升级过内核驱动安装步骤
如果升级过内核的话，直接执行安装脚本是不可行的，因为里面的rpm包是在安装完毕的默认内核版本上（kernel-4.19.90-24.4.v2101.ky10.aarch64）编译的
下面示例中我将内核升级到了外网源中25.29版本：kernel-4.19.90-25.29.v2101.ky10.aarch64
rpm -qa | grep kernel-4.19 kernel-4.19.90-24.4.v2101.ky10.aarch64 kernel-4.19.90-25.29.v2101.ky10.aarch64 uname -r kernel-4.19.90-25.29.v2101.ky10.aarch64 3.1 安装依赖包
yum install tcsh rpm-build elfutils-devel createrepo -y 3.2 挂载官网下载的iso驱动文件到/mnt目录
[root@localhost ~]# mount MLNX_OFED_LINUX-5.4-3.7.5.0-kylin10sp2-aarch64.iso /mnt mount: /mnt: WARNING: source write-protected, mounted read-only. [root@localhost ~]# cd /mnt/ [root@localhost mnt]# ls common_installers.pl create_mlnx_ofed_installers.pl docs LICENSE mlnxofedinstall RPMS uninstall.sh common.pl distro is_kmp_compat.sh mlnx_add_kernel_support.sh RPM-GPG-KEY-Mellanox src 3.3 直接执行安装脚本，会有报错
以上报错：已安装kernel-4.19.90-25.29.v2101.ky10.aarch64内核，MLNX_OFED_LINUX没有可用于该内核的驱动程序。
问题原因：1.系统版本不一致；2.内核版本不支持
3.4 重新编译驱动文件并安装
镜像中有提供编译适合当前系统内核版本的驱动的sh脚本（mlnx_add_kernel_support.sh）
执行./mlnx_add_kernel_support.sh -m ./命令添加针对当前内核版本的驱动；
./mlnx_add_kernel_support.sh -m ./ 
编译完成后的驱动默认存放在/tmp目录，编译完成后进入到/tmp目录，执行tar命令进行解压，在执行./mlnxofedinstall --skip-distro-check --without-fw-update命令进行驱动安装
四、安装过程中遇到的问题汇总
4.1 tmp目录过小
编译生成的文件和日志在/tmp目录下产生，/tmp目录过小的话需要执行mount命令重新将tmpfs进行挂载。如果/tmp目录在系统安装过程中有分配具体的分区挂载到/tmp目录，空间不够则需要进行扩容
mount -o remount,size=4G tmpfs /tmp 4.2 参数注解
执行./mlnxofedinstall --skip-distro-check --without-fw-update进行驱动安装
--skip-distro-check跳过distro匹配检查 --without-fw-update跳过固件升级 