【Slurm集群在centos7上的搭建】_业界新闻

发布时间:2024-08-19 11:48

阅读量:0

Slurm集群在centos7上的部署

集群基本情况

集群基本情况如下表所示：

节点名称	节点IP	节点描述
master	192.168.242.130	管理节点、存储节点
node1	192.168.242.130	计算节点
node2	192.168.242.130	计算节点

系统版本如下所示：

//查询centos版本 cat /etc/redhat-release

1. 前期准备工作

1.1更改主机名

vim /etchostname //删除原有主机名，更改为所需主机名（master node1 ...） //保存并退出 :wq //重启主机 reboot

1.2关闭防火墙

systemctl stop firewalld systemctl disable firewalld

1.3关闭slinux

//查看状态 sestatus  vim /etc/selinux/config //将SELINUX=  后面改为disabled //重启系统 reboot

2.网络配置

2.1配置IP
查看网络，使用生效的网卡进行配置。

ip a vim /etc/sysconfig/network-scripts/ifcfg-ens33 //添加内容：将BOOTPROTO="hdpc"修改为BOOTPROTO="static"；并在末尾添加 IPADDR=192.168.242.130 NETMASK=255.255.255.0 GATEMASK=192.168.242.2 DNS1=114.114.114.114 //保存并退出 :wq

//重启网络 service network restart //检查网络通畅性 ping baidu.com

2.2配置hosts

vim /etc/hosts //添加如下内容 192.168.242.130   master 192.168.242.133   node1 192.168.242.134   node2 //保存并退出 :wq

将hosts的内容拷贝给其他节点

scp -r /etc/hosts root@node1:/etc/ scp -r /etc/hosts root@node2:/etc/

2.3ssh免密配置

ssh-keygen -t rsa  //一路回车直到生成密钥

发给自己一份密钥

ssh-copy-id -i 192.168.242.130

发给其他节点密钥

ssh-copy-id -i node1 ssh-copy-id -i node2

验证免密是否成功

ssh node1 ssh node2

不用输入密码直接登录到其他主机代表成功

3.NTP时间同步配置

网络时间协议（Network Time Protocol，NTP）是一种用于在计算机系统之间同步时间的协议。通过使用NTP，系统可以从高精度的时间源（如原子钟或GPS系统）获取准确的时间，并在网络中传播这种时间信息，以确保所有设备的时钟保持一致。NTP的重要性在于，它帮助维护系统时间的精确性和一致性，减少由于时间差异引起的各种问题。

在SLURM（Simple Linux Utility for Resource Management，SLURM）环境中，NTP的作用尤为关键。SLURM通过使用NTP来确保所有计算节点的时间同步，使得SLURM可以有效地调度和管理计算资源，准确地记录作业的开始和结束时间，提供精确的作业运行统计数据，并减少由于时间不同步引起的调度错误和资源冲突问题。这对于高效、安全地运行大型计算任务至关重要。

//所有节点安装ntp，并启动其服务 yum -y install ntp //master对计算节点远程安装 for node in node1 node2; do echo "Installing ntp on $node"; ssh root@$node "yum -y install ntp"; done //安装完毕之后，启动服务 systemctl start ntpd.service systemctl enable ntpd.service for node in node1 node2; do echo "$node："; ssh root@$node "systemctl start ntpd.service"; done for node in node1 node2; do echo "$node："; ssh root@$node "systemctl enable ntpd.service"; done

管理节点作为ntpserver

vim /etc/ntp.conf //添加如下内容 restrict 192.168.242.0 mask 255.255.255.0

启动NTP服务，并查看其状态

systemctl restart ntpd ntpstat ntpq -p

具体情况如下图所示，即为成功。

计算节点以管理节点作为参照，注视掉外网时间。

vim /etc/ntp.conf //注释掉server 1.centos.pool.ntp.org这种的四行，后添加 server 192.168.242.130

修改情况如下：

验证如下：

systemctl restart ntpd ntpq -p

出现如下图所示即可。

将节点时区修改为中国：

timedatectl set-timezone Asia/Shanghai for node in node1 node2; do echo "$node"; ssh root@$node "timedatectl set-timezone Asia/Shanghai"; done

此时，各个节点的时间是同步且处于中国时区的。

至此，NTP已经初步配置完成。

4.NFS共享目录配置

网络文件系统（Network File System，NFS）是一种允许不同计算机通过网络共享文件和目录的协议。它使得用户可以像访问本地存储一样访问远程存储，简化了文件共享和数据管理的过程。NFS广泛应用于各种网络环境中，特别是需要高效、统一的文件存取的地方，如企业网络和高性能计算集群。

在SLURM环境中，NFS扮演着重要的角色。NFS通过提供一个统一的文件系统，使得SLURM的计算节点可以共享输入数据、输出结果和应用程序文件，提高了资源利用效率和数据管理的一致性。

管理节点

mkdir -p /public chmod 755 /public vim /etc/exports添加下述内容 /public *(rw,sync,insecure,no_subtree_check,no_root_squash)  //启动服务 systemctl enable nfs systemctl enable rpcbind systemctl start nfs systemctl start rpcbind systemctl status nfs systemctl status rpcbind

检查是否正常加载配置文件

showmount -e localhost

出现下图所示即可。

计算节点

下载NFS，并启动服务

yum install nfs-utils rpcbind  -y systemctl enable nfs  systemctl enable rpcbind systemctl start nfs systemctl start rpcbind

创建public，并对/etc/fstab文件进行配置。

mkdir /public vim /etc/fstab 192.168.242.130:/public /public nfs rw,sync 0 0

挂载

mount -a

查看是否成功

df

出现下图所示，即可。

至此，NFS已经初步配置完成。

5.NIS用户管理配置

网络信息服务（Network Information Service，NIS）是一种用于集中管理网络中用户和组信息、主机名、邮件别名等数据的协议。通过NIS，系统管理员可以在一个中心位置管理用户账户和配置文件，简化了跨多个系统的用户管理工作，提高了网络的可维护性和安全性。NIS常用于需要集中管理用户和资源的大型网络环境中。

在SLURM环境中，NIS通过集中管理用户账户和权限，确保在整个计算集群中用户身份的一致性，简化了用户管理，减少了维护成本。

管理节点

yum install ypserv ypbind yp-tools rpcbind -y //nisdomainname命令建立临时域名，但重启会失效 nisdomainname sugon.com //永久设置域名： echo NISDOMAIN=sugon.com>> /etc/sysconfig/network //为了使每次重启之后域名都能生效需要将nisdomainname命令添加到rc.local文件中 echo /usr/bin/nisdomainname sugon.com >> /etc/rc.d/rc.local vim /etc/ypserv.conf添加 192.168.208.0/24           : *      : *         : none

启动服务：

systemctl  start  ypserv  systemctl  start  yppasswdd  systemctl  start  rpcbind //设置系统启动的时候自动启动，需要使用system enable命令手动进行设置： systemctl enable  ypserv systemctl enable  yppasswdd  systemctl enable  rpcbind /usr/lib64/yp/ypinit –m //每次修改用户后，更新数据库  make -C /var/yp  systemctl restart rpcbind systemctl restart yppasswdd systemctl restart ypserv

检查：

rpcinfo -p localhost

计算节点：
基本配置：

yum install ypbind yp-tools rpcbind -y echo NISDOMAIN=sugon.com>> /etc/sysconfig/network echo /usr/bin/nisdomainname sugon.com >> /etc/rc.d/rc.local echo domain sugon.com server master >> /etc/yp.conf echo ypserver m1 >> /etc/yp.conf

修改/etc/nsswitch.conf文件，至下图所示：

修改/etc/sysconfig/authconfig文件，将USENIS修改为yes，至下图所示：

修改/etc/pam.d/system-auth文件，添加nis，至下图所示：

启用服务：

systemctl  start  ypbind  systemctl enable  ypbind

测试：

yptest ypwhich  ypwhich -x

yptest中的用例3测试不通过没有关系。
至此，NIS已经初步配置完成。

6.Munge通信部署

MUNGE（MUNGE Uid ‘N’ Gid Emporium）是一种用于认证的工具，特别设计用于在分布式系统中验证用户的身份。MUNGE通过生成和验证带有加密签名的认证令牌，确保只有被授权的用户和进程才能访问系统资源。这种轻量级的认证机制具有高效、安全、易于配置的特点，广泛应用于高性能计算和集群环境中。

在SLURM环境中，MUNGE起到了至关重要的认证作用。SLURM利用MUNGE来验证提交作业的用户身份，确保只有合法用户才能提交和管理作业。通过这种机制，SLURM能够有效地防止未经授权的访问，保护计算资源和数据的安全。同时，MUNGE的高效性保证了认证过程不会成为系统性能的瓶颈，使得SLURM能够在大规模集群中高效运行。

所有节点同步UID、GID：

groupadd -g 1108 munge useradd -m -c "Munge Uid 'N' Gid Emporium" -d /var/lib/munge -u 1108 -g munge -s /sbin/nologin munge

查看munge id：

id munge

此时所有节点的mungeID是同步的：

管理节点

//在管理节点上，生成熵池 yum install -y rng-tools rngd -r /dev/urandom //修改service参数 vim /usr/lib/systemd/system/rngd.service //修改如下： [service] ExecStart=/sbin/rngd -f -r /dev/urandom

启动服务：

systemctl daemon-reload systemctl start rngd systemctl enable rngd

所有节点

yum install epel-release -y yum install munge munge-libs munge-devel -y

管理节点

//密钥同步 /usr/sbin/create-munge-key -r dd if=/dev/urandom bs=1 count=1024 > /etc/munge/munge.key scp -p /etc/munge/munge.key root@node1:/etc/munge/ scp -p /etc/munge/munge.key root@node2:/etc/munge/

所有节点:赋权、启动：

chown munge: /etc/munge/munge.key chmod 400 /etc/munge/munge.key systemctl start munge systemctl enable munge

查看状态，如下图所示：

systemctl status munge

测试：
本地查看凭据

munge -n | unmunge

凭证基准测试

remunge

至此，MUNGE已经初步配置完成。

7.安装Mariadb数据库以及Slurm安装配置

7.1安装配置Mariadb及SlurmID配置

管理节点：

yum -y install mariadb-server systemctl start mariadb systemctl enable mariadb mysql >set password=password('81SLURM@@rabGTjN7'); >create database slurm_acct_db; >quit mysql -uroot -p'81SLURM@@rabGTjN7' >create user slurm; >grant all on slurm_acct_db.* TO 'slurm'@'localhost' identified by '123456' with grant option; >flush privileges; >quit

所有节点
创建slurm用户：

groupadd -g 1109 slurm useradd -m -c "Slurm manager" -d /var/lib/slurm -u 1109 -g slurm -s /bin/bash slurm

验证：

id slurm

7.2Slurm安装配置

所有节点

安装slurm依赖：

yum install gcc gcc-c++ readline-devel perl-ExtUtils-MakeMaker pam-devel rpm-build mysql-devel python3 -y

管理节点

制作rpm包：

wget https://download.schedmd.com/slurm/slurm-22.05.3.tar.bz2 yum install rpm-build -y rpmbuild -ta --nodeps slurm-22.05.3.tar.bz2

编译制作完成后，可在目录/root/rpmbuild/RPMS/x86_64下得到rpm包：

计算节点

创建文件夹：

mkdir -p /root/rpmbuild/RPMS/

管理节点

传输文件：

scp -r /root/rpmbuild/RPMS/x86_64 root@node1:/root/rpmbuild/RPMS/x86_64 scp -r /root/rpmbuild/RPMS/x86_64 root@node2:/root/rpmbuild/RPMS/x86_64

所有节点

安装slurm：

cd /root/rpmbuild/RPMS/x86_64/ yum localinstall slurm-*

管理节点

修改配置文件slurm.conf以及slurmdbd.conf，并将slurm.conf传输至计算节点。

cp /etc/slurm/cgroup.conf.example /etc/slurm/cgroup.conf cp /etc/slurm/slurm.conf.example /etc/slurm/slurm.conf cp /etc/slurm/slurmdbd.conf.example /etc/slurm/slurmdbd.conf  for node in node1 node2; do echo "Copying to $node"; scp -r /etc/slurm/cgroup.conf root@$node:/etc/slurm/; done for node in node1 node2; do echo "Copying to $node"; scp -r /etc/slurm/slurm.conf root@$node:/etc/slurm/; done

设置各节点文件权限：

mkdir /var/spool/slurmd chown slurm: /var/spool/slurmd mkdir /var/log/slurm chown slurm: /var/log/slurm mkdir /var/spool/slurmctld chown slurm: /var/spool/slurmctld

管理节点

systemctl start slurmdbd systemctl enable slurmdbd systemctl start slurmctld systemctl enable slurmctld

所有节点

systemctl start slurmd systemctl enable slurmd

测试：

sinfo

出现下图所示，即可。

至此，Mariadb数据库以及Slurm已经配置完成。

附录

配置文件

slurm.conf：

# # slurm.conf file. Please run configurator.html # (in doc/html) to build a configuration file customized # for your environment. # # # slurm.conf file generated by configurator.html. # Put this file on all nodes of your cluster. # See the slurm.conf man page for more information. # ################################################ #                   CONTROL                    # ################################################ ClusterName=jiqun1    #集群名称 SlurmctldHost=master    #管理服务节点名称 SlurmctldPort=6817    #slurmctld服务端口 SlurmdPort=6818   #slurmd服务的端口 SlurmUser=slurm    #slurm的主用户 #SlurmdUser=root    #slurmd服务的启动用户  ################################################ #            LOGGING & OTHER PATHS             # ################################################ SlurmctldDebug=info SlurmctldLogFile=/var/log/slurm/slurmctld.log SlurmdDebug=info SlurmdLogFile=/var/log/slurm/slurmd.log SlurmctldPidFile=/var/run/slurmctld.pid SlurmdPidFile=/var/run/slurmd.pid SlurmdSpoolDir=/var/spool/slurmd StateSaveLocation=/var/spool/slurmctld  ################################################ #                  ACCOUNTING                  # ################################################ AccountingStorageEnforce=associations,limits,qos  #account存储数据的配置选项 AccountingStorageHost=master    #数据库存储节点 AccountingStoragePass=/var/run/munge/munge.socket.2    #munge认证文件，与slurmdbd.conf文件中的AuthInfo文件同名。 AccountingStoragePort=6819    #slurmd服务监听端口，默认为6819 AccountingStorageType=accounting_storage/slurmdbd    #数据库记账服务  ################################################ #                      JOBS                    # ################################################ JobCompHost=localhost      #作业完成信息的数据库本节点 JobCompLoc=slurm_acct_db    #数据库名称 JobCompPass=123456    #slurm用户数据库密码 JobCompPort=3306    #数据库端口 JobCompType=jobcomp/mysql     #作业完成信息数据存储类型，采用mysql数据库 JobCompUser=slurm    #作业完成信息数据库用户名 JobContainerType=job_container/none JobAcctGatherFrequency=30 JobAcctGatherType=jobacct_gather/linux  ################################################ #           SCHEDULING & ALLOCATION            # ################################################ SchedulerType=sched/backfill SelectType=select/cons_tres SelectTypeParameters=CR_Core  ################################################ #                    TIMERS                    # ################################################ InactiveLimit=0 KillWait=30 MinJobAge=300 SlurmctldTimeout=120 SlurmdTimeout=300 Waittime=0  ################################################ #                    OTHER                     # ################################################ MpiDefault=none ProctrackType=proctrack/cgroup ReturnToService=1 SwitchType=switch/none TaskPlugin=task/affinity  ################################################ #                    NODES                     # ################################################ NodeName=master NodeAddr=192.168.242.130  CPUs=1 CoresPerSocket=1 ThreadsPerCore=1 RealMemory=200 Procs=1 State=UNKNOWN NodeName=node[1-2] NodeAddr=192.168.242.13[3-4]  CPUs=1 CoresPerSocket=1 ThreadsPerCore=1 RealMemory=200 Procs=1 State=UNKNOWN  ################################################ #                  PARTITIONS                  # ################################################ PartitionName=compute Nodes=node[1-2] Default=YES MaxTime=INFINITE State=UP

slurmdbd.conf:

# # slurmdbd.conf file. # # See the slurmdbd.conf man page for more information. # # Authentication info AuthType=auth/munge     #认证方式，该处采用munge进行认证 AuthInfo=/var/run/munge/munge.socket.2     #为了与slurmctld控制节点通信的其它认证信息 # # slurmDBD info DbdAddr=master      #数据库节点名 DbdHost=master     #数据库IP地址 SlurmUser=slurm     #用户数据库操作的用户 DebugLevel=verbose   LogFile=/var/log/slurm/slurmdbd.log     #slurmdbd守护进程日志文件绝对路径  PidFile=/var/run/slurmdbd.pid     #slurmdbd守护进程存储进程号文件绝对路径 # # Database info StorageType=accounting_storage/mysql     #数据存储类型 StoragePass=123456     #存储数据库密码 StorageUser=slurm     #存储数据库用户名 StorageLoc=slurm_acct_db     #数据库名称