阅读量:0
一.作用
公司由于大规模使用KVM虚拟机来运行业务，为了保证公司虚拟机能够安全稳定运行，决定采用KVM+GlusterFS模式，来保证虚拟机存储的分布部署，以及分布冗余。避免当虚拟机文件损坏，或者丢失。从而在损坏或丢失时有实时备份，以保证业务正常运行
二.部署分析
1.案例环境
主机 | 操作系统 | 主机名/IP地址 | 主要软件及版本 |
服务器 | CentOS7.9 | node1/192.168.10.101 | GlusterFS 3.10.2 |
服务器 | CentOS7.9 | node2/192.168.10.102 | GlusterFS 3.10.2 |
服务器 | CentoS7.9 | node3/192.168.10.103 | GlusterFS 3.10.2 |
服务器 | CentoS7.9 | node4/192.168.10.104 | GlusterFS 3.10.2 |
服务器 | CentoS7.9 | kvm/192.168.10.201 | KVMGluster-client |
服务器 | CentoS7.9 | kvm/192.168.10.202 | KVMGluster-client |
2.需求
（1）部署 GlusterFS 文件系统
（2）实现 KVM 虚拟主机不会因宿主机宕机而宕机
3.实现思路
（1）安装 KVM。
（2）所有节点部署 GlusterFS。
（3）客户端挂载 GlusterFS
（4）KVM 使用挂载的 GlusterFS 目录创建虚拟机。
三. 部署
准备
（1）关闭所有节点的防火墙，selinux
systemctl stop firewalld systemctl disable firewalld setenforce 0（2）编写hosts文件
vim /etc/hosts 192.168.10.101 node1 192.168.10.102 node2 192.168.10.103 node3 192.168.10.104 node4 192.168.10.201 kvm01 192.168.10.202 kvm021.安装部署kvm虚拟化平台
具体内容看前两章节有介绍
2.部署GlusterFS
（1）设置阿里yum仓库
rm -rf /etc/yum.repos.d/* curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo curl -o /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo yum clean all （2）下载GlusterFS的yum软件仓库
[root@node1 ~]# yum -y install centos-release-gluster 下载完成后修改/etc/yum.repo/CentOS-Gluster-9.repo;去查找阿里的软件仓库；并使用下列命令查看是否加载成功。
yum repolist（3） 下载GlusterFS相关软件包
yum -y install gluster gluster-server gluster-fuse gluster-rdma（4）所有节点启动GlusterFS
systemctl start glusterd systemctl enable glusterd（5）在集群任意一个节点上添加所有节点
[root@node1 ~]# gluster peer probe node2 peer probe: success. [root@node1 ~]# gluster peer probe node3 peer probe: success. [root@node1 ~]# gluster peer probe node4 peer probe: success. （6）查看集群状态
gluster peer status3.创建GlusterFS分布式负责卷
（1）所有创建共享存储目录
[root@node1 ~]# mkdir /data（2）创建分布式复制卷
gluster volume create models replic 2 node1:/data node2:/data node3:/data node4:/data force（3）查看 models 卷
[root@node1 ~]# gluster volume info models（4）启动 models 卷
[root@node1 ~]# gluster volume start models4.为KVM主机部署GFS存储
所有kvm节点挂载gluster卷
（1）下载glusterfs客户端软甲
yum -y intall glustefs glusterfs-fuse（2）创建挂载目录，并挂载nodels卷
[root@kvm01 ~]# mkdir /kvmdata [root@kvm01 ~]# mount -t glusterfs node1:models /kvmdata/ 注意：要确保hosts文件中有对应的GlusterFS主机地址。
设置永久挂载
[root@localhost ~]# vi /etc/fstab node1:models /kvmdata glusterfs defaults,_netdev 0 0（3）查看 挂载卷
[root@kvm01 ~]# df -h 5.kvm使用卷创建虚拟机
将实验用到的系统镜像上传到KVM主机的root家目录中。这里直接使用CentOS官方提供的qcow2格式的系统镜像（CentOS-7-x86_64-GenericCloud-2009.qcow2），这个镜像可以直接部署到kvm或openstack的平台中。
（1）拷贝qcow2磁盘文件
[root@kvm01 ~]# cp CentOS-7-x86_64-GenericCloud-2009.qcow2 /kvmdata/test01.qcow2（2）为系统镜像设置密码
[root@kvm01 ~]# virt-customize -a /kvmdata/test01.qcow2 --root-password password:aptech（3） 创建虚拟机
[root@kvm01 ~]# virt-install --name=test01 -r 1024 --vcpus=1 --disk device=disk,bus=virtio,path='/kvmdata/test01.qcow2',size=10 -w bridge:br0 --virt-type=kvm --boot hd备注：
--disk：指定存储设备及其属性
device：设备类型，如cdrom、disk或floppy等，默认为disk；
bus：磁盘总线类型，其值可以为ide、scsi、usb、virtio或xen
--virt-type：使用的hypervisor（虚拟机监视器），如kvm、qemu、xen等
--boot cdrom,hd,network：指定引导次序；
（4）登录查看
进入图像管理界面（viet-manager）
6.测试实时迁移环境
（1）为两台kvm配置无密码登录环境
[root@kvm01 ~]# ssh-keygen -t rsa [root@kvm01 ~]# ssh-copy-id kvm02 [root@kvm01 ~]# ssh-copy-id kvm01 [root@kvm02 ~]# ssh-keygen -t rsa [root@kvm02 ~]# ssh-copy-id kvm01 [root@kvm02 ~]# ssh-copy-id kvm02 （2）迁移kvm01中的test01到kvm02主机
[root@kvm01 ~]# virsh migrate --persistent --undefinesource test01 qemu+ssh://kvm02/system [root@kvm01 ~]# virsh list --all备注：
迁移成功后，在kvm01主机就没有了test01的资源
（3）查看kvm02主机上的虚拟机状态在将其迁移回去
virsh list --all virsh --connect=qemu+ssh://kvm02/system migrate --persistent --undefinesource test01 qemu+ssh://kvm01/system7.创建虚拟机共享配置文件
（1）创建配置文件丰富共享目录
[root@kvm01 ~]# mkdir /kvmdata/config（2）将test01的配置文件拷贝到共享目录
[root@kvm01 ~]# cp /etc/libvirt/qemu/test01.xml /kvmdata/config/（3）取消test01虚拟机的定义
[root@kvm01 ~]# virsh shutdown test01 [root@kvm01 ~]# virsh undefine test01 [root@kvm01 ~]# virsh list --all（4）使用新位置的配置文件定义
[root@kvm02 ~]# virsh define /kvmdata/config/test01.xml [root@kvm01 ~]# virsh start test01 域 test01 已开始 [root@kvm01 ~]# virsh list --all Id 名称 状态 ---------------------------------------------------- 6 test01 running8.部署集群
（1）所有kvm节点安装集群组件
[root@kvm01 ~]# yum -y install pcs pacemaker fence-agents-all备注：
- Pacemaker 是一个集群管理器。它利用OpenAIS 或 heartbeat提供的消息和成员能力，由辅助节点和系统进行故障检测和回收，实现性群集服务（亦称资源）的高可用性。
- Fence agent是集群管理中的一个概念，用于在发生电源故障或其他故障时确保集群的稳定性。
- pcs 是集群管理的一个守护进程，利用pcs提供的工具可以对集群环境进行状态的管理
（2）设置hacluster用户密码，所有节点密码一致
[root@kvm01 ~]# passwd hacluster（3）启动pcs
[root@kvm01 ~]# systemctl start pcsd [root@kvm01 ~]# systemctl enable pcsd9.认证组成集群的节点（只在kvm01上操作）
[root@kvm01 ~]# pcs cluster auth kvm01 kvm02 -u hacluster -p aptech 备注：
pcs: 是Pacemaker集群管理工具的命令行客户端。cluster auth: 是用于认证集群节点的子命令。kvm01 kvm02: 是要认证的两个集群节点的主机名或IP地址。-u hacluster: 指定认证时使用的用户名为hacluster。-p aptech: 指定认证时使用的密码为aptech。
10. 生成kvm01和kvm02的集群配置
[root@kvm01 ~]# pcs cluster setup --name cluster-kvm kvm01 kvm02 11.启动集群（kvm01操作）
[root@kvm01 ~]# pcs cluster start --all [root@kvm01 ~]# pcs cluster enable --all12.集群测试操作
（1）任意一个kvm查看集群状态
[root@kvm01 ~]# pcs status（2）将其中的一个节点关闭，查看集群状态
[root@kvm01 ~]# pcs cluster stop kvm01 在另一个节点查看状态 [root@kvm02 ~]# pcs status Online: [ kvm02 ] OFFLINE: [ kvm01 ]（3）开启关闭的集群节点
[root@kvm01 ~]# pcs cluster start kvm01 （4）关闭隔离设置的功能（两台执行）
pcs property set stonith-enabled=false备注：
测试环境用的 VMware的环境，没有隔离设备，必须要关闭，否则无法实现高可用
（5） 向集群添加资源
[root@kvm01 ~]# pcs resource create test01 VirtualDomain hypervisor="qemu:///system" config="/kvmdata/config/test01.xml" migration_transport=ssh meta allow-migrate="true" 备注
meta allow-migrate="true" ：允许迁移模式
（6）查看集群状态信息
[root@kvm01 ~]# pcs status Cluster name: cluster-kvm WARNINGS: No stonith devices and stonith-enabled is not false Stack: corosync Current DC: kvm02 (version 1.1.23-1.el7_9.1-9acf116022) - partition with quorum Last updated: Wed Aug 31 19:55:48 2022 Last change: Wed Aug 31 19:55:43 2022 by root via cibadmin on kvm01 2 nodes configured 1 resource instance configured Online: [ kvm01 kvm02 ] Full list of resources: test01 (ocf::heartbeat:VirtualDomain): Started kvm01 Daemon Status: corosync: active/enabled pacemaker: active/enabled pcsd: active/enabled 13.kvm集群验证
（1） 在两台kvm主机上分别查看虚拟机状态
[root@kvm01 ~]# virsh list --all Id 名称 状态 ---------------------------------------------------- 6 test01 running [root@kvm02 ~]# virsh list --all Id 名称 状态 ----------------------------------------------------（2）查看并删除约束
清除某个 pcs 资源只能在某个主机上运行的限制
[root@kvm01 ~]# pcs resource clear test01 [root@kvm01 ~]# pcs constraint ##查询限制情况，如下显示结果为无限制 Location Constraints: Ordering Constraints: Colocation Constraints: Ticket Constraints:备注：
如果冒号后没有任何信息，表示没有约束，如果有约束会有警告提示
constraint（限制）
当把虚拟机迁移到了另一台主机，会出现约束，要想将虚拟机迁移回来，需要先清除约束
（3）手动迁移
[root@kvm01 ~]# pcs resource move test01 备注：
会自动选择其他节点进行迁移
（4）查看状态
kvm01状态
[root@kvm01 ~]# virsh list --all Id 名称 状态 ---------------------------------------------------- - test01 关闭 [root@kvm01 ~]# pcs status Cluster name: cluster-kvm Stack: corosync Current DC: kvm01 (version 1.1.23-1.el7_9.1-9acf116022) - partition with quorum Last updated: Wed Aug 31 21:54:15 2022 Last change: Wed Aug 31 21:52:31 2022 by root via crm_resource on kvm01 2 nodes configured 1 resource instance configured Online: [ kvm01 kvm02 ] Full list of resources: test01 (ocf::heartbeat:VirtualDomain): Started kvm02 Daemon Status: corosync: active/enabled pacemaker: active/enabled pcsd: active/enabledkvm02状态
[root@kvm02 ~]# virsh list --all Id 名称 状态 ---------------------------------------------------- 2 test01 running 备注： 迁移后，test01运行在kvm02上（5）将kvm02挂起，模拟故障
注意：
如果kvm01上对test01有约束，需要在kvm01上清除约束，才能将test01迁移回来
pcs resource clear test01此时在查看，kvm01开启test01
[root@kvm01 ~]# virsh list --all Id 名称 状态 ---------------------------------------------------- 5 test01 running