CentOS7通过lsyncd+rsync实现两台服务器数据实时同步备份

1、工具简介

        1.1、rsync   

        rsync（remote synchronize）是 Liunx/Unix 下的一个远程数据同步工具，它可通过 LAN/WAN 快速同步多台主机间的文件和目录。rsync 通过比较两边文件是否相同，不相同才进行更新。
        但是rsync无法知道“什么时候同步”，因为rsync只有执行同步命令的时候，才会去扫描文件判断哪些文件被修改了，只能建立一个定时任务，每隔一定的时间（比如5分钟，10分钟等等）去执行一次同步，这样虽然能同步，但却“不实时”。

        2.2、lsyncd     

        lsyncd实际上是lua语言封装了 inotify 和 rsync 工具，采用了 Linux 内核（2.6.13 及以后）里的 inotify 触发机制，然后通过rsync去差异同步，达到实时的效果。它完美解决了 inotify + rsync海量文件同步带来的文件频繁发送文件列表的问题 -通过时间延迟或累计触发事件次数实现。

2、环境准备

        源服务器（需要备份数据的服务器）——只需要部署rsync（daemon模式）

        目标服务器（接收数据的服务器）——需要部署rsync和lsyncd

        可支持多个源服务器往一个目标同步

        也支持双向同步，就是把源端也当做一个目标端，按照目标端进行配置；然后目标也是一个源端，需要按照源端配置lsyncd

        所需离线安装包

3、目标服务器部署

        3.1、安装rsync

                方式一（在线）后续步骤以此为基础：

yum -y install rsync

                方式二（离线）：        

#先下载安装包https://download.samba.org/pub/rsync/src/rsync-3.1.2.tar.gz #将安装包放到你喜欢的文件夹 #进入该文件夹并解压安装 tar -zxvf rsync-3.1.2.tar.gz cd rsync-3.1.2 ./configure --prefix=/usr/local/rsync make make install  #启动 /usr/local/bin/rsync --daemon #验证是否启动 ps -aux |grep rsync root 59120 0.0 0.2 1460 972 ?? Ss 5:20PM 0:00.00 /usr/local/rsync/bin/rsync –daemon #查看监听端口状态 netstat -an |grep 873 tcp4 0 0 *.873 *.* LISTEN #查看日志 cat /var/log/rsyncd.log  

        3.2、配置rsyncd.conf

#没有该文件，需手动创建 vi /etc/rsyncd.conf

#各参数具体含义可自行百度 log file = /var/log/rsyncd.log #日志路径 pidfile = /run/rsyncd.pid lock file = /run/rsync.lock secrets file = /etc/rsync.password #认证文件，连接的账号密码 [backup] #模块名称，有多个源服务端时就在下面复制整个模块   path = /data/influxbackup/ #存储接收数据的路径   comment = sync etc from client   uid = root   gid = root   port = 873   ignore errors   use chroot = no   read only = no   list = no     max connections = 200   timeout = 600   auth users=root #认证用户，同认证文件里的   hosts allow = 10.11.1.62 #允许链接的ip   #hosts deny = x.x.x.x #不允许的ip

        3.3、创建备份目录

mkdir /data/influxbackup/

        3.4、创建账号密码

echo 'root:123456' > etc/rsync.password #查看配置是否成功 cat etc/rsync.password root:123456

        3.5、设置文件权限

chmod 600 /etc/rsync* ll /etc/rsync* -rw-------. 1 root root 880 Aug 13 14:54 /etc/rsyncd.conf -rw-------. 1 root root  10 Aug 13 14:55 /etc/rsync.password

        3.6、启动服务

systemctl start rsyncd  #启动服务 systemctl status rsyncd #查看服务状态 systemctl enable rsyncd #设置开机启动 Created symlink from /etc/systemd/system/multi-user.target.wants/rsyncd.service to /usr/lib/systemd/system/rsyncd.service.

        3.7、关闭防火墙和selinux

#关闭防火墙 systemctl stop firewalld  #关闭selinux sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/sysconfig/selinux #刷新配置，立即生效 setenforce 0

到此，目标服务器配置完成。

4、源服务器配置

        4.1、安装rsync，操作同上，只需要安装，不需要配置和启动

        4.2、配置认证文件

#指定密码，密码注意和上面的密码一致，用户可在命令中设置 echo "123456" > /etc/rsyncd.password chmod 600 /etc/rsyncd.password #设置文件权限 ll /etc/rsyncd.password

        4.3、关闭防火墙和selinux，同3.7

        4.4、使用命令手动测试同步

#同步命令 rsync -avH --port 873 --progress --delete /root/soft/backuptest/ root@10.11.1.60::backup --password-file=/etc/rsyncd.password 

#打印的信息
sending incremental file list
deleting 123 #删除文件也会目标服务器的删除

sent 70 bytes  received 27 bytes  194.00 bytes/sec
total size is 0  speedup is 0.00

                 出现以上结果代表rsync安装配置成功。

5、源服务器安装配置lsyncd

        5.1安装lsyncd

yum -y install lsyncd

如出现无法安装成功，则先安装epel-release

yum install -y epel-release

服务器没有外网可下载上面的离线安装包

        5.2 配置lsyncd.conf

vim /etc/lsyncd.conf

#具体参数含义可自行百度 settings {     logfile = "/var/log/lsyncd/lsyncd.log",     statusFile = "/var/log/lsyncd/lsyncd.status",     inotifyMode = "CloseWrite",     maxProcesses = 8,     maxDelays = 5, #累计到多少所监控的事件激活一次同步，即使后面的delay延迟时间还未到。     nodaemon = false, } sync { #如果有多台服务器需要同步，依次往下配置多个sync即可     default.rsync,     source = "/var/lib/influxdb/engine/", #监控的需要备份的目录     target = "root@10.11.1.60::backup",      delete = true, #删除信息也同步     delay = 15, #延迟15秒同步     init = false, #false代表启动服务前的内容不会同步，如想设置为true，删掉即可，不要配置为true     rsync = {         binary = "/usr/bin/rsync", #rsync服务路径         password_file = "/etc/rsyncd.password", #认证文件         archive = true,         compress = false,         verbose = false,         init=true         _extra = {"--bwlimit=200", "--omit-link-times"}     } }

        5.3创建日志文件

mkdir /var/log/lsyncd/ touch /var/log/lsyncd/lsyncd.log touch  /var/log/lsyncd/lsyncd.status #设置权限 chmod 600 /var/log/lsyncd/lsyncd.log chmod 600 /var/log/lsyncd/lsyncd.status

        5.4启动服务

systemctl start lsyncd systemctl status lsyncd # systemctl restart rsyncd  systemctl enable lsyncd #开机启动

        5.5查看日志

Wed Sep 20 17:00:50 2023 Normal: --- Startup ---
Wed Sep 20 17:00:50 2023 Normal: recursive startup rsync: /var/lib/influxdb/engine/ -> root@10.11.1.60::backup/
Wed Sep 20 17:00:56 2023 Normal: Startup of /var/lib/influxdb/engine/ -> root@10.11.1.60::backup/ finished. 

参考文章