web+nfs+rsync+sersync 综合实验（实时同步resync，加多台web节点,nfs
发表时间：2020-10-19
发布人：葵宇科技
浏览次数：75
搭建架构原理图以及实时同步概念
0.概念
1.什么是实时同步
百度云同步盘 金山云盘 腾讯文档
实时监测目录的变化, 当出现 增 删 改 时, 则触发一个动作, 这个动作就是推送至远程服务器
2.为什么要实时同步
1.解决NFS单点故障问题
2.迁移 ( 本地环境 --> 云环境 )
3.实时同步的原理
4.实时同步的场景
5.实时同步工具选择
rsync+inotify 复杂
sersync 二进制包,解压即用 ( 国人开发 )
lsyncd 将sersync替换为lsyncd
3.实时同步案例演示（重点）
角色外网IP(nat)内网IP（lan）安装工具WEB01eth0:10.0.0.7eth1:172.16.1.7httpd,php,可道云NFSeth0:10.0.0.31eth1:172.16.1.31nfs-serverBACKUPeth0:10.0.0.41eth1:172.16.1.41rsync-server🦄1.准备备份服务器backup
💗rsync服务服务端(backup):💗
①rsync服务配置（安装和配置文件修改）
[root@backup ~]# yum install rsync -y
[root@backup ~]# cat /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read>= false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#############################
[backup]
comment = welcome to oldboyedu backup!
path = /backup
[data]
comment = welcome to oldboyedu data!
path = /data
②创建用户,准备虚拟连接用户
1,创建进程虚拟运行的用户
[root@backup ~]# useradd rsync -M -s /sbin/nologin
[root@backup ~]# id rsync
uid=1001(rsync) gid=1001(rsync) 组=1001(rsync）
2.创建认证用户以及认证用户的密码/etc/rsync.passwd
格式: Username:Password
[root@backup ~]# cat /etc/rsync.passwd
rsync_backup:1
[root@backup ~]# chmod 600 /etc/rsync.passwd
3.创建接收备份数据目录，进行授权。
[root@backup ~]# mkdir /backup
[root@backup ~]# chown -R rsync.rsync /backup/
[root@backup ~]# mkdir /data
[root@backup ~]# chown -R rsync.rsync /data/
4.重启服务，检查服务
[root@backup ~]#systemctl start rsyncd
[root@backup ~]#systemctl enable rsyncd
[root@backup ~]#systemctl status rsyncd
5.检查服务端口号
netstat -lntup |grep rsync
873
💗rsync服务客户端(nfs)：💗
6.测试一下rsync能否正常工作
③客户端创建上传文件：
[root@nfs01 ~]# rsync -avz cry.txt rsync_backup@172.16.1.41::backup
Password:
sending incremental file list
cry.txt
②服务端查看推送的文件
[root@backup ~]# cd /backup/
[root@backup backup]# ls
cry.txt
🦄2.准备NFS共享存储
💗nfs服务服务端（nfs)：💗
①nfs服务配置：
[root@nfs01 ~]# yum install nfs-utils -y
[root@nfs01 ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
②创建管理用户组和用户
[root@nfs01 ~]# groupadd -g 666 www
[root@nfs01 ~]# useradd -u666 -g666 www
③创建共享目录及设置共享目录权限
[root@nfs01 ~]# mkdir -p /data
[root@nfs01 ~]# chown www.www /data
④开启服务下次开启自启
[root@nfs01 ~]# systemctl restart nfs
[root@nfs01 ~]# systemctl enable nfs
💗nfs服务客户端测试(backup):💗
①安装nfs服务
[root@web01 ~]# yum install nfs-utils -y
②查看共享目录
[root@web01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
③将共享目录挂载到本地/mnt，测试能否使用
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /mnt
[root@web01 ~]# touch /mnt/hello
[root@web01 ~]# umount /mnt/
🦄3.准备web站点程序，php编写 (httpd php)
web服务服务端（web01）:💗
①安装web服务需要的包
[root@web01 ~]# yum install httpd php php-mbstring php-gd -y
[root@web01 ~]# groupadd -g666 www
[root@web01 ~]# useradd -u666 -g666 www
②修改httpd以www用户身份运行
[root@web01 ~]# sed -i '/^User/c User www' /etc/httpd/conf/httpd.conf
[root@web01 ~]# sed -i '/^Group/c Group www' /etc/httpd/conf/httpd.conf
③进入站点目录,下载代码,授权整个/var/www/html目录为www (httpd程序就可以通过www身份读取所有代码)
[root@web01 ~]# cd /var/www/html #默认网站代码存放的路径
[root@web01 html]# wget http://static.kodcloud.com/update/download/kodexplorer4.40.zip
[root@web01 html]# unzip kodexplorer4.40.zip
[root@web01 html]# chown -R www.www /var/www/html
④重启服务，下次开启自启
[root@web01 ~]# systemctl restart httpd
[root@web01 ~]# systemctl enable httpd
[root@web01 ~]# systemctl status httpd
⑤将用户写入web主机上的视频类资源,自动的写入至NFS存储.
1）我们打开谷歌浏览器输入配置httpd服务web01的外网（10.0.0.7）
2）登陆admin 密码默认设置为1
3）创建一个我们实验环境下，测试上传视频用的video文件夹。
4）我们在web01将nfs共享的目录挂载到httpd的站点目录下
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /var/www/html/data/User/admin/home/video/
挂载 选项（指定类型） nfs nfs服务端ip:共享目录 站点目录（/var/www/html）/我们创建文件的路径/
5）我们现在上传一个照片，这个照片相当于上传存储到nfs的共享目录/data下。
#nfs的共享目录/data挂载在站点目录下（/var/www/html/data/User/admin/home/video），所以我们要在这个路径下查找上传的图片。
🦄4.部署sersync
接入sersync实时同步工具, 同步NFS数据至 备份服务器的data模块
1.安装sersync
我们把windows中rersync实时同步这个工具移动到Linux中的nfs服务器中，
解释： 为什么我们把resync装在nfs中?
因为我们用sersync这个工具监控nfs共享目录/data的增 删 改 查,然后增量备份上传到backup（rsync服务端）
[root@nfs01 ~]# unzip sersync_installdir_64bit.zip
[root@nfs01 ~]# mv sersync_installdir_64bit/sersync/ /usr/local/
2.配置
[root@nfs01 /]# vim /usr/local/sersync/conf/confxml.xml
3.编辑一个免交互的密码文件，要给/etc/rsync.pass 600权限
[root@nfs01 /]# vim /etc/rsync.pass
[root@nfs01 /]# cat /etc/rsync.pass
1
[root@nfs01 data]# chmod 600 /etc/rsync.pass
4.更改权限
[root@nfs01 ~]# chmod +x /usr/local/sersync/bin/sersync
[root@nfs01 /]# chown -R www.www /usr/local/sersync/bin/sersync
5.启动resync实时监控工具
[root@nfs01 ~]# /usr/local/sersync/bin/sersync -rdo /usr/local/sersync/conf/confxml.xml
🦄5.测试三台机器整套流程（实时同步）
用户上传一个视频 --> /var/video —>nfs–>/data —> push —>rsync---->backup
💗a.web01虚拟机：
第一步：我们开始测试 首先是上传一个文件（文件名称为实验成功大吉大利）在web网页上。
第二步：我们查看web服务器下的站点目录（/var/www/html/data/User/admin/home/video）有没有我们的大吉大利！
web节点测试成功！！！
💗b.nfs01虚拟机：
第三步：我们查看nfs的共享目录/data下有没有大吉大利文件，因为我们的nfs共享目录/data，挂载在web01虚拟机的站点目录下，所以我们查看nfs的共享目录/data下有大吉大利文件。
nfs节点测试成功！！！
第四步：我们手动用一下rsync
💗c.backup虚拟机
第五步：检查rsync备份/data下是否拥有大吉大利
backup节点测试成功！！！
🦄6.增加一个web节点
原理图
1.web02节点配置
[root@web02 ~]# yum install nfs-utils -y
[root@web02~]# yum install httpd php php-mbstring php-gd -y
[root@web02 ~]# groupadd -g666 www
[root@web02 ~]# useradd -u666 -g666 www
#
2.修改httpd以www用户身份运行
[root@web02 ~]# sed -i '/^User/c User www' /etc/httpd/conf/httpd.conf
[root@web02 ~]# sed -i '/^Group/c Group www' /etc/httpd/conf/httpd.conf
3.进入站点目录,下载代码,授权整个/var/www/html目录为www (httpd程序就可以通过www身份读取所有代码)
[root@web02 ~]# cd /var/www/html #默认网站代码存放的路径
[root@web02 html]# wget http://static.kodcloud.com/update/download/kodexplorer4.40.zip
[root@web02 html]# unzip kodexplorer4.40.zip
[root@web02 html]# chown -R www.www /var/www/html
4.重启服务
[root@web02 ~]# systemctl restart httpd
[root@web02 ~]# systemctl enable httpd
[root@web02 ~]# systemctl status httpd
5.测试
①.我们把nfs共享目录/data挂载到web02站点目录（/var/www/html/data/User/admin/home/video）下，并且上传一个web站点添加的文件。
[root@web02 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
[root@web02 ~]# mount -t nfs 172.16.1.31:/data /var/www/html/data/User/admin/home/video/
②查看web02下
③查看web01下
④查看nfs01下
⑤推送到backup的data模块下
⑥查看backup下
🦄7.模拟nfs服务器故障,如何快速切换 （平滑迁移，冷备方式）.
1.在backup备份服务器上配置nfs
①.在backup服务器搭建一个nfs ( 不使用 ,等有故障时能正常切换使用 )
[root@backup ~]# yum install nfs-utils -y
[root@backup ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
[root@backup ~]# groupadd -g666 www
[root@backup ~]# useradd -u666 -g666 www
[root@backup ~]# chown -R www.www /data/
②.修改rsync的权限为www
[root@backup ~]# head -2 /etc/rsyncd.conf
uid = www
gid = www
[root@backup ~]# chown -R www.www /backup/
③.重启服务
[root@backup ~]# systemctl restart rsyncd nfs
2 .测试：我们关闭nfs准备环境
[root@nfs01 sersync]# systemctl stop nfs
3.web卸载nfs ,重新到backup挂载，达到平滑迁移
[root@web01 ~]# umount -lf 172.16.1.31:/data && mount -t nfs 172.16.1.41:/data /var/www/html/data/User/admin/home/video
[root@web02 ~]# umount -lf 172.16.1.31:/data && mount -t nfs 172.16.1.41:/data /var/www/html/data/User/admin/home/video~
8.拓展实时同步的工具 Lsyncd
Lysncd是一款开源的数据实时同步工具，基于inotify和rsync基础之上进行开发。
lsyncd与sersync一样，会监控本地目录，只要当本地目录发生变化则触发动作，这个动作就是同步至远程服务器。Lsyncd应用场景例如CDN镜像、网站数据备份、网站搬家等等。
1.环境准备
rsync服务端172.16.1.41rsynclsync客户端172.16.1.31lsyncd[root@nfs01-31:~]# yum install lsyncd~
2.backup服务器环境准备
[root@backup-41:~]# cat /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read>= false
auth users = rsync_backup
secrets file = /etc/rsync.password
[backup]
comment = "backup dir by oldboy"
path = /backup
3.根据配置初始化环境
[root@backup-41:~]# mkdir /backup
[root@backup-41:~]# useradd rsync
[root@backup-41:~]# ll /backup/ -d
drwxr-xr-x 2 root root 6 Aug 2 15:40 /backup/
[root@backup-41:~]# chown rsync.rsync /backup/
[root@backup-41:~]# echo "rsync_backup:123456" >/etc/rsync.password
[root@backup-41:~]# chmod 600 /etc/rsync.password
[root@backup-41:~]# systemctl start rsyncd.service
4.NFS服务器配置lsync
①安装lsyncd
[root@nfs01-31:~]# yum install lsyncd
②配置lsyncd，监控本地目录，触发则立即同步
[root@nfs01-31:~]# cat /etc/lsyncd.conf
settings {
logfile = "/var/log/lsyncd/lsyncd.log",
statusFile = "/var/log/lsyncd/lsyncd.status",
inotifyMode = "CloseWrite",
maxProcesses = 8,
}
sync {
default.rsync,
source = "/data",
target = "rsync_backup@172.16.1.41::backup",
delete= true,
exclude = { ".*" },
delay = 1,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true,
password_file = "/etc/rsync.pwd",
_extra = {"--bwlimit=200"}
}
}
③配置
[root@nfs01-31:~]# mkdir /data
[root@nfs01-31:~]# echo "123456" >/etc/rsync.pwd #创建密码文件
[root@nfs01-31:~]# chmod 600 /etc/rsync.pwd
[root@nfs01-31:~]# systemctl start lsyncd.service
[root@nfs01-31:~]# touch /data/{1..10}
[root@nfs01-31:~]# rsync -avz /etc/passwd rsync_backup@172.16.1.41::backup
