1、如何在Linux服务器中实现数据实时同步及备份
科技时代,任何行业都离不开数据的分析以及统筹,如果掌握了最关键的数据及技术,那成功就指日可待,所以数据对于一个企业来说,就是最无形的财富,而一个企业的数据基本都有服务器保存及管理着,如何保证数据安全,实现数据同步及备份?诚恺科技小编就同大家一起来看看在Linux服务器中利用rsync配合inotify实现数据实时同步及备份的方法。
rsync:可以镜像保存整个目录树和文件系统。可以很容易做到保持原来文件的权限、时间、软硬链接等等。第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件。
方案:起初用rsync进行数据备份是利用计划任务,定时执行一下命令实现rsync的同步,但最近开发这边修改比较频繁,看来需要实时同步备份来完善备份机制!所以需要利用inotify触发器来改善!达到一旦指定的位置有了新的变动就将其同步!
环境:
CentOS 6.4 64位
rsync-3.0.9
inotify-tools-3.14
说明:
10.10.1.6 (rsync+inotify)----------网站程序(/data0/htdocs/)
10.10.1.9 (rsync)------------------网站程序备份(/data0/htdocs/)
目的:
实现10.10.1.6的/data0/htdocs/目录下发生任何变动都将实时同步到10.10.1.9的/data0/htdocs/上(另,这两台都跑有keepalived+nginx,来实现出现故障自动切换的容灾,详细配置会在后面补上)
一、web服务器10.10.1.6 (rsync+inotify)
1、准备软件包
2、安装Rsync
1)、1234 tar-zxvf rsync-3.0.9.tar.gz
2)、cdrsync-3.0.9
3)、./configure--prefix=/usr/local/rsync
4)、make;makeinstall
建立密码认证文件
[root@ftp ~]# echo "111111">/etc/rsyncd/rsyncd.secrets建立密码认证文件
*其中111111可以自己设置密码,rsyncd.secrets名字也可以自己设置;
权限:要将/etc/rsyncd/rsyncd.secrets设置为root拥有, 且权限为600。
# chmod 600 /etc/rsyncd/rsyncd.secrets
3、安装inotify
1)、1234 tar-zxvf inotify-tools-3.14.tar.gz
2)、cdinotify-tools-3.14
3)、./configure--prefix=/usr/local/inotify
4)、make;makeinstall
4、创建rsync复制脚本
此项功能主要是将ftp端的目录/data0/htdocs/里的内容,如果修改了(无论是添加、修改、删除文件)能够通过inotify监控到,并通过rsync实时的同步给10.10.1.9的/data0/htdocs里,下面是通过shell脚本实现的。
[root@web ~]# vim /root/shell/rsync.sh
[root@web ~]# chmod u+x /root/shell/rsync.sh
[root@web ~]# setsid /root/shell/rsync.sh &
#后台运行脚本,关闭shell终端继续后台运行
rsync.sh脚本加入开机启动项
# echo "/root/shell/rsync.sh" >> /etc/rc.local
防火墙开启rsync端口:873
添加:
iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 873 -jACCEPT
重启:
# /etc/init.d/iptables restart
二、备份服务器10.10.1.9(rsync)
1、准备工作
创建备份目录:
# mkdir /data0/htdocs
2、安装rsync(备份主机只安装rsync)
1)、1234 tar-zxvf rsync-3.0.9.tar.gz
2)、cdrsync-3.0.9
3)、./configure--prefix=/usr/local/rsync
4)、make;makeinstall
3、建立用户与密码认证文件
[root@backup ~]# echo "root:111111" > /etc/ rsyncd/rsyncd.secrets
[root@backup ~]# less /etc/rsyncd/rsyncd.secrets
root:111111
注意:
请记住,在10.10.1.6端建立的密码文件,只有密码,没有用户名;而在10.10.1.9里建立的密码文件,用户名与密码都有。
权限:要将/etc/rsyncd/rsyncd.secrets设置为root拥有, 且权限为600。
#chmod 600 /etc/rsyncd/rsyncd.secrets
4、建立rsync配置文件
[root@backup ~]# vim /etc/rsyncd/rsyncd.conf
启动rsync服务
# /usr/local/rsync/bin/rsync --daemon --config=/etc/rsyncd.conf
# ps -ef |grep rsync
Rsync服务加入开机启动项
# echo "/usr/local/rsync/bin/rsync --daemon --config=/etc/rsyncd.conf" >> /etc/rc.local
防火墙开启rsync端口:873
添加:
iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 873 -jACCEPT
重启:
# /etc/init.d/iptables restart
完成,其实这个时候数据已经同步了!
测试一下:
由于/data0/htdocs/下涉及到一些公司信息,所以就以/data0/htdocs/tmp/为例
主机名可以区别是两台机器,里面的内容完全一直,连文件的属性都一样
再对里面修改一下试试,创建一个文件,然后删除user目录试试
2、linux 下是否有实时同步文件的工具
rsync:与传统的cp、tar备份方式相比,rsync具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等。
inotify:inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。
rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,结合使用rsync+inotify工具很好的解决了同步数据的实时性问题。
基础linux教程建议你看看《linux就该这么学》这本书:www.linuxprobe.com
3、linux 的rsync是以什么用户身份来写入目标服务器的?
客户端推到服务端时,文件的属主和属组是配置文件中指定的uid和gid。但是客户端从服务版端拉的权时候,文件的属主和属组是客户端正在操作rsync的用户身份,因为执行rsync程序的用户为当前用户。我认为是这样,你试试看。这个是基本的命令,另外你是运维的话可以看看Linux 这个可以试试。建议看看《Linux就该这么学》 里面有个专栏是 Linux命令大全(手册) 加入我们的群,
4、2个linux服务器间通过ftp同步文件的shell脚步,需要shell脚步,最好能加一点注释。谢谢
服务之间的数据同步,一般用rsync。
一、服务器端配置:
# yum -y install xinetd
# vi /etc/xinetd.d/rsync
将如下代码
service rsync
{
disable = yes
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = –daemon
log_on_failure += USERID
}
中的 disable = yes 改成 disable = no
然后启动 xinetd
# vi /etc/rsyncd.conf
[backup]
path = /www
auth users = admin
uid = root
gid = root
secrets file = /etc/rsyncd.secrets
read only = no
[服务器代号]
path = 备份文件路径
auth users = 授权帐号
uid = 执行时的uid
gid = 执行时的gid
secrets file = 密码文件位置
read only = 是否只读
# vi /etc/rsyncd.secrets
admin:1234 #用户名:密码
给文件正确的权限
# chown root:root /etc/rsyncd.secrets
# chmod 600 /etc/rsyncd.secrets
二、client 端进行同步
客户端默认好像已经装了rsync,没有的话装下:
# yum -y install rsync
执行异步同步操作:
/usr/bin/rsync -avz –progress [email protected]::backup /www
5、如何查看远程linux服务器目录
1.ftp 方式
a) get
格式:get [remote-file] [local-file]
将文件从远端主机中传送至本地主机中.
如要获取服务器上e:\rose\1.bmp,则
ftp> get /rose/1.bmp 1.bmp (回车)
b) mget
格式:mget [remote-files]
从远端主机接收一批文件至本地主机.
如要获取服务器上e:\rose\下的所有文件,则
ftp> cd /rose
ftp> mget *.* (回车)
2.scp or rcp方式
rcp or scp -P port [email protected]:./testfile testfile #复制远程文件到本地
rcp or scp -P port -r testfile(本地) [email protected]:home/rootlocal/testfile #复制文件到远程
3.rsync方式
rsync -az -e "ssh -i $KEY" $RUSER@$RHOST:$RPATH $LPATH 远程拷贝文件到本地
关于Linux命令的介绍,看看《linux就该这么学》,具体关于这一章地址3w(dot)linuxprobe/chapter-02(dot)html.
6、linux rsync 远程服务器与局域网内的电脑 ,要怎么同步呢
好比A为服务器端的ip B为client端的ip.
你想从A上拉xxx模块下的yyy文件到B的当前目录。。
在B上执行 rsync -a A::xxx/yyy ./
确保A的rsyncd.conf里面的专xxx模块中有属 hosts allow = B 这句话就好。给分吧亲。
7、如何使用 rsync 将 Windows 上的文件备份到 Linux 服务器上
1.备份a)可以直接通过tar对整个文件系统('/‘)进行备份,但是有几点需要注专意:
i. 不能备份以属下几个文件(目录)
1. 当前压缩文件
2. /proc文件夹
3. /lost+found文件夹
4. /mnt文件夹
5. /sys文件夹
6. /media文件夹
b)所以,命令为:
tar cvpzf backup.tar.gz --exclude=/proc --exclude=/lost+found --exclude=/backup.tar.gz --exclude=/mnt --exclude=/sys --exclude=/media /
1.注意:p选项代表保存当前权限
2.还原
a) Linux可以再正在远行的系统中还原系统,如果当前启动无法启动,可以通过live cd来启动并执行恢复操作
b) 操作如下
tar xcpfz backup.tar.gz -C /
c) 需要额外创建目录
i.
mkdir proc
ii.
mkdir lost+found
iii.
mkdir mnt
iv.
mkdir sys
8、linux中的rsync命令
rsync和ssh是两个单独命令。
rsync语法 : rsync [OPTION]... SRC [SRC]... DEST
or
rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
or
rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
or
rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST
or
rsync [OPTION]... [USER@]HOST:SRC [DEST]
or
rsync [OPTION]... [USER@]HOST::SRC [DEST]
or
rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
〔options〕我只给你列出-e的参数。
-e,
--rsh=COMMAND
specify the remote shell to use
--rsync-path=PROGRAM
specify the rsync to run on the remote machine
--existing
skip creating new files on receiver
--ignore-existing
skip updating files that already exist on receiver
--remove-source-files
sender removes synchronized files (non-dirs)
--del
an alias for --delete-ring
--delete
delete extraneous files from destination dirs
--delete-before
receiver deletes before transfer, not ring
--delete-ring
receiver deletes ring transfer (default)
--delete-delay
find deletions ring, delete after
--delete-after
receiver deletes after transfer, not ring
--delete-excluded
also delete excluded files from destination dirs
--ignore-errors
delete even if there are I/O errors
--force
force deletion of directories even if not empty
--max-delete=NUM
don't delete more than NUM files
--max-size=SIZE
don't transfer any file larger than SIZE
--min-size=SIZE
don't transfer any file smaller than SIZE
--partial
keep partially transferred files
--partial-dir=DIR
put a partially transferred file into DIR
--delay-updates
put all updated files into place at transfer's end
ssh语法: ssh [-1246AaCfgKkMNnqsTtVvXxY] [-b bind_address] [-c cipher_spec]
[-D [bind_address:]port] [-e escape_char] [-F configfile]
[-i identity_file] [-L [bind_address:]port:host:hostport]
[-l login_name] [-m mac_spec] [-O ctl_cmd] [-o option] [-p port]
[-R [bind_address:]port:host:hostport] [-S ctl_path]
[-w local_tun[:remote_tun]] [user@]hostname [command]
9、linux下怎么安装rsync实现定时增量备份文件
服务器需求:需要备份文件的服务器(服务器端):192.168.10.2 (RHEL 5)
接收备份文件的服务器(客户端):192.168.10.3 (RHEL 5)
实现功能:
通过rsync工具对turbomail邮件服务器的accounts目录和conf目录进行增量备份。
accounts目录:用于存储用户相关信息的目录
conf目录:用户配置文件存放目录
前提条件:
先将turbomail邮件系统安装好(服务器端与客户端操作一样)
安装过程如下:
1、挂载光驱:mount /dev/cdrom
2、将turbomail的安装包拷贝到跟目录下/
#cd /dev/cdrom
#cp turbomail_linux_x86_xxx.tgz
3、解压turbomail安装包
tar –zxvf turbomail_linux_x86_xxx.tgz
4、启动turbomail
#cd /turbomail
#./starttm.sh
#cd /turbomail/web/bin/
#./startup.sh 5、修改启动脚本/etc/rc.d/rc.local
使邮件服务器开机自动启动加入以下几行:#/turbomail/starttm.sh &
#/turbomail/web/bin/startup.sh & #/turbomail/safestart.sh &
rsync的配置如下:
1.服务器端rsync的配置:使用系统自带的rsync工具,插入系统启动光盘,通过rpm安装rsync工具。
若采用采用源码包安装,上传安装包到服务器1)tar –zxvf rsyncrsync-2.6.9.tar.gz #解压2)cd rsyncrsync-2.6.9 3)./configure #默认配置,生成编译环境
10、两个linux服务器之间如何进行资源的移动
如果是单个文件用scp或者rsync
如果是一个文件夹,里面有很多文件,最好使用rsync