Linux之rsync同步工具介绍

阅读目录 1.rsync介绍 2.rsync的工作方式 3.rsync命令使用,参数说明 4.rsync服务端,客户端安装配置 5.--exclude参数 回到顶部 1.rsync介绍   Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。Rsync软件适用于unix/linux/windows等多种操作平台。   rsync,remote synchronize顾名思意就知道它是一款实现远程同步功能的软件,它在同步文件的同时,可以保持原来文件的权限、时间、软硬链接等附加信息。 rsync是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法,而且可以通过ssh方式来传输文件,这样其保密性也非常好,另外它还是免费的软件。rsync官方文档(http://www.samba.org/ftp/rsync/rsync.html) rsync 特性(Some of the additional features of rsync are) support for copying links, devices, owners, groups, and permissions(支持拷贝特殊文件如链接文件,设备等) exclude and exclude-from options similar to GNU tar  (可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能) a CVS exclude mode for ignoring the same files that CVS would ignore(可以做到保持原文件或目录的权限,时间,软硬链接,属主、组等所有属性均不改变-p) can use any transparent remote shell, including ssh or rsh(可实现增量同步,即只同步发生变化的数据,因此数据传输效率很高) does not require super-user privileges(可以使用rcp、rsh、ssh等方式来配合传输文件(rsync本身不对数据加密)) pipelining of file transfers to minimize latency costs(可以通过socket(进程方式)传输文件和数据) support for anonymous or authenticated rsync daemons (ideal for mirroring)(支持匿名的或认证(无需系统用户)的进程模式传输,可实现方便安全的进行数据备份及镜像)   来源官网 回到顶部 2.rsync的工作方式   1)单个主句本地之间数据传输(此时类似于cp命令)   rsync本地传送模式的语法是:rsync [option...] src...[dest]   rsync为同步的命令,[option]为同步时的参数选项,src为源,即待拷的分区,文件或者目录等,[dest]为目的分区文件或者目录等 复制代码 ll  /data                <#删除前看一下 midir /null                <#创建一个空目录 rsync -r --delete /null /data/ ll  /data                <#删除完后看一下 复制代码   2)借助rcp,ssh等通道传输数据(此时类似于scp命令) ssh-key中的scp回顾 1 scp -P 521 -rp -- /etc/hosts king@192.168.17: /tmp <# -P 跟端口号 用户名@ ip :目标文件  rsync借助ssh通道拉取 rsync -avzP -e ‘ssh -p 22’ king@192.168.17:/opt /tmp <#-e 'ssh -p 22'表示通过ssh通道传送数据,-p22可略  3)以守护进程(socket)的方式传输数据(这个是rsync自身的重要功能) 回到顶部 3.rsync命令使用,参数说明   -v, --verbose   详细模式输出   -z, --compress   对备份的文件在传输时进行压缩处理   -a, --archive    归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD   -r, --recursive  对子目录以递归模式处理   -t, --times     保持文件时间信息   -o, --owner    保持文件属主信息   -g, --group     保持文件属组信息   -p, --perms     保持文件权限   -R, --relative    使用相对路径信息   -b, --backup    创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。   --backup-dir    将备份文件(如~filename)存放在在目录下。   -suffix=SUFFIX 定义备份文件前缀   -u, --update    仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件)   -l, --links      保留软链结   -L, --copy-links   想对待常规文件一样处理软链结   --copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结   --safe-links     忽略指向SRC路径目录树以外的链结   -H, --hard-links   保留硬链结   -q, --quiet      精简输出模式   -D, --devices    保持设备文件信息   -S, --sparse     对稀疏文件进行特殊处理以节省DST的空间   -n, --dry-run    现实哪些文件将被传输   -W, --whole-file   拷贝文件,不进行增量检测   -x, --one-file-system 不要跨越文件系统边界   -B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节   -e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步   --rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息   -C, --cvs-exclude  使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件   --existing      仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件   --delete      删除那些DST中SRC没有的文件   --delete-excluded 同样删除接收端那些被该选项指定排除的文件   --delete-after    传输结束以后再删除   --ignore-errors    及时出现IO错误也进行删除   --max-delete=NUM 最多删除NUM个文件   --partial       保留那些因故没有完全传输的文件,以是加快随后的再次传输   --force      强制删除目录,即使不为空   --numeric-ids    不将数字的用户和组ID匹配为用户名和组名   --timeout=TIME    IP超时时间,单位为秒   -I, --ignore-times   不跳过那些有同样的时间和长度的文件   --size-only      当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间   --modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0   -T --temp-dir=DIR 在DIR中创建临时文件   --compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份   -P 等同于 --partial   --progress       显示备份过程   --exclude=PATTERN 指定排除不需要传输的文件模式   --include=PATTERN 指定不排除而需要传输的文件模式   --exclude-from=FILE 排除FILE中指定模式的文件   --include-from=FILE 不排除FILE指定模式匹配的文件   --version       打印版本信息   --address       绑定到特定的地址   --config=FILE     指定其他的配置文件,不使用默认的rsyncd.conf文件   --port=PORT      指定其他的rsync服务端口   --blocking-io      对远程shell使用阻塞IO   -stats         给出某些文件的传输状态   --progress       在传输时现实传输过程   --log-format=formAT 指定日志文件格式   --password-file=FILE 从FILE中得到密码   --bwlimit=KBPS     限制I/O带宽,KBytes per second   -h, --help        显示帮助信息   很多对吧?简单工作中我就只用过avz,哈哈哈 回到顶部 4.rsync服务端,客户端安装配置 1)服务端安装配置 以守护进程(socket)的方式传输数据 复制代码 [king@rsyncserver ~]$ rpm -qa rsync   #查看是否安装rsync rsync-3.0.6-9.el6_4.1.x86_64 [king@rsyncserver ~]$ vim /etc/rsyncd.conf   #/etc/rsyncd.conf默认是不存在的,所以我们要创建它并编辑它 #rsync_config_______________start ##rsyncd.conf start## uid = rsync                    #rsync使用的用户,缺省uid为-2,通常为 nobody gid = rsync                    #rsync使用的组(用户所在的组)缺省gid为-2,通常为nobody use chroot = no                  max connections = 200              #设置最大的连接数,默认为0,就是无限制,负值为关闭这个模块 timeout = 60                   #默认为0,连接超时, pid file = /var/run/rsyncd.pid         #rsync daemon启动后将其进程PID写入此文件 lock file = /var/run/rsync.lock         #锁的机制 log file = /var/log/rsyncd.log         #日志配置文件,报错我们查看他它 [king]                       #用户模块          path = /king/                   #用户共享的文件 ignore errors                   #错误忽略(i/o) read only = false                 #指定客户端是否可以上传文件,默认对所有模块都为true list = false                    #不显示列表 hosts allow = 192.168.1.7/24          #指定可以联系的客户端用户名和ip,address/mask hosts deny = 0.0.0.0/32             #默认是没哟 auth users = rsync_backup            #auth users指定以空格或者, 分隔的用户可以使用那些模块 secrets file = /etc/rsync.password      #secrets file 指定用户名和密码的文件 格式 用户名:密码 #rsync_config_______________end ~ [root@rsyncserver /]# chown -R rsync.rsync king/ #创建共享目录,并让rsync用户可以管理king [root@rsyncserver ~]# chmod 600 /etc/rsync.password       #用户密码文件只能是600 [root@rsyncserver king]# ls -lh /etc/rsync.password -rw-------. 1 root root 19 9月 21 10:15 /etc/rsync.password [root@rsyncserver ~]# cat /etc/rsync.password #查看用户密码文件,注意其格式 rsync_backup:king [root@rsyncserver ~]# rsync --daemon #启动rsync服务,如果想要重启服务的话,先用pkill rsync杀掉进程然后再执行此操作 [root@rsyncserver ~]# ps -ef|grep rsync|grep -v grep root 1670 1 0 13:56 ? 00:00:00 rsync --daemon 注意:要关闭防火墙和selinux [king@rsyncserver .ssh]$ sudo /etc/init.d/iptables stop [king@rsyncserver .ssh]$ sudo getenforce Enforcing [king@rsyncserver .ssh]$ sudo setenforce 0 [kingy@rsyncserver .ssh]$ getenforce Permissive 复制代码 2)客户端安装配置 复制代码 [root@rsyncclient ~]# rpm -qa rsync rsync-3.0.6-9.el6_4.1.x86_64 [root@rsyncclient ~]# vim /etc/rsync.password [root@rsyncclient ~]# chmod 600 /etc/rsync.password [root@rsyncclient ~]# useradd -s /sbin/nologin rsync [root@rsyncclient ~]# cat /etc/rsync.password king 复制代码  3)同步 复制代码 Local: rsync [OPTION...] SRC... [DEST] Access via remote shell: Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST:DEST Access via rsync daemon: Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST] rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST::DEST rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST pull: [root@rsyncclient ~]# rsync -avz rsync_backup@192.168.1.7::king /data --password-file=/etc/rsync.password receiving incremental file list ./ a b sent 105 bytes received 224 bytes 658.00 bytes/sec total size is 8 speedup is 0.02 push: [root@rsyncclient ~]# rsync -avz /data/ rsync_backup@192.168.1.7::king --password-file=/etc/rsync.password #注意/data后面有斜杠和没斜杠的区别:没有斜杠的话将目录一块同步,有斜杠的话只同步目录下面的内容。 复制代码 回到顶部 5.--exclude参数 1)只排除一个文件不同步 rsync -avz --exclude=1 rsync_backup@192.168.1.7::king /data/ --password-file=/etc/rsync.password   --exclude= 文件名字  rsync_backup是你/etc/rsyncd.conf文件里配置的auth users = rsync_backup @ip king 是你/etc/rsyncd.conf文件里配置的[king],--password-file=/etc/rsync.password即为读取你的密码文件,注意你的密码文件权限必须是600,且格式必须是类似键值对的形式存在,(用户:密码) 2)排除多个文件不同步 复制代码 方法一: rsync -avz --exclude={1,2} /data1/ rsync_backup@192.168.1.7::king --password-file=/etc/rsync.password #{文件名字用逗号隔开} 方法二: rsync -avz --exclude={1..3} /data1/ rsync_backup@192.168.1.7::king --password-file=/etc/rsync.password #{文件名字,这是文件名连续的文件} 方法三: rsync -avz --exclude=1 --exclude=2 /data/ rsync_backup@192.168.1.7::king --password-file=/etc/rsync.password #多个--exclude=文件名字,虽然麻烦,不失为方法。 复制代码 3)无差异同步:--delete参数   一般是有需要在俩台服务器之间,必须要求数据同步,且实时性又不是很高的情况下,如:俩台负载均衡下面的web服务器之间的同步,或者高可用双机配置之间的同步等,rsync无差异同步很危险切记。https://www.cnblogs.com/liang-io/p/9672458.html
50000+
5万行代码练就真实本领
17年
创办于2008年老牌培训机构
1000+
合作企业
98%
就业率

联系我们

电话咨询

0532-85025005

扫码添加微信