lsyncd搭建和使用(含rsync配置)

官方文档

https://axkibe.github.io/lsyncd/ https://github.com/axkibe/lsyncd

lsyncd简介

Lsyncd使用lua语言对inotify和rsync进行封装，使用文件系统事件接口（inotify或fsevents）来监视对本地文件和目录的更改，Lsyncd将这些事件整理几秒钟，然后生成一个或多个进程以将更改同步到远程文件系统，默认同步方法是rsync。是一种轻量级的实时镜像解决方案，不需要新的文件系统或块设备，Lysncd不会妨碍本地文件系统性能

可以通过配置文件实现细粒度的自定义。自定义操作配置甚至可以从头开始编写，从shell脚本到用Lua语言编写的代码

Lsyncd 2.2.1在所有源计算机和目标计算机上都需要rsync> = 3.1。

安装

在ubuntu和debian，lsyncd已经收入到其官方镜像源中，直接使用apt-get安装即可 apt-get install rsyncd

lsyncd配置

lsyncd的配置是用lua语言编写，一般为/etc/lsyncd.conf，常用的主要是两部分：

setting部分 里面是全局变量，–后面的表示注释，常见配置如下：

settings { logfile = "/var/log/lsyncd/lsyncd.log", --日志文件 pidfile = "/var/run/lsyncd.pid", --记录进程ID的文件，可以不用配置 statusFile = "/var/log/lsyncd/lsyncd.status", --运行状态文件，包括记录一些监控目录的变更信息 statusInterval = 5, --将lsyncd的状态写入上面的statusFile的间隔，默认10秒 nodaemon = true, --表示不启用守护模式，默认 inotifyMode = "CloseWrite", --指定inotify监控的事件，默认是CloseWrite，还可以是Modify或CloseWrite or Modify maxProcesses = 5, --同步进程的最大个数。假如同时有10个文件需要同步，而maxProcesses=5，则最大能看到有5个rysnc进程 maxDelays = 1, --累计到多少所监控的事件激活一次同步，即使后面的delay延迟时间还未到 inist = ture, --keep running at startup although one or more targets failed due to not being reachable. 一般不用配置 }

sync部分 主要用来定义同步时的一些设置,可以同时同步多个目录,只需要在该代码块中事先定义好多个sync即可。一般第一个参数指定lsyncd以什么模式运行，主要有rsync、rsyncssh、direct三种模式：

default.rsync ：默认的rsync配置会将事件聚合到delay秒或1000个独立的不可折叠事件，这些事件首先发生。然后它会产生一个Rsync，并带有所有已更改文件的过滤器。过滤器列表通过管道传输到Rsync，可以进行本地或远程的文件同步，常见配置如下

sync { default.rsync, source = "/tmp/src", --同步原目录 target = "rsync_user@172.16.1.41::backup", --同步目的地址 delete = "running", --目标目录和源目录不同时的删除方式，四种，详解见下面 exclude = { "*.txt", ".tmp" }, --排除同步的文件，可以用rsync的正则 delay = 3, --累计事件，等待delay秒后进行rsync同步，默认15秒（最大累计到1000个不可合并的事件）。也就是15s内监控目录下发生的改动，会累积到一次rsync同步，避免过于频繁的同步。（可合并的意思是，15s内两次修改了同一文件，最后只同步最新的文件） init = false, --只同步进程启动以后发生改动事件的文件，原有的目录即使有差异也不会同步。默认是true rsync = { --这里是rsync的同步配置 binary = "/usr/bin/rsync", archive = true, compress = true, verbose = true, --同步详细模式输出 password_file = "/etc/rsync.pwd", _extra = {"--bwlimit=200"}, 其他的一些配置，这里表示限速，单位kb/s } }

补充

上面配置文件中的delete各值解释： delete = true #在目标上删除源中没有的内容。在启动时以及在正常操作期间删除的内容 delete = false #不会删除目标上的任何文件。不在启动时也不在正常操作上 delete = 'startup' # Lsyncd将在启动时删除目标上的文件，但不会在正常操作时删除 delete = 'running' # Lsyncd在启动时不会删除目标上的文件，但会删除正常操作期间删除的文件 排除：可以指定两个附加参数来同步： excludeFrom = FILENAME loads exclusion rules from this file, on rule per line exclude = LIST loads exclusion rules from this list of strings 排除规则在rsync的排除模式之后建模，但稍微简单一些。Lsyncd支持这些功能： 通常，如果某个事件的路径名的任何部分（参见第3层以下）与文本匹配，则将其排除。例如文件“/ bin / foo / bar”匹配规则“foo”。 如果规则以斜杠开始，则只会在路径名的开头匹配 如果规则以斜线结尾，则只会在路径名的末尾匹配 ？匹配不是斜杠的任何字符。 * 匹配零个或多个不是斜线的字符 ** 匹配零个或多个字符，这可以是斜杠。 delete 和 exclude 本来是rsync的配置选项

default.direct ：Default.direct可以用来保持两个本地目录同步，比使用default.rsync更好的性能。Default.direct在启动时使用（就像default.rsync一样）rsync来初始化目标目录与源目录的同步。但是，在正常操作期间，default.direct使用/ bin / cp，/ bin / rm和/ bin / mv来保持同步。所有参数就像default.rsync一样

sync { default.direct, source = "/home/user/src/", target = "/home/user/trg/" }

default.rsyncssh ：同步到远程主机目录，rsync的ssh模式，需要使用key来认证。此配置不同于标准rsync配置，因为它使用ssh命令在目标主机本地移动文件或目录，而不是再次删除和传输。这种配置产生了类似于default.rsync的Rsync进程，但是会产生/usr/bin/ssh HOST mv ORIGIN DESTINATION命令。

与default.rsync不同，它不需要统一的target参数，但需要host并targetdir分开。 Rsync的选项可以通过rsync上面所描述的default.rsync中的参数进行更改 Rsync的选项可以通过rsync上面所描述的default.rsync中的参数进行更改。

除此之外，可以通过ssh参数配置ssh 。

binary = FILENAME #Lsyncd calls this binary as ssh (default: /usr/bin/ssh) identityFile = FILE #Uses this file to identify for public key authentication. options = TABLE #A table of addition extended options to pass to ssh's -o option. port = PORT #Adds --port=PORT to the ssh call. _extra = STRING TABLE #Similar to rsync._extra this can be used as quick workaround if absolutely needed. settings { logfile = "/var/log/lsyncd.log", statusFile = "/var/log/lsyncd-status.log", statusInterval = 20 } sync { default.rsyncssh, source="/srcdir", host="remotehost", excludeFrom="/etc/lsyncd.exclude", targetdir="/dstdir", rsync = { archive = true, compress = false, whole_file = false }, ssh = { port = 1234 } }

启动lsyncd

lsyncdd所有日志消息按类别排序。默认情况下，Lsyncd缺少日志消息。通过指定，您可以将Lsyncd转换为motormouth -log all。

lsyncd -log all CONFIGFILE

这可能很容易变得太多。一个特别有用的类别是“Exec”，它将记录Lsyncd产生的所有进程的命令行。

lsyncd -log Exec CONFIGFILE

测试Lsyncd配置时-nodaemon是一个非常方便的标志。使用此选项，Lsyncd不会分离，并且不会成为守护进程。所有日志消息都是在控制台上打印的配置日志记录工具（stdout和stderr）之外的。

lsyncd -nodaemon CONFIGFILE

当没有配置文件时，可以直接在命令中指定，如下：

lsyncd -rsync /home/USER/src remotehost:dst lsyncd -rsyncssh /home/USER/src REMOTEHOST TARGETDIR

当默认初始启动同步失败时，Lsyncd将以错误消息终止。它是这样设计的，所以配置故障可见地报告给可能的初始用户。但是，在生产过程中可能会完成远程目标，但是您希望Lsyncd始终启动并不断尝试同步到远程目标，直到它启动。

lsyncd -insist -rsync /home/USER/src remotehost:dst

在生产模式下，建议坚持。它也可以在配置文件中的settings {}命令中指定。

rsync安装与配置

安装 在ubuntu或者debian下，直接 apt-get install rsync 即可

配置 /etc/rsyncd.conf

uid = root # 表示同步的文件所属用户 gid = root # 表示同步的文件所属用户组 use chroot = yes # 安全相关，表示在同步时，是否将同步目录转为根目录 max connections=0 # 允许客户端的最大连接数，0表示不限制 log file=/var/log/rsyncd/rsyncd.log pid file=/var/run/rsyncd.pid lock file=/var/run/rsyncd.lock [backup] path = /var/tmp/ read only = no list = yes auth users = rsyncuser secrets file = /etc/rsync.pas

/etc/images.pas 密码文件

rsyncuser:123456 chmod 600 /etc/images.pas # rsync的密码文件权限必须是600 /usr/bin/rsync –daemon config=/etc/rsyncd # 启动

问题

1、在rsync中，他的密码文件包括用户名和密码两部分，用“:”隔开，但是在lsyncd中，配置里的密码文件只写密码就行，不要写用户名，要不rsync会同步不成功

扩展

lsyncd不仅仅可以用来同步，还可以自己写各种action，监控指定目录的文件，根据触发的事件执行自己定义的命令，这个没有实践，可以参考 https://www.cnblogs.com/sunsky303/p/8976445.html

本文参考原文： https://www.cnblogs.com/sunsky303/p/8976445.html https://segmentfault.com/a/1190000002737213