Библиотека знаний - rsync

Anonymous (anonymous@undisclosed.example.com) — 2011-10-21T10:43:06+00:00

rsync {OPTIONS} {FROM} {TO} Копирование содержимого директории /local/folder/ с локальной машины на удаленный сервер user@server, в директорию /remote/folder/

rsync -e "ssh -p 22" –progress –partial –force -avz /local/folder/ user@server:/remote/folder/ Важно обратить внимание на последний слэш: если он есть то копируется содержимое папки, иначе - вся директория, вместе с названием.

–progress - отображение прогрессбара –partial - сохранение частей файлов после копирования (см. детали алгоритма работы rsync), ускоряет последующие копирования –forse - удаление не пустых директорий -e ssh - использование ssh для синхронизации, порт указывается так -e "ssh -p22", настройка подключений по ssh без ввода пароля описана тут -a - алиас для группы ключей (-rlptgoD), сохраняет разные атрибуты файлов/директорий при копировании, включает рекурсию -v - вывод в консоль подробных действий -z - компрессия передаваемых файлов Копирование отдельного файла

rsync –progress –partial -avz /local/file.ext user@remote.server:/remote/folder/ Синхронизация двух локальных папок с удалением из {TO} всего чего нет в {FROM}

rsync -av –delete /local/from/ /local/to/ Тоже предназначение, как и у предыдущей команды, только физически ничего не меняется (симуляция процесса)

rsync -avn –delete /local/from/ /local/to/ Показать разницу между двумя каталогами

rsync -avi /local/folder1/ /local/folder2/ И то, из-за чего мне понадобился rsync: надо синхронизировать из периодически обновляемого хранилища группу файл в другую директорию. В rsync есть опция –files-from=list.txt которая синхронизирует только файл из списка в list.txt, разделитель - новая строка.

rsync -avh –files-from=list.txt –progress /local/folder1/ /local/folder2/ Несколько других полезных опции rsync

–exclude='*.pyc' - исключить файлы совпадающие с маской *.pyc, regexp не поддерживается –exclude-from='files.txt' - исключить файлы, которые упомянуты в files.txt, разделить имен - новая строка -h - human-readable формат для размера файлов -u - если файл в {TO} новее чем в {FROM}, то не заменять –existing - обновление только уже существующих файлов, новые не копируются –max-size='7MB' - не передавать файлы, больше 7 МБайт

RSYNC - Документация

Anonymous (anonymous@undisclosed.example.com) — 2015-11-03T09:10:41+00:00

shell, network, utils, backup, ssh, rsync

RSYNC - Документация

СИНТАКСИС

rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
rsync [OPTION]... [USER@]HOST:SRC DEST
rsync [OPTION]... SRC [SRC]... DEST
rsync [OPTION]... [USER@]HOST::SRC [DEST]
rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

ОПИСАНИЕ

Утилита rsync ведет себя во многом подобно rcp с той разницей, что имеет гораздо больше параметров и использует протокол удаленного обновления (remote-update protocol) для значительного ускорения передачи файлов, которые уже существуют в месте назначения.

Благодаря этому протоколу rsync передает только различия между двумя наборами файлов через сетевое соединение, используя эффективный алгоритм поиска контрольных сумм (cheksum-search algorithm), описанный в сопровождающей этот пакет документации.

Вот некоторые дополнительные особенности rsync:

поддержка копирования ссылок, файлов устройств, атрибутов владельца, группы и прав
параметры исключения путей exclude и exclude-from подобно GNU tar
CVS-подобный режим исключения для определенных файлов, которые игнорируются тем же образом, каким их должен игнорировать CVS
может прозрачно использовать любую оболочку удаленного доступа, включая rsh или ssh
не нуждается в привилегиях суперпользователя root
конвейеризация передач файлов для уменьшения задержек
поддержка анонимного сервера rsync или сервера rsync с аутентификацией (идеально для зеркалирования)

ГЛАВНОЕ

Относительно rsync существует восемь способов его использования:

Для локального копирования файлов, когда ни исходный SRC, ни конечный DEST пути не содержат двоеточия : .

Для копирования локальных файлов на удаленный хост, используя программу удаленной оболочки в качестве транспорта (например, rsh или ssh). В этом случае конечный путь DEST содержит одно двоеточие : как разделитель адреса удаленного хоста и пути файловой системы на нем.

Для копирования с удаленного хоста в локальные файлы, используя программу удаленной оболочки. Это происходит, если исходный путь SRC содержит двоеточие : .
Для копирования с удаленного rsync-сервера в локальные файлы, когда исходный путь SRC содержит либо двойное двоеточие :: , либо он сформирован в виде URL, начинающийся с rsync:/\/ .
Для копирования локальных файлов на удаленный rsync-сервер. В этом случае конечный путь DEST содержит :: или является URL'ом вида rsync:/\/ .
Для копирования с удаленной машины с использованием удаленной оболочки как транспорта и удаленного rsync-сервера. Это происходит, когда исходный путь SRC содержит разделителем двойное двоеточие :: и установлен параметр –rsh=COMMAND (или -e "COMMAND").
Для копирования с локальной машины на удаленную с использованием удаленной оболочки как транспорта и удаленного rsync-сервера. Это происходит, когда конечный путь DEST содержит разделителем двойное двоеточие :: и установлен параметр –rsh=COMMAND (или -e "COMMAND").
Для получения списка файлов на удаленной машине. Это происходит, если не указать (оставить пустым) локальный путь.

Обратите внимание, что во всех случаях (кроме запроса списка) как минимум один путь (либо исходный SRC, либо конечный DEST) должен быть локальным.

УСТАНОВКА

За инструкциями по установке обращайтесь в файл README.

Для удаленных передач rsync использует ssh для выполнения коммуникаций с удаленными хостами, поэтому сразу после установки Вы можете использовать rsync относительно любой машины, к которой возможен доступ через ssh (также как и к тем, где запущен rsync-сервер). Но можно сконфигурировать использование другой оболочки, например, rsh или remsh.

Вы можете указать альтернативу rsh либо с помощью параметра командной строки -e, либо с помощью переменной окружения RSYNC_RSH.

Обратите внимание, что rsync должна быть установлена на обоих хостах, которые вовлечены в операцию копирования.

ИСПОЛЬЗОВАНИЕ

Применение rsync подобно rcp. Вы должны указать исходный путь и конечный путь назначения, один из которых может быть на удаленном хосте.

Возможно, лучший способ объяснить синтаксис - это привести примеры:

rsync *.c foo:src/

Копирует все файлы по шаблону *.c из текущего каталога в каталог src , расположенный на машине foo . Если какой-либо из файлов уже существует, rsync использует протокол удаленного обновления для передачи только различий. За деталями протокола обращайтесь к соответствующей документации.

rsync -avz foo:src/bar /data/tmp

Копирует все файлы рекурсивно из каталога src/bar с машины foo в локальный каталог /data/tmp/bar . Передача файлов происходит в "архивном" режиме, который гарантирует сохранение символьных ссылок, файлов-устройств, атрибутов, разрешений и т.д. Кроме того, используется сжатие для уменьшения объема непосредственно передаваемых данных.

rsync -avz foo:src/bar/ /data/tmp

Слэш в окончании исходного пути меняет поведение при копировании так, что все файлы копируются в каталог /data/tmp без создания дополнительного уровня вложения каталогов. Завершающий исходный путь слэш означает "копировать содержимое этого каталога". Без завершающего слэша - "копировать каталог". В обоих случаях (со слэшем и без него) атрибуты содержащего файлы каталога копируются на содержащий их копии каталог назначения. Другими словами, в каждом последующем примере команды копируют файлы одинаково, включая атрибуты /dest/foo :

rsync -avz /src/foo /dest

rsync -avz /src/foo/ /dest/foo Вы также можете использовать rsync в режиме только локального копирования, когда ни один из путей НЕ содержит двоеточия : . Тогда rsync ведет себя как улучшенная команда копирования.

rsync somehost.mydomain.com::

Запрашивает весь список анонимно-доступных модулей на машине somehost.mydomain.com. (Смотрите следующую секцию на предмет деталей.)

ПОДКЛЮЧЕНИЕ К RSYNC-СЕРВЕРУ

rsync можно использовать без обращения к удаленной оболочке как транспорту. В этом случае Вы будете подключаться к удаленному rsync-серверу, запущенному на 873 порту TCP.

Вы можете осуществлять соединение через web-прокси, устанавливая переменную окружения RSYNC_PROXY, равной паре hostname:port, соответствующей Вашему web-прокси. В этом случае Ваш web-прокси должен разрешать проксирование 873 порта.

Использование rsync-сервера аналогично варианту с удаленной оболочкой за исключением:

Вы используете двойное двоеточие :: , а не одинарное, как разделитель имени хоста и пути.
удаленный сервер может выводить сообщение дня (motd), когда Вы подсоединяетесь.
если Вы опускаете указание пути на удаленном сервере, то он показывает список доступных путей.
если Вы опускаете локальный путь копирования, то Вам предоставляется список указанных файлов на
удаленном сервере.

Некоторые пути на удаленном сервере могут быть доступными только по аутентификации. Тогда вы получите приглашение ввести пароль при подключении. Можно избежать запроса пароля, предварительно выставив переменную RSYNC_PASSWORD в значение с необходимым паролем или указав параметр в командной строке –password-file . Это удобно при использовании rsync в скриптах.

ВНИМАНИЕ: На некоторых системах переменные окружения видимы всеми пользователями. На таких системах рекомендуется использовать –password-file .

ПОДКЛЮЧЕНИЕ К RSYNC-СЕРВЕРУ ЧЕРЕЗ УДАЛЕННУЮ ОБОЛОЧКУ

Иногда бывает полезно при подключении к rsync-серверу передавать файлы, используя удаленную оболочку как транспорт. Это особенно полезно, если нужно подключиться к удаленной машине через ssh (для шифрации или в обход сетевого экрана), но при этом сохранить доступ к функциональным особенностям rsync-сервера (см. ЗАПУСК RSYNC-СЕРВЕРА ПОВЕРХ УДАЛЕННОЙ ОБОЛОЧКИ).

С пользовательской точки зрения этот способ такой же, как и подключение к rsync-серверу, за исключением того, что необходимо явно указать программу удаленной оболочки в командной строке параметром –rsh=COMMAND. (Установка RSYNC_RSH в окружении не активизирует эту функциональность.)

В порядке необходимости различать пользователя удаленной оболочки и пользователя удаленного rsync-сервера Вы можете использовать '-l user' в указании программы оболочки:

rsync -av –rsh="ssh -l ssh-user" rsync-user@host::module[/path] local-path Здесь "ssh-user" имеет значение на уровне ssh; "rsync-user" проверяется относительно rsyncd.conf на удаленной стороне.

ЗАПУСК RSYNC СЕРВЕРА

rsync-сервер конфигурируется с помощью специального файла, которым по умолчанию выбирается /etc/rsyncd.conf, кроме тех случаев, когда rsync запускается поверх удаленной оболочки и не от root. В этом случае выбирается rsyncd.conf из текущего каталога на удаленной машине (обычно \$HOME). Смотрите страницы руководства по rsyncd.conf(5) на предмет деталей.

ЗАПУСК RSYNC-СЕРВЕРА ПОВЕРХ УДАЛЕННОЙ ОБОЛОЧКИ

Некоторые конфигурационные параметры не будут доступны, если удаленный пользователь не root (chroot, setuid/setgid и т.д.). Нет необходимости в конфигурировании inetd или включении порта rsync-сервера в список доступных сетевых служб, если rsync-сервер запущен только через программу удаленной оболочки.

Для запуска rsync-сервера с ssh-ключом ограниченного применения см. соответствующий раздел rsyncd.conf(5).

ПРИМЕРЫ

Далее приведено несколько примеров, как использовать rsync.

Для резервного архивирования домашнего каталога моей жены, который содержит большие MS Word файлы и почтовые папки, я использую задание для cron'а, которое запускается

rsync -Cavz . arvidsjaur:backup

каждую ночь через PPP-соединение для дублирования каталога на мою машину "arvidsjaur".

Для синхронизации моего дерева samba-исходников я использую Makefile-указания:

get: 
rsync -avuzb --exclude '*~' samba:samba/ .
put: 
rsync -Cavuzb . samba:samba/
sync: get put

Это позволяет мне синхронизировать с CVS-каталогом на другом конце соединения. Затем я осуществляю cvs-операции на удаленной машине, что сохраняет мне массу времени, т.к. передача по удаленному cvs-протоколу не очень эффективна.

Я зеркалирую каталог между моими "старым" и "новым" ftp-сайтами командой

rsync -az -e ssh --delete ~ftp/pub/samba/ nimbus:"~ftp/pub/tridge/samba"

это запускается cron'ом несколько раз в день.

СВОДКА ПАРАМЕТРОВ

Далее краткий обзор параметров, понимаемых rsync. Пожалуйста, обращайтесь к более детальному описанию чуть ниже.

-v, –verbose увеличить уровень подробностей
-q, –quiet уменьшить уровень подробностей
-c, –checksum проверять контрольные суммы
-a, –archive архивный режим, эквивалент для -rlptgoD\
-r, –recursive рекурсивно входить в подкаталоги
–no-recursive отключить действие –recursive
–no-implied-dirs не передавать затрагиваемые параметром -R каталоги
-R, –relative использовать относительные пути
-b, –backup создавать резервную копию (см. –suffix и –backup-dir)
–backup-dir создавать резервную копию в этом каталоге
–suffix=SUFFIX суффикс для резервной копии (по умолчанию ~ в отсутствие –backup-dir)
-u, –update только обновление (не переписывает более новые файлы)
-l, –links копировать символьные ссылки как символьные ссылки
-L, –copy-links копировать то, на что ссылаются символьные ссылки
–copy-unsafe-links копировать ccылки за пределы исходного дерева каталогов
–safe-links не копировать любые символьные ссылки, которые ссылаются за пределы дерева каталогов назначения
-H, –hard-links сохранять жесткие ссылки
-p, –perms сохранять разрешения
-o, –owner сохранять владельца (только root)
-g, –group сохранять группу
-D, –devices сохранять файлы устройств (только root)
-t, –times сохранять время
-S, –sparse эффективно обработать фрагментированные файлы
-n, –dry-run показать, что скопируется
-W, –whole-file копировать весь файл без rsync-алгоритма
–no-whole-file отключить –whole-file
-x, –one-file-system не выходить за пределы файловой системы
-B, –block-size=SIZE размер блока контрольных сумм (по умолчанию 700)
-e, –rsh=COMMAND указывает замену программу удаленной оболочки
–rsync-path=PATH указывает путь к rsync на удаленной машине
–existing только обновить те файлы, которые уже существуют
–ignore-existing пропускать те файлы, которые уже существуют на приемной стороне
–delete удалять файлы, которых нет на передающей стороне
–delete-excluded также удалять те файлы, которые исключены из списка копирования
–delete-after удалять после копирования, а не до него
–ignore-errors удалить даже при наличии ошибок ввода/вывода
–max-delete=NUM не удалять больше, чем NUM файлов
–partial сохранять частично переданные файлы
–force принудительно удалять даже не пустые каталоги
–numeric-ids не преобразовывать значения uid/gid по именам пользователя/группы
–timeout=TIME установить время ожидания ввода/вывода в секундах
-I, –ignore-times отключить "быструю проверку" файлов по времени модификации и размеру
–size-only отключить проверку времени модификации при "быстрой проверке" файлов (проверять только размер)
–modify-window=NUM сравнивать времена модификации файлов с пониженной точностью
-T, –temp-dir=DIR каталог для временных файлов
–compare-dest=DIR также сравнивать принятые файлы относительно каталога DIR
–link-dest=DIR создавать жесткие ссылки в каталоге DIR на не изменявшиеся файлы
-P эквивалент для –partial –progress
-z, –compress сжимать поток передачи данных
-C, –cvs-exclude автоматический пропуск файлов тем же способом, что и в cvs
–exclude=PATTERN исключить файлы, соответствующие шаблону PATTERN
–exclude-from=FILE шаблоны исключения брать из файла FILE
–include=PATTERN не исключать файлы по шаблону PATTERN
–include-from=FILE не исключать файлы по шаблонам в файле FILE
–files-from=FILE читать имена файлов для копирования из файла FILE
-0, –from0 нуль - разделитель всех списков файлов
–version вывести номер версии
–daemon запустить как rsync-демон
–no-detach не отключаться от родительского процесса
–address=ADDRESS слушать на указанном адресе
–config=FILE указать другой rsyncd.conf файл
–port=PORT слушать другой порт
–blocking-io использовать блочный ввод/вывод для удаленной оболочки
–no-blocking-io отключить –blocking-io
–stats выдавать статистику по передаче файлов
–progress показать % выполнения во время передачи
–log-format=FORMAT формат лог-файла передач
–password-file=FILE читать пароль из файла FILE
–bwlimit=KBPS ограничить скорость ввода/вывода, Кбайт/с
–read-batch=PREFIX для пакетного режима читать набор файлов с префиксом PREFIX
–write-batch=PREFIX для пакетного режима записать набор файлов с префиксом PREFIX
-h, –help показать помощь

ПАРАМЕТРЫ

rsync использует соглашение о длинных именах параметров GNU. Многие из параметров командной строки имеют два варианта: один - короткий, а другой - длинный. Ниже это отражено в разделении запятой двух вариантов. Некоторые параметры имеют только длинный вариант. Знак '=' для параметров с дополнительным значением необязателен и может быть заменен на пробел.

-h, –help Печатает короткую подсказку, описывающую доступные параметры rsync
–version Печатает номер версии rsync и завершается
-v, –verbose Этот параметр увеличивает сумму подробностей, которые выводятся в течение передачи. По умолчанию, rsync работает молча. Один -v будет иметь следствием выдачу списка переданных файлов и короткий итог в конце. Два -v раскрывают детали о пропущенных файлах и выдают несколько больше информации в завершение. Большее число может понадобится только при отладке rsync.
-q, –quiet Уменьшает сумму подробностей о передаче, преимущественно, сообщения от удаленного сервера. Этот параметр полезен при вызове из cron.
-I, –ignore-times Обычно rsync пропускает файлы, чей размер и время модификации идентичны. Этот параметр отключает такое поведение "быстрой проверки".
–size-only Обычно rsync пропускает файлы, чей размер и время модификации идентичны. С –size-only файлы будут пропускаться, если их размер одинаков, независимо от времени модификации. Это полезно при использовании rsync сразу после работы другой зеркалирующей системы, которая не сохранила точно времена.
–modify-window При сравнение двух меток времени rsync рассматривает эти метки равными, если они расходятся в пределах значения modify_window. Обычно это значение ноль, но Вы можете найти полезным установку его в большую величину в некоторых случаях. На практике, при передаче на файловую систему Windows FAT, которая не может представлять время с точностью до секунды, –modify_window=1 весьма полезна.
-c, –checksum Принуждает на передающей стороне подсчитывать контрольные суммы всех файлов, используя 128-битный алгоритм MD4 перед передачей. Контрольная сумма затем проверяется на приемной стороне для того, чтобы пропускать передачи уже существующих файлов с одинаковыми размером и контрольной суммой. Этот параметр может приводить к некоторому замедлению.
-a, –archive Эквивалентно набору -rlptgoD. Это быстрый способ указать, что Вам нужна рекурсия и Вы хотите сохранить почти все.

Однако заметьте, что -a не сохраняет жесткие ссылки, потому что поиск многосвязных файлов дорог. Вам придется отдельно указывать -H.

-r, –recursive Указывает rsync копировать каталоги рекурсивно. Без указания этого rsync совсем не будет копировать каталоги.
-R, –relative Использовать относительные пути. Это значит, что посылаются полные пути, указанные в командной строке, а не последние части имен файлов. На практике это полезно, когда Вам нужно послать несколько различных каталогов за раз. Например, если указать команду:

rsync foo/bar/foo.c remote:/tmp/

то она создаст файл foo.c в /tmp на удаленной машине. Если вместо этого указать

rsync -R foo/bar/foo.c remote:/tmp/

то файл создастся в /tmp/foo/bar/foo.c на удаленной машине - полный путь сохранится.

–no-relative

Выключает параметр –relative. Это нужно только если Вы хотите использовать параметр –files-from без подразумеваемого им поведения с включенным параметром –relative.

–no-implied-dirs

В комбинации с –relative все затрагиваемые каталоги в каждом пути явно не копируются как часть процесса передачи. Это делает передачу более оптимальной и также позволяет иметь непарные (см. пример ниже) символьные ссылки в подразумеваемых передачей путях. Например, если передается файл "/path/foo/file" с параметром -R, то по умолчанию rsync следит, чтобы "/path" и "/path/foo" в точности соответствовали каталогам/ссылкам на приемной стороне. Параметр –no-implied-dirs позволяет игнорировать несоответствие, когда "/path" - реальный каталог на одной стороне и символьная ссылка на другой. rsync не пытается с этим параметром что-либо менять в этом случае.

-b, –backup С этим параметром существовавшие до передачи файлы на приемной стороне переименовываются, как только соответствующий файл передан или удален. Вы можете контролировать, куда перемещаются файлы и какой суффикс (если нужно) добавляется к имени, используя параметры –backup-dir и –suffix.
–backup-dir=DIR В комбинации с –backup указывает каталог, куда сохранять резервные копии. Это весьма полезно для инкрементального резервирования. Вы можете дополнительно указать суффикс с помощью –suffix (иначе резервные копии файлов будут сохранять свои исходные имена).
–suffix=SUFFIX Этот параметр позволяет указать суффикс, отличный от суффикса по умолчанию, для резервных копий файлов при установленном –backup (-b). По умолчанию этот суффикс установлен в ~ без установки –backup-dir, установка которого сбрасывает этот суффикс в пустую строку.
-u, –update Указывает пропускать любые файлы, уже существующие на приемной стороне с более поздней датой, чем у исходных файлов.
-l, –links Если обнаружена символьная ссылка, то она же создается и на приемной стороне.
-L, –copy-links Если обнаружена символьная ссылка, то на приемную сторону копируется файл, на который она указывает, а не такая же символьная ссылка.
–copy-unsafe-links Копирует все объекты за пределами исходного дерева каталогов, на которые ссылаются символьные ссылки. Абсолютные символьные ссылки, а также, при выставленном –relative, любые символьные ссылки в пределах исходного дерева каталогов, рассматриваются как обычные файлы.
–safe-links Указывает игнорировать любую символьную ссылку, которая относится к объекту за пределами конечного дерева каталогов. Все абсолютные ссылки также пропускаются. Использование этого параметра в комбинации с –relative может дать неожиданные результаты.
-H, –hard-links Указывает пересоздать жесткие ссылки на конечной стороне в соответствии с тем, что имеется на исходной. Без этого параметра жесткие ссылки обрабатываются как обычные файлы.

Обратите внимание, что rsync может обнаруживать жесткие ссылки, только если обе части ссылки попадают в список предназначенных к передаче файлов. С этим параметром передача может быть довольно-таки медленной, так что пользуйтесь им только при необходимости.

-W, –whole-file Этот параметр отключает дифференциальный алгоритм rsync'а и с ним весь файл передается как есть, целиком. Передача может происходить быстрее с этим параметром, если полоса пропускания между исходной и конечной машинами шире, чем полоса пропускания доступа к диску (особенно, если "диск" в действительности сетевая файловая система). Этот параметр включен по умолчанию, если и исходная, и конечная цели находятся локально.
–no-whole-file Выключает действие параметра –whole-file, если последний включен по умолчанию.
-p, –perms Копирует все права на приемную сторону точь в точь с оригиналом.

Без указания этого параметра каждый новый файл получает те права доступа, что имеет исходный с учетом umask, действующей на приемной стороне, в то время как все другие (включая обновляемые) сохраняют свои уже существующие разрешения (это то же поведение, что имеют другие утилиты копирования файлов, такие как cp).

-o, –owner Копирует атрибуты владельца на приемную сторону в точности с оригиналом. На большинстве систем только супер-пользователь имеет право устанавливать владельца файла. Нужно заметить, что если удаленный демон действует в chroot-окружении, то подразумевается наличие параметра –numeric-ids, потому что на удаленной стороне в этом случае нет доступа к именам пользователей в /etc/passwd.
-g, –group Копирует атрибуты группы на приемную сторону в точности с оригиналом. Если удаленная сторона не действует из-под супер-пользователя, то сохранятся только те значения групп, членом которых является пользователь приемной стороны (имеет значение имя группы, а не ее id).
-D, –devices Указывает передавать информацию о символьных и блочных устройствах для пересоздания их на приемной стороне. Доступно только супер-пользователю.
-t, –times Указывает передавать время модификации файлов и обновлять им соответствующий атрибут на приемной стороне. Обратите внимание, что если этот параметр не установлен, то становится неэффективной оптимизация передачи по исключению не изменявшихся по времени файлов; другими словами, пропуск -t или -a будет означать, что следующая передача будет осуществляться с параметром -I, для всех файлов будут сравниваться контрольные суммы, а в журнале появятся соответствующие сообщения о них, даже если они не изменялись.
-n, –dry-run Указывает не осуществлять никаких передач, а только сообщать о тех действиях, которые могли бы произойти.
-S, –sparse Пытаться эффективнее обработать фрагментацию файлов, чтобы сэкономить пространство на приемной стороне.

ЗАМЕЧАНИЕ: Не используйте этот параметр, если в точке назначения имеется файловая система "tmpfs" Solaris. Не представляется возможным правильно управлять поиском среди "дырок" (null regions), что заканчивается повреждением файлов.

-x, –one-file-system Требует не переходить границ файловой системы при рекурсивном копировании. Это полезно при необходимости копирования только одной файловой системы.
–existing Указывает не создавать никаких новых файлов - только обновить те, которые уже существуют на приемной стороне.
–ignore-existing Указывает не обновлять файлы, которые уже существуют на приемной стороне.
–max-delete=NUM Не удалять больше, чем NUM файлов и каталогов. Это полезно при зеркалировании очень массивных деревьев каталогов для предохранения от неприятностей.
–delete Удалять любые файлы на приемной стороне, которых нет на передающей. Файлы, исключенные из передачи, исключаются также и из процесса удаления, если не указана –delete-excluded.

Этот параметр не оказывает никакого влияния, если не включено рекурсивное копирование каталогов. Этот параметр может быть опасным при неправильном использовании! Очень хорошим правилом может стать использование сначала холостого выполнения rsync (-n) для просмотра того, что за файлы могут удалиться и нет ли среди них важных. При возникновении каких-либо ошибок ввода-вывода на передающей стороне удаление любых файлов на приемной автоматически отключается. Это предотвращает от массивного удаления файлов на приемной стороне из-за временных ошибок файловой системы (например, NFS) на передающей. Это поведение можно отключить параметром –ignore-errors.

–delete-excluded В дополнение к файлам, удаляемым на приемной стороне из-за отсутствия их на передающей, указывает удалять также любые исключенные параметром –exclude файлы на приемной стороне. Подразумевается наличие параметра –delete.
–delete-after По умолчанию, rsync сначала выполняет удаление файлов перед копированием для пущей уверенности, что хватит свободного места на приемной стороне. Если же Вы хотите, чтобы удаление производилось после, то используйте –delete-after. Подразумевается наличие параметра –delete.
–ignore-errors При удалении (–delete) форсирует процесс и игнорирует любые ошибки, даже ошибки ввода-вывода.
–force Удалять каталоги при замене их не-каталогами, даже если они не пусты. Уместен только без
–delete, потому что удаление происходит только каталогов одного уровня. Требует –recursive (который подразумевается, если -a) для значимого эффекта.
-B, –block-size=BLOCKSIZE Регулирует размер блока, используемый rsync-алгоритмом. См. техническое описание на предмет деталей.
-e, –rsh=COMMAND Позволяет выбрать альтернативную программу удаленной оболочки для осуществления соединения между удаленной и локальной копиями rsync. Обычно rsync сконфигурирован для использования ssh по умолчанию, но Вы можете предпочесть использовать rsh в локальной сети.

Если этот параметр используется с указанием пути вида [user@]host::module/path, то программа удаленной оболочки COMMAND будет использована для запуска rsync-сервера на удаленной стороне, а все данные будут передаваться через соединение удаленной оболочки, а не напрямую через соединение с rsync-сервером на "том" конце. См. раздел "ПОДКЛЮЧЕНИЕ К RSYNC-СЕРВЕРУ ЧЕРЕЗ УДАЛЕННУЮ ОБОЛОЧКУ". Аргументы командной строки для COMMAND разрешено указывать в форме, при которой COMMAND представляется для rsync в виде одного аргумента. Например:

-e "ssh -p 2234" (Заметьте, что ssh-пользователи могут альтернативно настраивать специфичные для своего окружения параметры подключения в своих .ssh/config файлах.)

Вы также можете выбирать программу удаленной оболочки через переменную окружения RSYNC_RSH, которая принимает тот же диапазон значений, что и -e. См. также –blocking-io, на которую влияет установка параметра -e.

–rsync-path=PATH Указывает путь к копии rsync на удаленной стороне. Полезен, если rsync'а нет в Ваших путях поиска. Заметьте, что здесь указывается полный путь к программе, а не каталог, где она лежит.
-C, –cvs-exclude Этим параметром Вы исключаете широкий диапазон файлов, которые Вы не хотите передавать между системами. При этом используется тот же алгоритм, что использует CVS для определения игнорируемых файлов.

Список исключений изначально включает в себя:

RCS/ SCCS/ CVS/ .svn/ CVS.adm RCSLOG cvslog.* tags TAGS .make.state .nse_depinfo *~ #* .#* ,* *.old *.bak *.BAK *.orig *.rej .del-* *.a *.o *.obj *.so *.Z *.elc *.ln core
затем файлы, перечисленные в $HOME/.cvsignore , добавляются к первоначальному списку, а также любые, перечисленные в переменной окружения CVSIGNORE (разделенные пробелами).
В заключение, любой файл пропускается, если в том же каталоге есть файл .cvsignore, в котором есть соответствующий файлу шаблон. См. руководство по cvs(1) для дальнейшей информации.
* --exclude=PATTERN Позволяет выборочно исключать определенные файлы из процесса передачи. Это наиболее полезно при рекурсивной передаче.

Вы можете использовать так много –exclude, как Вам заблагорассудится для построения произвольного списка исключаемых файлов. См. секцию "ШАБЛОНЫ ИСКЛЮЧЕНИЯ" за информацией о синтаксисе для этого параметра.

–exclude-file=FILE Подобен параметру –exclude, но в отличие от него использует шаблоны исключаемых фалов, перечисленные в файле FILE. Пустые строки вместе со строками, начинающимися с ';' или '#', игнорируются. Если FILE указан как -, то список шаблонов читается со стандартного ввода.
–include=PATTERN Указывает шаблоны для имен тех файлов, которые нельзя исключать из процесса. Полезен тем, что позволяет Вам строить довольно сложные правила включения/исключения.

См. секцию "ШАБЛОНЫ ИСКЛЮЧЕНИЯ" за информацией о синтаксисе для этого параметра.

–include-from=FILE Указывает брать список обязательно включаемых в передачу файлов из файла FILE. Если FILE указан как -, то список шаблонов читается со стандартного ввода.
–files-from=FILE Позволяет задать точный список файлов для передачи (который будет прочитан из указанного FILE или из стандартного ввода, если указан -). Это также меняет поведение rsync по умолчанию в целях облегчения процесса передачи заданных файлов и каталогов. Например, по умолчанию включается использование опции –relative (для отключения этого используйте –no-relative), на принимающей стороне создаются все указанные в списке каталоги (а не пропускаются безгласно, как если бы не использовалась опция -r), а поведение -a (–archive) не подразумевает наличие -r (–recursive) - его, при необходимости, нужно указывать явно.

Все имена файлов, прочитанные из FILE, считаются относительными к исходному каталогу – первые слэши убираются и не допускаются ссылки "..", указывающие выше по дереву исходного каталога. Для примера рассмотрим:

rsync -a –files-from=/tmp/foo /usr remote:/backup

Если /tmp/foo содержит строку bin (или даже "/bin"), каталог /usr/bin будет создан как /backup/bin на удаленной машине (но содержимое /usr/bin не должно передаваться, кроме тех случаев, когда объекты явно указаны в /tmp/foo, или в случае указания параметра -r). Также учитывайте, что эффект от –relative (включенный по умолчанию) касается копирования путей, прочитанных из файла, – он не принуждает копировать полностью указанный исходный путь (/usr в примере). В дополнение, –files-from файл может быть прочитан с удаленной машины, а не локально, если указать перед именем файла "host:" (это должно соответствовать одному из концов передачи). Для краткости, можно указывать только префикс ":" для обозначения удаленного участника копирования. Например: rsync -a –files-from=:/path/file-list src:/ /tmp/copy эта команда должна скопировать все файлы указанные в файле /path/file-list, который расположен на удаленной машине "src".

-0, –from0 Говорит rsync, что имена файлов, читаемые извне, заканчиваются символом '\0', не NL, CR или CR+LF. Это касается параметров –exclude-from, –include-from, and –files-from.
-T, –temp-dir=DIR

Инструктирует использовать DIR как каталог временных копий передаваемых файлов на принимающей стороне. По умолчанию временные файлы создаются в каталоге назначения.

–compare-dest=DIR Инструктирует использовать DIR на машине назначения как каталог, относительно содержимого которого осуществляется сравнение во время процесса передачи при условии отсутствия файлов в каталоге назначения. Это полезно для осуществления передачи в новое место, оставляя существующие файлы неприкосновенными, а затем перенося и очищая, когда все файлы были переданы (например, при перемещении каталогов в новое место и удалении старого, хотя при этом пропускаются не изменявшиеся файлы; см. также –link-dest).

Прим. переводчика: Существование этого параметра обусловлено необходимостью обновлять, например, дерево с взаимозависимыми файлами. В этом случае нежелательно осуществлять копирование на пофайловой основе. Параметр –compare-dest позволяет указывать временный каталог назначения, куда и копируются передаваемые файлы. По окончании процесса передачи rsync переименовывает оригинальное дерево назначения, затем переименовывает временный каталог DIR в оригинальный и, наконец, удаляет переименованный на первом шаге оригинальный каталог со "старыми" файлами. Этот параметр повышает полезность –partial, потому что частично переданные файлы будут оставаться в новом временном каталоге до тех пор, пока не окажутся целиком на месте. Если DIR задан как относительный путь, то он соотносится к каталогу назначения.

–link-dest=DIR Ведет себя также, как и –compare-dest, но также создает жесткие ссылки в DIR на не изменявшиеся файлы в каталоге назначения. Файлы с измененными правами и владением не подвергаются этому. Как и в случае –compare-dest, если DIR задается относительным именем, то и действия осуществляются относительно каталога назначения.
-z, –compress С этим параметром rsync сжимает все передаваемые данные файлов. Это полезно на медленных линиях. Метод сжатия, используемый при этом, тот же, что реализует gzip.

Заметьте, что при этом обычно достигается лучший коэффициент сжатия, чем может быть достигнут, используя сжатие программ удаленной оболочки или сжатие транспортного уровня, т.к. в процесс сжатия вовлекается вся информация, посылаемая в соответствующих блоках данных.

–numeric-ids Вместо имен групп и пользователей посылаются их числовые id и ставятся в соответствие друг другу на обоих концах.

По умолчанию rsync использует имена групп и пользователей для определения владельца файлов. Специальные uid 0 и gid 0 никогда не отображаются через имена пользователей/групп, даже если не указана –numeric-ids. Если исходная система работает в ограниченном chroot-окружении или если пользователь или группа не существуют на приемной стороне, то используются исходные числовые id.

–timeout=TIMEOUT Позволяет устанавливать максимальное время ожидания ввода-вывода в секундах. Если за указанный период ничего не передано, то работа rsync завершается. По умолчанию 0, что означает без ожидания.
–daemon Запускает rsync как демон. Демон доступен для клиентов через синтаксис host::module или rsync:/\/host/module. Если стандартным вводом является сокет, то rsync полагает условием запуск от inetd, иначе он отключается от текущего терминала и становится фоновым процессом-демоном. Демон читает конфигурационный файл (rsyncd.conf) на каждое соединение от клиентов и соответственно отвечает на их запросы.
–no-detach При запуске демоном этот параметр инструктирует rsync не отключаться от терминала и стать фоновым процессом. Он требуется при запуске службой под Cygwin, и также может быть полезен, если rsync находится под наблюдением таких программ как daemontools или AIX's System Resource Controller. –no-detach также рекомендуется к применению при запуске rsync под отладчиком. Этот параметр не имеет никакого эффекта при запуске от inetd или sshd.
–address По умолчанию rsync использует групповой адрес 0.0.0.0, когда запускается как демон с –daemon или при подключениях к rsync-серверу. –address позволяет Вам указать точный IP-адрес (или хост-имя) для этого. Это делает возможным виртуальный хостинг в сочетании с –config.
–config=FILE Указывает альтернативный файл конфигурации. Это имеет значение только если указан –daemon. По умолчанию /etc/rsyncd.conf за исключением случая, когда демон запускается поверх удаленной оболочки и удаленный пользователь не root. В последнем случае rsyncd.conf по умолчанию располагается в текущем каталоге (обычно $HOME).
–port=PORT Указывает альтернативный номер TCP порта для работы, а не 873 по умолчанию.
–blocking-io Указывает использовать блокирующий ввод-вывод при запуске поверх программы-транспорта удаленной оболочки. Если этой программой являются либо rsh, либо remsh, то rsync использует блокирующий ввод-вывод по умолчанию, иначе по умолчанию используется неблокирующий ввод-вывод. (Заметьте, что ssh предпочитает неблокирующий.)
–no-blocking-io Отключает действие –blocking-io, когда оно активировано по умолчанию.
–log-format=FORMAT Позволяет Вам точно указывать, что rsync сообщает (журналирует) на стандартный вывод на по-файловой основе. Формат сообщений определяется тем же соглашением, что и для параметра журналирования в файле rsyncd.conf.
–stats Указывает выводить подробную статистику по передаче файлов, позволяя Вам оценить, насколько эффективен алгоритм rsync относительно Ваших данных.
–partial По умолчанию rsync будет удалять все частично-переданные файлы в случае прерывания передачи. В некоторых случаях более желательно сохранять такие файлы. Используя параметр –partial, можно указать rsync сохранять частично-переданный файл, что может ускорить передачу всего файла при последовательном повторении таких передач.
–progress Указывает выводить rsync информацию о ходе передачи. Скучающему пользователю будет на что посмотреть. Подразумевает наличие –verbose без увеличения подробностей.
-P Эквивалент для –partial –progress . Автор нашел для себя частым использование этой комбинации, поэтому для облегчения ввел отдельный параметр.
–password-file Позволяет Вам предоставить пароль для доступа к rsync-серверу, сохранив его в файле. Заметьте, что этот параметр полезен только при использовании для доступа к rsync-серверу встроенного rsync-транспорта, при использовании программы удаленной оболочки он бесполезен. Файл не должен быть всем доступен на чтение. Он должен содержать только пароль, в одну строчку.
–bwlimit=KBPS Позволяет указать максимальную скорость передачи, килобайт в секунду. Этот параметр наиболее эффективен при использовании rsync для передачи больших файлов (несколько мегабайт и выше). В соответствии с природой rsync-передач передается обычный блок данных, затем если rsync определяет, что скорость выше установленного, то он вводит задержку перед посылкой следующего блока. В результате средняя скорость передачи равна указанному пределу. Нулевое значение означает отсутствие этого ограничения.
–write-batch=PREFIX Генерирует набор файлов, которые могут быть переданы в пакетном обновлении. Каждое имя файла в наборе начинается с PREFIX. См. раздел "ПАКЕТНЫЙ РЕЖИМ" за деталями.
–read-batch=PREFIX Применяет ранее сгенерированный пакет изменений, используя тот набор файлов, чьи имена начинаются с PREFIX. См. раздел "ПАКЕТНЫЙ РЕЖИМ" за деталями.

Опции rsync

-c — обязательное сравнение контрольных сумм образов в начале работы. Если исходный и результирующий файлы имеют одинаковый размер и время последней модификации, но при этом различны, эта опция форсирует их синхронизацию.
-v — подробный вывод информации о происходящем. Можно указывать несколько раз. Позволяет развлечься разглядыванием кучи внутренней информации о пересылки данных в процессе обновления.
–inplace — обновление образа производится без создания временного файла. Полезно при недостатке места, а также в случае нестабильной связи: –inplace позволяет продолжить обновление образа с того места, на котором обновление прекратилось из-за обрыва связи. Использование этой опции слегка снижает эффективность работы алгоритма расчёта разницы между файлами.
-h, –human-readable — показывать размеры переданных/обработанных данных в удобном виде (вместо байт), например 234K или 1,35G
-z, –compress — включить сжатие передаваемых данных.
–progress — показывать индикацию процесса обработки файла.
–partial — не удалять локальный файл перед синхронизацией
-P — тоже что и –partial вместе с –progress
–stats — выводить статистику — показывает сколько было принято/передано, сколько удалось сэкономить и т.п.

ШАБЛОНЫ ИСКЛЮЧЕНИЯ

Шаблоны исключения и включения, будучи заданными, позволяют гибко выделять, какие файлы должны передаваться, а какие должны быть пропущены.

rync строит упорядоченный список на основе параметров –include/–exclude, указанных в командной строке. Rsync проверяет каждое имя файла или каталога относительно соответствия каждому шаблону включения/исключения. В действие вступает первое же совпадение. Если совпавший шаблон исключающий, то соответствующий файл пропускается. Если шаблон включающий, то не пропускается. При отсутствии подходящих шаблонов к имени файла он также не пропускается.

Имена файлов проверяемых по таким шаблонам задаются относительно каталога назначения, "верхнего каталога", так что шаблоны необязательно должны включать элементы исходного или конечного каталогов. Единственный случай, когда шаблоны будут проверяться относительно абсолютных путей к файлам или каталогам, - это случай, когда исходным путем является корневой каталог файловой системы.

Заметьте, что при использовании параметра -r (он подразумевается при -a) каждая отдельная часть каждого пути просматривается сверху вглубь, так что шаблоны включения/исключения применяются рекурсивно к каждой такой части.

Также обратите внимание, что параметры –include и –exclude допускают только по одному шаблону каждый. Для добавления множества шаблонов используйте параметры –include-from и –exclude-from или множество параметров –include и –exclude соответственно.

Шаблоны могут быть заданы в нескольких формах. Правила для них таковы:

Если шаблон начинается с /, то он проверяется на соответствие с началом имени файла, в противном случае - относительно завершающей части имени. Это эквивалент начального ^ в регулярных выражениях. Таким образом, "/foo" должен соответствовать файлу с именем "foo" в вершине передаваемого дерева. С другой стороны, "foo" должен соответствовать любому файлу "foo" везде в пределах дерева каталогов, потому что алгоритм применяется рекурсивно сверху вглубь. Он работает так, как если бы каждая составная часть пути была завершением имени файла. Начальный / не превращает шаблон в абсолютный путь.
Если шаблон заканчивается на /, то он соответствует только каталогу, не файлу, не ссылке и не устройству.
Если шаблон содержит символы подстановки из набора *?[ , то при проверке соответствия используются правила подстановки командной оболочки для имен файлов. В противном случае используется просто соответствие строке.
В соответствии двойной звездочки "* *" входит слэш, в то время как для одиночной звездочки "*" на слэше совпадение заканчивается.
Если шаблон содержит слэш / (не считая завершающего слэша) или "* *" , то такой шаблон проверяется на соответствие полному имени файла, включая любые вышестоящие каталоги. Если шаблон не содержит / или "* *", то такой шаблон проверяется относительно завершающей части имени файла. Еще раз, помните, что алгоритм применяется рекурсивно, так что "полным именем файла" может оказаться в действительности любая часть пути в глубине иерархии от начального каталога.
Если шаблон начинается на "+ " (плюс с последующим пробелом), то это всегда рассматривается как включающий шаблон, даже если указан как часть параметра исключения. Сама часть "+ " не учитывается при проверке на соответствие.
Если шаблон начинается на "- " (минус с последующим пробелом), то это всегда рассматривается как исключающий шаблон, даже если он фигурирует как часть параметра включения. Сама часть "- " не учитывается при проверке на соответствие.
Если шаблоном указан одиночный восклицательный знак ! , то текущий список включения/исключения сбрасывается удалением всех ранее определенных шаблонов.

Правила +/- наиболее полезны в списках, читаемых из файла, позволяя Вам иметь один общий список, который содержит как исключающие, так и включающие шаблоны.

Если Вы завершите исключающий список указанием –exclude '*', то обратите внимание, что из-за рекурсивного характера алгоритм остановится на родительских каталогах и не будет пробовать файлы внутри них за исключением тех случаев, когда Вы явно укажете включать родительские каталоги файлов, которые Вы хотите включить. Для включения всех каталогов используйте –include '*/' до –exclude '*'.

Несколько примеров включения/исключения:

–exclude "*.o" исключить все имена файлов, соответствующие *.o
–exclude "/foo" исключить файл с именем foo в верхнем каталоге
–exclude "foo/" исключить любой каталог с именем foo
–exclude "/foo/*/bar" исключить любой файл с именем bar в двух уровнях вглубь по иерархии от каталога "foo" в вершине дерева
–exclude "/foo/**/bar" исключить любой файл с именем bar в двух и более уровнях вглубь по иерархии от верхнего каталога "foo"
–include "*/" –include "*.c" –exclude "*" включить только каталоги и файлы с Си-исходниками
–include "foo/" –include "foo/bar.c" –exclude "*" включит только foo/bar.c (каталог foo/ нужно включать явно, иначе он будет пропущен из-за "*")

ПАКЕТНЫЙ РЕЖИМ

Заметьте: Пакетный режим должен рассматриваться как экспериментальный в этой версии rsync. Интерфейс и дизайн могут измениться, прежде чем его реализация стабилизируется.

Пакетный режим может использоваться для выполнения обновлений нескольких идентичных систем. Предположим, что имеется дерево каталогов, которое нужно реплицировать на некоторое количество машин. Теперь предположим, что в это исходное дерево внесены изменения, которые нужно распространить на те машины. В порядке реализации этого в пакетном режиме rsync запускается с параметром –write-batch для копирования изменений исходного дерева на одну из конечных машин. Этот параметр заставляет rsync сохранить в набор файлов пакетного обновления (см. ниже) информацию, необходимую для повторения той же операции копирования относительно и других машин. Имя каждого файла в наборе начинается с префикса, указанного пользователем в аргументе для параметра –write-batch. Затем этот набор файлов копируется на каждую из оставшихся удаленных машин, где запускается rsync с параметром –read-batch, тем же префиксом и конечным деревом назначения. Rsync обновляет последнее, используя информацию, сохраненную в наборе файлов пакетного обновления.

Набор состоит из 4 файлов:

<prefix>.rsync_argvs параметры и аргументы командной строки
<prefix>.rsync_flist внутренние метаданные rsync'а о перемещаемых файлах
<prefix>.rsync_csums контрольные суммы
<prefix>.rsync_delta блоки данных для обновления и изменения файлов

Файл .rsync_argvs содержит необходимые команды оболочки, подходящие для обновления конечного дерева каталогов, используя набор файлов пакетного обновления. Это можно использовать при запуске из Bourne-подобной оболочки, дополнительно передавая параметр альтернативного пути который затем используется вместо оригинального. Последнее полезно, если конечный путь отличается от оригинального конечного пути.

Генерация набора файлов пакетного обновления позволяет избежать многократного повторения создания информации о состоянии файлов, контрольных суммах и блоках данных при обновлении многих конечных деревьев каталогов. Многоадресные транспортные протоколы могут быть использованы для передачи файлов пакетного обновления параллельно на несколько машин за раз вместо посылки их на каждую индивидуально.

Примеры:

$ rsync --write-batch=pfx -a /source/dir/ /adest/dir/
$ rcp pfx.rsync_* remote:
$ ssh remote rsync --read-batch=pfx -a /bdest/dir/
# или альтернативно
$ ssh remote ./pfx.rsync_argvs /bdest/dir/

В этом примере rsync используется для обновления /adest/dir/ из /source/dir/ , и информация для повторения этой операции сохраняется в файлах pfx.rsync_* . Эти файлы затем копируются на машину с именем "remote" . После этого rsync запускается на "remote" для обновления /bdest/dir/ тем же способом, что и /adest/dir/ . Последняя строка демонстрирует как можно использовать rsync_argvs для запуска rsync.

Предостережения:

Параметр –read-batch требует аргументом конечное дерево назначения, что значит обновлять идентично тому дереву назначения, которое было использовано для создания набора файлов обновления. Если выясняется различие между конечными деревьями, то обновление немедленно прекращается, оставляя дерево назначения в частично обновленном состоянии. В таком случае rsync может быть использован в своем обычном режиме (не пакетном) для исправления дерева назначения.

Версия rsync должна быть везде одинаковой относительно той версии, которая использовалась для создания оригинала.

Параметр -z/–compress не работает в пакетном режиме и выдает ошибку использования. Вместо этого могут быть использованы сторонние средства сжатия для уменьшения размера файлов пакетного обновления при транспортировке к цели.

Параметр -n/–dryrun не работает в пакетном режиме и выдает ошибку выполнения.

См. http://www.ils.unc.edu/i2dsi/unc_rsync+.html на предмет документации и технических описаний.

СИМВОЛИЧЕСКИЕ ССЫЛКИ

Три основных сценария поведения возможны при обнаружении символических ссылок в исходном каталоге.

По умолчанию символические ссылки не передаются совсем. Для любой существующей ссылки в этом случае выдается сообщение "skipping non-regular" ("пропуск нерегулярного").

Если указан параметр –links, то символические ссылки на тот же объект в конечном месте заново пересоздаются. Заметьте, что –archive подразумевает –links.
Если указан параметр –copy-links, то символическая ссылка "раскрывается" копированием того объекта, на который она указывает, вместо создания ссылки.

rsync также различает безопасные и небезопасные символические ссылки. Примером того, где это может быть использовано, может послужить такое зеркалирование web-сайта, при котором желательно быть уверенным, что в зеркальной копии нет символических ссылок на /etc/passwd в доступной всем пользователям части сайта. При использовании –copy-unsafe-links любые ссылки копируются в конечное место в виде файла, на который они указывают. Параметр –safe-links указывает полностью пропускать небезопасные ссылки.

Символические ссылки считаются небезопасными, если они указывают на абсолютный путь (начинающийся с /), если они пустые или если они содержат достаточное количество "..", чтобы выйти за пределы каталога копирования.

ДИАГНОСТИКА

rsync порой производит сообщения об ошибках, которые могут показаться немного загадочными. Одним из таких сообщений является "protocol version mismatch - is your shell clean?" ("несоответствие версий - ваша оболочка в порядке?").

Это сообщение обычно является следствием того, что Ваши запускающие скрипты или возможности удаленной оболочки производят лишний мусор в потоке, который rsync использует в качестве транспорта. Способ диагностирования этой проблемы следующий:

ssh remotehost /bin/true > out.dat

и посмотреть в out.dat . Если все работает корректно, то этот файл должен быть нулевого размера. Если Вы получаете вышеупомянутое сообщение от rsync, то Вы, возможно, найдете какие-то текст или данные в файле out.dat . Взгляните на его содержимое и по нему проверьте то, что может его производить. Наиболее общая причина - это неправильно настроенные скрипты запуска (такие как .cshrc или .profile), которые содержат выражения, выдающие сообщения при не интерактивном входе в систему.

Если Вы имеете трудности с отладкой шаблонов включения и(или) исключения, то попробуйте указать параметр -vv. При таком уровне подробностей rsync будет показывать, почему включен или исключен каждый отдельный файл.

КОДЫ ЗАВЕРШЕНИЯ

0 Успешно
1 Синтаксическая ошибка или ошибка использования
2 Несовместимость протоколов
3 Ошибки выбора входных/выходных файлов и каталогов
4 Запрошенное действие не поддерживается: была сделана попытка работы с 64-битными файлами на платформе, которая их не поддерживает; или указан параметр, который поддерживается только клиентом и не поддерживается сервером.
5 Ошибка при попытке начать работать по протоколу клиент-сервер
10 Ошибка сокета ввода/вывода
11 Ошибка ввода/вывода файла
12 Ошибка в потоке данных rsync-протокола
13 Ошибки при диагностике
14 Ошибка в IPC-коде
20 Получены сигналы или SIGUSR1, или SIGINT
21 Вызов waitpid() возвращает ошибку
22 Error allocating core memory buffers
23 Незавершенная передача из-за ошибки
24 Незавершенная передача из-за пропадания исходного файла
30 Время ожидания при передаче/приеме данных

ПЕРЕМЕННЫЕ ОКРУЖЕНИЯ

CVSIGNORE Переменная окружения CVSIGNORE дополняет исключающие шаблоны из файла .cvsignore. За деталями см. параметр –cvs-exclude.
RSYNC_RSH Переменная окружения RSYNC_RSH позволяет переопределить программу удаленной оболочки, используемую rsync'ом как транспорт. Параметры командной строки для оболочки указываются после имени программы, также как и для параметра -e.
RSYNC_PROXY Переменная окружения RSYNC_PROXY позволяет указать rsync-клиенту использовать web-прокси для подключения к rsync-серверу. Вы должны указать прокси в виде пары hostname:port .
RSYNC_PASSWORD Установка значения RSYNC_PASSWORD позволяет осуществить rsync-соединение к rsync-серверу без вмешательства пользователя для ввода пароля. Заметьте, что это не тоже самое, что и пароль для транспортной оболочки, например, ssh.
USER или LOGNAME Переменные окружения USER или LOGNAME используются для определения пользователя по умолчанию, имя которого предоставляется rsync-серверу для аутентификации.
HOME Переменная HOME используется для поиска пользовательского файла .cvsignore.

ФАЙЛЫ

/etc/rsyncd.conf или rsyncd.conf

СМ. ТАКЖЕ

rsyncd.conf(5)

ДИАГНОСТИКА

ОШИБКИ

Информация о времени передается как unix-структура time_t .

При передаче на файловую систему FAT rsync может скопировать не измененные файлы. См. комментарий к параметру –modify-window.

Права на файлы, устройства и т.п. передаются как изначальные числовые значения.

См. также комментарии к параметру –delete.

Пожалуйста, сообщайте об ошибках! См. web-сайт http://rsync.samba.org/

CREDITS

rsync распространяется на условиях GPL. См. файл COPYING на предмет деталей.

Web-сайт доступен по адресу http://rsync.samba.org/. Сайт содержит в том числе FAQ-O-Matic, который отвечает на многие незатронутые в этом руководстве вопросы.

Первичный ftp-сервер для rsync ftp://rsync.samba.org/pub/rsync.

Нам было бы приятно услышать от Вас, что Вам понравилась наша программа.

Эта программа использует превосходную библиотеку сжатия zlib, написанную Jean-loup Gailly и Mark Adler.

БЛАГОДАРНОСТИ

Благодарим Richard Brent, Brendan Mackay, Bill Waite, Stephen Rothwell и David Bell за полезные предложения, патчи и тестирование rsync. Если мы пропустили некоторых людей, то пусть примут наши извинения.

Специальные благодарности: David Dykstra, Jos Backus, Sebastian Krahmer.

АВТОР

rsync была написана Andrew Tridgell tridge@samba.org and Paul Mackerras.

Сейчас rsync сопровождается Martin Pool mbp@samba.org.

Списки рассылок для поддержки и разработки доступны по адресу http://lists.samba.org

Если Вы подозреваете, что нашли уязвимость в rsync, пожалуйста, известите Martin Pool и Andrew Tridgell. Для других вопросов пользуйтесь списком рассылки.

ПЕРЕВОД

Sergey Golovin svgol@mail.ru

Aleksandr Blokhin sass@altlinux.ru

Anonymous (anonymous@undisclosed.example.com) — 2015-09-30T12:55:11+00:00

ssh, rsync, backup, script

#!/bin/sh
# simple rsync backup script written by farmal.in 2011-01-21
#
# latest backup is always in $SDIR/domains/$domain/latest folder
# all backups which are older than 7 days would be deleted
# backup.ini file can't contain comments, empty lines and spaces in domain names
#
# example of a GOOD backup.ini:
# mydomain.com user@mydomain.com:/path/to/public_html
#
 
SDIR="/usr/local/backup"
SKEY="$SDIR/.ssh/id_rsa"
SLOG="$SDIR/backup.log"
PID_FILE="$SDIR/backup.pid"
ADMIN_EMAIL="email@domain.com"
 
 
if [ -e $PID_FILE ]; then
        echo "this task is already running or previous run was completed with errors on `hostname`" | mail -s "Some mess with backups on `hostname`..." $ADMIN_EMAIL
        exit
fi
 
touch $PID_FILE
 
# redirecting all output to logfile
exec >> $SLOG 2>&1
 
# parsing backup.ini file into $domain and $from variables
cat backup.ini | while read domain from ; do
    destination="$SDIR/domains/$domain"
    # downloading a fresh copy in 'latest' directory
    echo -e "`date` *** $domain backup started">>$SLOG
 
    # start counting rsync worktime
    start=$(date +%s)
    rsync --archive --one-file-system --delete -e "ssh -i $SKEY" "$from" "$destination/latest" || (echo -e "Error when rsyncing $domain. \n\n For more information see $SLOG:\n\n `tail $SLOG`" | mail -s "rsync error" $ADMIN_EMAIL & continue)
    finish=$(date +%s)
    echo -e "`date` *** RSYNC worked for $((finish - start)) seconds">>$SLOG
 
    # cloning the fresh copy by hardlinking
    cp --archive --link "$destination/latest" "$destination/`date +%F`"
    # deleting all previous copies which are older than 7 days by creation date, but not 'latest'
    find "$destination" -maxdepth 1 -ctime +7 -type d -path "$destination/????-??-??" -exec rm -r -f {} \;
    echo "`date` *** The size of $domain/latest is now `du -sh $destination/latest | awk '{print $1}'` ">>$SLOG
    echo -e "`date` *** $domain backup ended">>$SLOG
    echo -e "`date` *** Total allocated `du -sh $destination | awk '{print $1}'`">>$SLOG
    echo -e "------------------------------------------------------------------">>$SLOG
done
 
rm $PID_FILE

Anonymous (anonymous@undisclosed.example.com) — 2015-09-30T12:58:46+00:00

ssh, rsync, backup, script

#!/bin/bash
#
# bontmia (Backup Over Network To Multiple Incremental Archives)
#
# This was written to get the functionality of glastree (Jeremy Wohl)
# available to use towards remote hosts and having a selective long
# term storage.
#
# Written by John Enok Vollestad in April 2003 and have later
# undergone some bugfixes and enhancements.

print_usage()
{
    cat <<EOF | ${PAGER:-more}

NAME
        Bontmia - Backup Over Network To Multiple Incremental Archives
        Version 0.14

SYNOPSIS
        bontmia --dest <dest. dir> [options] [source dir [source dir ...]]

DESCRIPTION
        Bontmia is a network-based backup tool that saves configurable
        numbers of last month, week, day, hour, and minute backups.
        Each backup is a complete snapshot of the original
        directories.  Only new and changed files are copied over the
        network when generating a snapshot.  Remote access is
        implemented securely using ssh.  Unchanged files are stored as
        hard links in the archive and therefore takes virtually no
        space.

        The backups is stored in a directory structure in the format
        YYYY/MM/DD/HH:MM.  Each directory contains a snapshot of the
        backed up directories.  This is stored incrementally by
        letting every file not changed between backups be a hard link
        to the same file in the previous backup.  The actual copying
        is done with rsync.  To avoid typing inn a password you do as
        usual with ssh by generating a public key on the host where
        the backup is stored, read the manual page for ssh, and adding
        this to the list of authorized hosts on the remote computer,
        read the manual page for sshd.

        Which backup to store for how long is configurable, see below.

        The return value is 0 on success and 1 if backing up one of
        the sources failed.

        The destination can not be remote.  If you want to place the
        backup on a remote server, then run Bontmia as a command with
        ssh like "ssh user@host.domain bontmia <options>".

        Use at your own risk.

ARGUMENTS
        --dest <dir> 
                Sets the destination directories where the backups is
                placed.  WARNING! existing files in this directory
                will be DELETED!


OPTIONS
        --rotation <spec>

                Specifies the number of backups in each category to
                save.  The 'spec' is of the form

          [0-9]*minutes[0-9]*hours[0-9]*days[0-9]*weeks[0-9]*month[0-9]*years

                so 0minutes0hours7days4weeks12month2years is an
                example for daily backup.  Bontmia should be run in
                cron or manually the numbers given here only specifies
                how many backups to save.

                The different categories (minutes, hours ...) is just
                overlapping filters.  More than one filter might save
                a backup and a backup is removed when no filter saves
                the backup any more.

                The number of days given here will apply like this:

                If the number of days to save is 3 then the last
                backup within each of the last 3 days when backup were
                done willl be saved.  This means that if you do backup
                like this:

                day:    0 1 2 3 4 5
                backup: y - y - y y

                Where y means a backup were done and - means it were
                not then after the backup done on day 5 is done, then
                the backups on day 2, 4 and 5 is saved when the last 3
                day backups is saved.  Use the dryrun option below to
                experiment and learn more about this option.

        --dryrun
                When this option is used, the backup is not performed,
                but the backups to be removed is listed.  This is
                handy when you want to ensure that you do not remove
                all the precious backups when used in combination with
                the rotation option.

        --bwlimit <number>
                Specifies a maximum transfer rate in kilobytes per
                second. This option is most effective with large files
                (several megabytes and up). Due to the nature of rsync
                transfers, blocks of data are sent, then if rsync
                determines the transfer was too fast, it will wait
                before sending the next data block. The result is an
                average transfer rate equalling the specified limit. A
                value of zero specifies no limit.  The default is no
                limit.

        --temp <temp dir>
                Specifies the directory used for temporary files during
                transfer.  NB! This MUST be on the same disk volume as
                destination or incremental copy will not work.

        --port <number>
                Specifies the port number to connect to on the remote
                host when using ssh, which is the only option.


EXAMPLES
        bontmia --dest ./backup  --rotation \\
                5minutes0hours0days0weeks0month0years \\
                foo@bar:/baz/zoot

        Here there is made a copy of foo@bar:/baz/zoot in the
        directory backup on the local host.  If this command is run
        every minute, there is store one backup for every minute for
        the last 5 minutes.  If it is run once every day.  There is
        still stored the last 5 backups done at unique minutes so the
        last 5 backups is stored which means 5 last days.

        Hint: set the values for times shorter than the interval used
              when doing backup to 0.

        bontmia --dest ./backup  --rotation \\
                0minutes0hours7days4weeks12month0years \\
                foo@bar:/baz/zoot

        Here there will at the most be stored 7 + 4 + 12 backups
        (minus overlap between the backups).  This can be a good
        command to run nightly.


        bontmia --dest ./backup  --rotation \\
                0minutes24hours7days4weeks12month0years \\
                foo@bar:/baz/zoot

        This is for running every hour.  Remember that only the
        changes is transferred and running more often not necessarily
        will mean copying more data over the network.


        bontmia --dryrun --dest ./backup  --rotation \\
                0minutes24hours7days4weeks12month0years \\
                /home/bar/baz foo.no:/var/db

        With the dryrun option it show what would happen if the backup
        were run.  No action on the file system done.


        When bontmia runs it sends output to standard output.  If you
        do not want this you can redirect it to /dev/null.

CONTACT
        Bontmia was written in april 2003 by John Enok Vollestad
        <john.enok@vollestad.no> to merge the functionality of
        glastree and rsync in one application with a more flexible
        selection of long term storage.  It has later undergone some
        bugfixes and enhancements. http://folk.uio.no/johnen/bontmia/

EOF
    exit 1
}


unlock_destination()
{
    rm -f "${tmpdir}/is_running.lock"
}


lock_destination()
{
    # Ensure that there is no other bontmia running against the same destination
    touch /tmp/bontmia_lock_file.$$
    echo "no" | mv -i /tmp/bontmia_lock_file.$$ "${tmpdir}"/is_running.lock 2>&1 | \
  grep "overwrite" >/dev/null 2>&1 && {
	echo "Bontmia is already doing a backup on this tmpdir:"
	echo "    ${tmpdir}"
	echo
	echo "    If you are sure this is false you can manually remove the lockfile:"
	echo "        ${tmpdir}/is_running.lock"
	echo
	exit 1
    }
}


full_name() {
    host="${1}";
    if host ${host} | grep "domain name pointer" >/dev/null; then
	host ${host} | cut -f5 -d' ' | sed -e 's/\.$//';
    else
	if host ${host} | grep "has address" >/dev/null; then
	    full_name $(host ${host} | grep "has address" | cut -f4 -d' ');
	fi;
    fi;
}


filter_template()
{
    attribute="${1}"
    grep_value="${2}"
    last_number="${3}"
    sort_options="${4}"
    template_name="${5}"

    if test "x${sort_options}" != x; then
	sort="sort ${sort_options}"
    else
	sort="cat"
    fi

    (
	cd "${backup_destination}"
	for archive in */*/*/*; do
	    year=$(echo ${archive} | cut -f1 -d'/')
	    month=$(echo ${archive} | cut -f2 -d'/')
	    day=$(echo ${archive} | cut -f3 -d'/')
	    the_clock=$(echo ${archive} | cut -f4 -d'/')
	    
	    the_date=${year}-${month}-${day}
	    date -d "${the_date}" "+%Y/%m/%d/${the_clock}@${template_name}@${attribute}" || {
		echo "Could not read the time of a previous backup"
		echo "Please email the author"
		unlock_destination
		exit 1
	    }
	done | egrep "@.*@${grep_value}" | sort -r | ${sort} | tail -${last_number}
    )
}


handle_last_unfinished()
{
    if test -e ${tmpdir}/unfinished_backup/*; then
	echo
	echo "WARNING: Last backup did not complete"
	echo "  This unfinished backup is now removed"
	echo
	chmod -R u+w "${tmpdir}/unfinished_backup"
	rm -rf "${tmpdir}/unfinished_backup"
    fi
}


make_hard-link_copy_of_last_backup()
{
    last_backup=$(find ${backup_destination} -maxdepth 4 -mindepth 4 | sort | tail -1)
    if test x${last_backup} != x ; then
	echo "Making a hard-link replication of the last backup"
	echo "  (${last_backup})"
	if test "x${dryrun}" == "xno"; then
	    mkdir -p "${tmpdir}/unfinished_backup/${this_backup}" || {
		unlock_destination
		exit 1
	    }
	    cp -lR "${last_backup}/"* "${tmpdir}/unfinished_backup/${this_backup}" >/dev/null 2>&1 || {
		echo "    WARNING: The last backup had NO files!"
		echo "             Or tmpdir is not on the same volume as destination"
	    }
	fi
	first="no"
    else
	echo "No previous backup detected, will start with an empty replication"
	if test "x${dryrun}" == "xno"; then
	    mkdir -p "${tmpdir}/unfinished_backup/$this_backup" || {
		unlock_destination
		exit 1
	    }
	fi
	first="yes"
    fi
}


moving_complete_backup_into_archive()
{
    echo
    echo "Moving the complete backup into the backup archive"
    echo "  ($tmpdir/unfinished_backup -> $backup_destination/)"
    
    if test "x$dryrun" == "xno"; then
	mkdir -p "$backup_destination/$this_backup" || {
	    unlock_destination
	    exit 1
	}
	mv "$tmpdir/unfinished_backup/$this_backup/"* "$backup_destination/$this_backup/" || {
	    unlock_destination
	    exit 1
	}
    fi
}


do_the_backup_exist()
{
    if test -e "$backup_destination/$1"; then
	echo "The backup destination already exist"
	echo "This means that there is less than a minute since the last backup"
	unlock_destination
	exit 1
    fi
}


make_backup()
{
    this_backup=$(date +%Y)/$(date +%m)/$(date +%d)/$(date +%H\:%M)

    do_the_backup_exist "$this_backup"

    handle_last_unfinished
    make_hard-link_copy_of_last_backup

    # Apply changes to the hard-link copy
    echo
    if test "x$first" == "xyes"; then
	echo "Backing up"
    else
	echo "Backing up by modifying the replication"
    fi

    for dir in ${backup_dirs} ; do
	dir_wo_user=$(echo "$dir" | cut -f2- -d'@')
	echo "  ${dir_wo_user}"
	hostname=$(echo "$dir" | cut -f2- -d'@' | cut -f1 -d':')":"
	userhost=$(echo "$dir" | cut -f1 -d':')

	if test "x$hostname" == "x$(hostname):"; then
	    # remove hostname from dir to speed up local backup
	    dir=$(echo "$dir" | cut -f2 -d':')
	fi

	if test "x$dryrun" == "xno"; then
	    mkdir -p "$tmpdir/unfinished_backup/$this_backup/$hostname"

	    rsync ${rsync_options} -e "ssh -p $port" "${dir}" "${tmpdir}/unfinished_backup/$this_backup/${hostname}" 2>&1 >/tmp/bontmia_rsync_output.$$ || {
		echo
		echo "  Caught an error doing rsync (return code $?)"
		echo "  The last 10 lines of output from rsync:"
		tail -10 /tmp/bontmia_rsync_output.$$
		echo
		echo "  Retrying rsync..."
		rsync ${rsync_options} -e "ssh -p $port" "${dir}" "${tmpdir}/unfinished_backup/$this_backup/${hostname}" 2>&1 >/tmp/bontmia_rsync_output.$$ || {
		    echo
		    echo "  Still no luck.  Rsync failed with returncode $?"
		    echo "  $dir"
		    echo "  Please check that there is room for all the data"
		    echo "  The last 10 lines of output from rsync:"
		    tail -10 /tmp/bontmia_rsync_output.$$.2
		    echo
		    echo
		    echo "  Continuing with the next backup source"
		    echo
		    exit_status="1"
		}
	    }
	fi
    done
    
    delete_outside_sync "${tmpdir}/unfinished_backup/$this_backup/"
    
    moving_complete_backup_into_archive

    if test "x$dryrun" == "xno"; then
	chmod -R u+w ${tmpdir}/unfinished_backup
	rm -rf "$tmpdir/unfinished_backup"
    fi
}


delete_old_backup()
{
    echo
    echo "Calculates which backups to save"
    echo "($filter_minutes minutes, $filter_hours hours, $filter_days days, $filter_weeks weeks, $filter_monthly months, $filter_years years)"

    # by saving the x last, the backups will not be deleted even if no
    # new backups is created

#    archives_to_save=$( (

    archives_with_filter=$(
	    if ! test "0$filter_minutes" -ge 0 2>/dev/null; then
		print_usage
	    else
		filter_template "" "" "$filter_minutes" "-u" "minutes"
	    fi

	    if ! test "0$filter_hours" -ge 0 2>/dev/null; then
		print_usage
	    else
		filter_template "" "" "$filter_hours" "-u -k 1,1 -t :" "hours"
	    fi

	    if ! test "0$filter_days" -ge 0 2>/dev/null; then
		print_usage
	    else
		filter_template "" "" "$filter_days" "-u -k 1,3 -t /" "days"
	    fi

	    if ! test "0$filter_weeks" -ge 0 2>/dev/null; then
		print_usage
	    else
		filter_template "%Y-%V" "" "$filter_weeks" "-u -k 3 -t @" "weeks"
	    fi

	    if ! test "0$filter_monthly" -ge 0 2>/dev/null; then
		print_usage
	    else
		filter_template "%B" "" "$filter_monthly" "-u -k 1,2 -t /" "month"
	    fi

	    if ! test "0$filter_years" -ge 0 2>/dev/null; then
		print_usage
	    else
		filter_template "%Y" "" "$filter_years" "-u -k 1,1 -t /" "years"
	    fi
    )
    
    archives_to_save=$(echo "$archives_with_filter" | cut -f1 -d'@' | sort -u)

    (
	cd ${backup_destination}
	for archive in */*/*/*; do
	    if ! echo "${archives_to_save}" | grep "^${archive}$" >/dev/null; then
		echo "  Removing ${backup_destination}/$archive"
		if test "x$dryrun" == "xno"; then
		    chmod -R u+w ${archive}
		    rm -rf ${archive}
		    rmdir -p $(echo ${archive} | cut -f1-3 -d'/') 2>/dev/null
		fi
	    else
		echo -n "  Saving ${backup_destination}/$archive by filters:  "
		filters=$(echo "$archives_with_filter" | grep "${archive}" | cut -f2 -d'@')
		echo $filters
	    fi
	done
    )
}


delete_outside_sync()
{
    # Since we do a copy from last sync with cp -l, we have to
    # remove the extras here

    echo
    echo "Deletes files that should not be in the latest snapshot"
    if test "x$dryrun" == "xno"; then
	(
	    cd $1
	    IFS='
'
	    for f in $(find -mindepth 1 -depth | egrep -v "$bdirmatch"); do
		if test -e "$f" ||
		    test -h "$f"; then
		    rmdir "$f" 2>/dev/null
		    rm -f "$f" 2>/dev/null
		fi
	    done
	    unset IFS
	)
    fi
}


knead_source_path()
{
    source="$1"

    # remove trailing '/'
    if echo "$source" | grep "/$" >/dev/null; then
	source=$(echo "$source" | sed -e 's/\/$//')
    fi
    
    # make the path absolute
    if ! echo "$source" | grep ":" >/dev/null &&
	! echo "$source" | grep "^/" >/dev/null; then
	if echo "$source" | grep "^./" >/dev/null; then
	    source=$(echo "$source" | sed -e 's/^\.\///')
	fi
	source="$current_dir/$source"
    fi

    echo "$source"
}


knead_dest_path()
{
    dest="$1"

    if echo "$dest" | grep ":" >/dev/null; then
	# The destination can not be remote
	print_usage
    fi

    # remove trailing '/'
    if echo "$dest" | grep "/$" >/dev/null; then
	dest=$(echo "$dest" | sed -e 's/\/$//')
    fi

    # make the path absolute
    if ! echo "$dest" | grep "^/" >/dev/null; then
	if echo "$dest" | grep "^./" >/dev/null; then
	    dest=$(echo "$dest" | sed -e 's/^\.\///')
	fi
	dest="$current_dir/$dest"
    fi

    echo "$dest"
}


check_program()
{
    program="$1"
    type -a "$program" >/dev/null 2>&1 } || {
	echo "You need $program installed and in the path"
	echo "Aborting"
	unlock_destination
	exit 1
    }
}


check_for_programs()
{
    check_program rsync
    check_program host
    check_program date
    find /tmp -maxdepth 1 -mindepth 1 >/dev/null 2>/dev/null || {
	echo "'find' on your system does not support the '--maxdepth' and"
	echo "'--mindepth' options"
	echo "You might not have the GNU version of 'find'"
	echo "Aborting"
	unlock_destination
	exit 1
    }
    date -d 20030303 >/dev/null 2>/dev/null || {
	echo "'date' on your system does not support the '--date' option"
	echo "You might not have the GNU version of 'date'"
	echo "Aborting"
	unlock_destination
	exit 1
    }
    check_program cp
    touch /tmp/bontmia_test_cp_file.$$ || {
	echo "Could not create a temporary file on /tmp"
	echo "Please make sure that /tmp is writable"
	echo "Aborting"
	unlock_destination
	exit 1
    }
    cp -l /tmp/bontmia_test_cp_file.$$ /tmp/bontmia_test_cp_file.$$.2 >/dev/null 2>&1 || {
	echo "cp on your system does not support the -l option"
	echo "You might not have the GNU version of 'cp'"
	echo "Aborting"
	unlock_destination
	exit 1
    }
    rm -f /tmp/bontmia_test_cp_file.$$ /tmp/bontmia_test_cp_file.$$.2
}


#################################################################


if test "x$*" == x; then
    print_usage
fi

current_dir=$(pwd)

filter_minutes="3"
filter_hours="24"
filter_days="7"
filter_weeks="4"
filter_monthly="12"
filter_years="0"
bwlimit=""
backup_dirs=""
exit_status="0"
do_del_old="no"
port="22"
compression=""
rotation=""
dryrun="no"

while test "x$*" != x; do
    case "$1" in 
	( "--dryrun" )
	    shift
	    dryrun="yes";;
	( "--rotation" )
	    shift
	    rotation=$(echo "$1" | perl -e '$_=<STDIN>; m/^([0-9]*)minutes([0-9]*)hours([0-9]*)days([0-9]*)weeks([0-9]*)month([0-9]*)years$/ || exit 1;                   
print "minutes:$1\n";
print "hours:$2\n";
print "days:$3\n";
print "weeks:$4\n";
print "month:$5\n";
print "years:$6\n";
') || {
		echo "the option to rotation were not right!"
		print_usage
}
	    filter_minutes=$(echo "$rotation" | grep minutes | cut -f2 -d':')
	    filter_hours=$(echo "$rotation" | grep hours | cut -f2 -d':')
	    filter_days=$(echo "$rotation" | grep days | cut -f2 -d':')
	    filter_weeks=$(echo "$rotation" | grep weeks | cut -f2 -d':')
	    filter_monthly=$(echo "$rotation" | grep month | cut -f2 -d':')
	    filter_years=$(echo "$rotation" | grep years | cut -f2 -d':')
	    do_del_old="yes";
	    shift;;
	( "--port" )
	    shift
	    port="$1"
	    shift;;
	( "--bwlimit" )
	    shift
	    bwlimit="--bwlimit=$1"
	    shift;;
	( "--temp" )
	    shift
	    tmpdir="$1"
	    shift;;
	( "--compression" )
	    compression="-z"
	    shift;;
	( "--dest" )
	    shift;
	    backup_destination="$(knead_dest_path "$1")";
	    if ! test -d "$1"; then
		echo "Destination dir $backup_destination does not exist or is not a directory"
		exit 1
	    fi
	    shift;;
	( [^-]* ) # The rest is sources
	    if test "x$1" == "x"; then
		echo "Missing source directories"
		exit 1
	    fi
	    backup_dirs=""
	    while test "x$*" != x; do
		dir="$1"
		if ! echo "$dir" | grep ":" >/dev/null; then
		    remotehost="$(hostname)"
		    dir="$remotehost:$(knead_source_path "$dir")"
		else
		    backuppath="$(echo "$dir" | cut -f2- -d':')"
		    if echo "$dir" | grep "@" >/dev/null; then
			remotehost=$(echo "$dir" | cut -f1 -d':' | cut -f2 -d'@')
			remoteuser=$(echo "$dir" | cut -f1 -d':' | cut -f1 -d'@')
		    else
			remotehost=$(echo "$dir" | cut -f1 -d':')
			remoteuser="$(whoami)"
		    fi

		    #remotehost=$(full_name $remotehost)

		    if echo "$dir" | cut -f2- -d':' | grep "^/" >/dev/null; then
			abolutepart=""
		    else
			absolutepart=$(ssh $remotehost pwd)"/"
		    fi
	
		    dir="$remoteuser@$remotehost:$absolutepart$backuppath"
		fi
		backup_dirs="$backup_dirs $(knead_source_path "$dir")"
		shift
	    done;;
	( * )
	    print_usage
	    exit 1;;
    esac
done

check_for_programs

tmpdir=${tmpdir:-"$backup_destination"}
rsync_options="-azv -T $tmpdir --force --relative --hard-links --delete $bwlimit" # --stats"

# to speed up checking for files outside the backup areas
bdirmatch=$(
    first="yes"
    echo -n "^("
    for d in $backup_dirs; do
	dir="$d"
	if test "$first" == "yes"; then
	    if echo "$dir" | grep ":" >/dev/null; then
		dir_wo_user=$(echo "$dir" | cut -f2- -d'@')
		echo -n "./$dir_wo_user/"
	    else
		echo -n ".$dir/"
	    fi
	    first="no"
	else
	    if echo "$dir" | grep ":" >/dev/null; then
		dir_wo_user=$(echo "$dir" | cut -f2- -d'@')
		echo -n "|./$dir_wo_user/"
	    else
		echo -n "|.$dir/"
	    fi
	fi
    done
    echo -n ")"
)

echo "bdirmatch: $bdirmatch"

lock_destination

if test "x$backup_dirs" != x; then
    make_backup
fi

if test "x$do_del_old" == xyes; then
    delete_old_backup
fi

unlock_destination
exit $exit_status

Использование Rsync как сервер

Anonymous (anonymous@undisclosed.example.com) — 2015-09-30T12:59:16+00:00

backup, sync, shell, ssh, server, rsync

Использование Rsync как сервер

Реализация Rsync-сервера построена следующим образом. Есть отдельный сервер куда будут складываться все бэкапы. С этого сервера запускается по крону команда rsync с параметрами, которая реализует коннект к удаленным машинам в сети. На всех машинах работает Rsync-служба, в конфиге которой прописано какие именно каталоги нужно синхронизировать.

Настройка Rsync - службы, на удаленных серверах

Правим конфиг Rsync-сервера. Где искать в разных дистрибутивах:

FreeBSD
/usr/local/etc/rsyncd.conf

Gentoo
/etc/rsyncd.conf

HP-UX 11.xx
/etc/rsyncd.conf

rsyncd.conf:

#если запускать через inetd то pid file не используем
pid file = /var/run/rsyncd.pid

# Файл приветствия (Можно описать информацию о самом сервере, полезно когда серверов будет много)
motd file = /etc/hello_rsync

# Файл логов
log file = /var/log/rsyncd.log

# Писать в лог о скачиваемых файлах
transfer logging = true

# Описание секции для синхронизации /etc/
[etc]
        path = /etc/                                 # Путь к директории
        uid = root                                   # Пользователь под каким запускать крипт
        gid = sys                                    # По умолчанию будет gid = nobody, что недаст    #работать
        read only = yes                              # Только чтение (а больше и не нужно)
        list = yes                                   # Разрешать просмотр файлов
        comment = ETC - derectory                    # Комментарий
        hosts allow = 192.168.0.6,192.168.0.52       # Хосты с которых разрешен коннект
        auth users = backup                          # Разрешенный пользователи службы rsync 
        secrets file = /root/rsyncd.scrt             # Файл с паролем
#если не указывать auth users то можно будет работать анонимно и не заморачиваться secrets file'ами

Теперь создадим файл приветствия, файлы для логов и пароля.

pdc# vim /etc/hello_rsync

#################################################################
#                                                               #
#         Hello from rsync server  (pdc.myhost.com)             #
#         Server Adress : 192.168.1.254                         #
#         Server        : AMD Computer Corp                     #
#         Hardware      : 1x AMD(R)2X CPU, 2180MB RAM           #
#         Contact Name  : admin@myhost.com                      #
#                                                               #
#################################################################


pdc# touch /var/log/rsyncd.log
pdc# chmod 0600 /var/log/rsyncd.log
pdc# chown root:wheel /var/log/rsyncd.log
pdc# cat > /root/rsyncd.scrt
backup:rsync_passwd
pdc# chown root:wheel /root/rsyncd.scrt
pdc# chmod 0600 /root/rsyncd.scrt

Внимание! ВАЖНО. Очень важны права доступа к файлу с паролем. Если права будут отличными от тех что нужно, у вас не будет проходить аутентификация.

Теперь добавим службу rsync в автоматический запуск:

FreeBSD
mv /usr/local/etc/rc.d/rsyncd /usr/local/etc/rc.d/rsyncd.sh
echo rsyncd_enable=\"YES\" >> /etc/rc.conf
/usr/local/etc/rc.d/rsyncd.sh start

Gentoo
rc-update add rsyncd default
/etc/init.d/rsyncd start

Для запуска через inetd например в HP-UX

добавляем строку в /etc/services:
rsync 873/tcp

а в /etc/inetd.conf добавляем строку:
rsyc  stream tcp nowait root /usr/local/bin/rsync rsyncd --daemon

(/usr/local/bin/rsync меняем на то место куда на вашей системе был установлен rsync)

Теперь переходим на сервер, куда будут собираться все наши BackUp.

Настройка Rsync - скрипта, на BAckUp - сервере

На Нашем BackUp - сервере создаем директории, куда будут складываться все наши резервные копии.

saturn# mkdir -p /home/backup/pdc.myhost.com/etc/
saturn# chmod -R 0700 /home/backup/pdc.myhost.com/etc/

Теперь создаем файл с паролем. По правилам хорошего тона, прячем его в /root/

saturn# cat > /root/rsyncd.scrt
rsync_passwd
saturn# chown root:wheel /root/rsyncd.scrt
saturn# chmod 0600 /root/rsyncd.scrt

Теперь проверяем:

saturn ~ # rsync pdc::
#################################################################
#                                                               #
#         Hello from rsync server  (pdc.myhost.com)             #
#         Server Adress : 192.168.1.254                         #
#         Server        : AMD Computer Corp                     #
#         Hardware      : 1x AMD(R)2X CPU, 2180MB RAM           #
#         Contact Name  : admin@myhost.com                      #
#                                                               #
#################################################################

etc             ETC - derectory

Теперь делаем полную синхронизацию следующей командой.

rsync -uvroght --delete-after --password-file=/root/rsyncd.scrt backup@pdc.myhost.com::etc  /home/backup/pdc.myhost.com/etc/

Для автоматизации, я создал два файла /root/rsync_day.sh, который запускается по крону каждый час, в нем у меня синхронизируется svn-репозиторий. И /root/rsync_night.sh - который запускается только ночью. В нем у меня синхронизируется /etc/ /home/ и прочее. Кому что синхронизировать, решать вам.

Детальное описание ключей rsync

'-v', '–verbose' увеличение отладочной информации
'-u', '–update' пропускать обновление файлов, которые новее исходных
'-r', '–recursive' рекурсия в директориях
'-o', '–owner' сохранить владельца (только под root)
'-g', '–group' сохранить группу
'-h', '–human-readable' вывод цифр в читаемом виде (Кб, Мб, Гб)
'-t', '–times' сохранить дату изменения
'-p', '–perms' сохранить права доступа
'–delete-after' удалить после. Если в основном месте был удален какой-то файл, или каталог, то после синхронизации в backup сервере, в каталоге он тоже будет удален–password-file Путь, где находится файл с паролем.

Обязательно включите ключ -v, –verbose, тогда в консоль вам будет выводиться вся информация о процессе. Если у вас настроено отсылка сообщений службой ssmtp, то вы сможете получать письма с информацией о том как отработал cron. И соответственно как прошла синхронизация.

Преимущества и недостатки

Преимущества такого вида резервной синхронизации я вижу в полной автоматизации процесса. Так же письменное уведомление, о том как проходит процесс. (При условии что настроена служба ssmtp). Так же к преимужествам можно отнести что мы имеем полную рабочую версию каталогов, с правами доступа. Это дает нам преимущества быстрого переключения на резервный сервер служб, которые постоянно работают. К примеру svn-репозиторий, web-хостинг. Мы не тратим время на разархивирование, копирование и прочее. Переключаем на шлюзе порты, и работаем над восстановлением упавшего сервака.

К недостаткам можно отнести какую-то несовместимость rsync с svn-базами. Кто знает подробности, можете описать.

Простое использование rsync

rsync -vaHx --progress --numeric-ids --delete \
  --exclude-from=asylum_backup.excludes --delete-excluded \
  root@asylum:/home/asylum/ /backup/rsync/asylum/_home_asylum.demo/

Опции
'-v, –verbose' - говорливость, выводит имена обрабатываемых файлов;
'-a, –archive' - работа в режиме архивирования, сохраняются права доступа и информация о владельцах;
'-H, –hard-links' - сохранять жесткие ссылки, оставляя их на другом конце бэкапа;
'-x, –one-file-system' - не выходить за пределы текущей точки монтирования;
'–progress' - показывать сколько процентов осталось до завершения и скорость передачи;
'–numeric-ids' - не транслировать имена владельца и группы в цифровые UID и GID, оставить на удаленной стороне номера как есть;
'–delete' - удалять из бэкапа файлы, которых уже нет на стороне источника;
'–exclude-from=asylum_backup.excludes' - список файлов исключенных из бэкапа, допускается использование масок, напирмер "htdocs/*/*.jpg";
'–delete-excluded' - удалять части которые уже есть на стороне бэкапа, но появились в списке исключения;
'root@' - под каким пользоателем осущестляются подключение;
'asylum' - имя хоста к которому производится подключение;
'/home/asylum/' - директория источник, которую нужно бэкапить;
'/backup/rsync/asylum/_home_asylum.demo/' - куда сохранять бэкап;
Для определения транспорта нужно задать переменную

RSYNC_RSH "ssh -c arcfour -o Compression=no -x"

'ssh' - транспорт ssh (можно задать через "-e ssh");
'-c arcfour' - тип шифрования;
'-o Compression=no' - отключить сжатие средствами ssh, rsync сам сжимает данные;
'-x' - отключаем X туннелинг;

Другие полезные опции:
'-n, –dry-run' - режим тестирования, реально никаких действий по копированию не производится, только эмуляция;
'-W, –whole-file' - передает файлы целиком, а не блоками, как задумано в [http://www.opennet.ru/base/dev/rsync_algorythm.txt.html оригинальном алгоритме rsync];
'-c, –checksum' - использование сверки по контрольным суммам, а не по времени изменения и размеру;
'-S, –sparse' - допускает оптимизацию дискового пространства через создание "дырявых" файлов;
'–delete' отличается от '–delete-after' тем, что удаление производится вначале, а не на завершающей стадии процесса бэкапа. '–delete-after' работает быстрее, так как не требует лишней стадии обхода списка файлов, но требует использования опции '–force' для обработки таких ситуаций как удаление файла и появление диретории с тем же именем;
'-T, –temp-dir=DIR' - сохранять временные файлы в отдельной диретории, а не в текущей;
'–compare-dest=DIR' - сохранять новые и измененные файлы в отдельной директории, не трогая на время коприрования основную директорию назначения, в конце - разом, путем переименования, обновить содержимое бэкапа;
'–link-dest=DIR' - использовать жесткие ссылки на файлы в DIR, например, для создания подобия снапшотов;
'–bwlimit' - ограничение пропускной способности, чтобы не забивать канал;
'–ignore-errors' - продолжать копирование и удаление после появления ошибок;
'–max-delete' - ограничение максимально числа удаляемых за один раз файлов и каталогов;
'-z, –compress' - включить сжатие передаваемых данных;
'-A, –acls' - сохранять не только права доступа, но и ACL;
'-D' - сохранять файлы устройств
'–files-from=FILE' - задать список директорий и файлов для бэкапа в файле;
'–times' - синхронизировать время модификации файлов;
'–backup' - старые измененные или удаленные файлы не теряются а переименовываются или перемещаются в заданную чере '–backup-dir=DIR' директорию. Пример инкрементального бэкапа:

    rsync --force --ignore-errors --delete --delete-excluded --exclude-from=exclude_file \
      --backup --backup-dir=`date +%Y-%m-%d` -av

Заметки

rsync потребляет примерно 100 байт на каждый файл в списке, поэтому при передаче огромного числа файлов к памяти нужно относиться аккуратно;
Шаблон начинающийся с '/' проверяется с начала строки, иначе с конца;
Для задания шаблона только для директорий нужно указать в конце '/';
Если необходимо исключить все поддиректории в /dir, кроме /dir/best, в список исключений нужно поместить:

    + /dir/best/
    - /dir/*

Ссылки

Повествование построено на основе статьи "[http://www.sanitarium.net/golug/rsync_backups.html Backups using rsync]"
http://rsync.samba.org/ — страница проекта rsync
[http://www.opennet.ru/man.shtml?topic=rsync&category=1&russian=0 man rsync] на русском языке
Статья: [http://www.opennet.ru/base/sys/rsync_backup.txt.html Бекап файловой системы Linux-сервера с помощью rsync]
Статья: [http://www.linuxfocus.org/Russian/March2004/article326.shtml Rsync: лучшая система резервного копирования]
[http://rsync.samba.org/FAQ.html Rsync FAQ]
[http://rsync.samba.org/examples.html Пример на сайте rsync]
Статья: [http://www.mikerubel.org/computers/rsync_snapshots/ Easy Automated Snapshot-Style Backups with Linux and Rsync]
Статья: [http://www.linux.com/article.pl?sid=04/11/04/0346256 Making secure remote backups with Rsync]
Статья: [http://ezine.daemonnews.org/200211/ports.html Trawling the Ports Collection - rsync: The intelligent way to copy files]