지난 번 강좌에서는 (우분투) 리눅스의 SAMBA를 이용하여 공유폴더 환경을 만들었습니다.
이번에는 두번째 강좌인 rsync 백업 입니다.
저장공간을 만들었으면 그 다음 우선적으로 할일을 백업입니다. (단순 개인적인 용도로 영화파일이나 음악파일정도 보관하는 용도라면 백업에 대한 부담이 덜하겠지만, 중요한파일도 같이 보관하거나, 여럿이 사용할 파일 서버라면 백업은 필수 입니다.
컴퓨터로 자료를 보관하는 입장이라면 , 일단 기본적으로 저장매체는 믿지 마십시오, 언제든 파괴될 수 있고, 장애를 일으킬 수 있습니다. 저장매체가 무엇(HDD, SSD, CD, DVD, 테이프 등) 이든 말입니다. 믿을 수 있는것은 이중화 뿐입니다.
위 그림에서 보면 1~3 가지 정도로 자동백업 상황을 고려 해볼 수 있습니다. 자료의 중요도에 따라 백업은 이중, 삼중으로 되어야 하고, 필요시에는 원격지 다른장소에 구성하여 서버의 장애는 물론, 화재나, 해킹, 지진등에 도 대비를 해야 겠죠. 심지어 국가를 넘어서 자료를 백업하기도 합니다. 사실 개인도 그러한 구성도 얼마든지 가능합니다.
어째든 최소한 다른미디어에 백업하는 정도라도 구성하기를 권장합니다.
여기서 다루게될 백업(동기화)도구인 rsync 는 위 그림에서나오는 모든 경우에 대해 적용이 가능합니다.
rsync 는 Unix-like 환경을 유틸리티로 한곳의 파일이나 디렉토리를 다른 곳에 동일하게 동기화 할 수 있도록 합니다. 처음 발표된건 1996년도입니다. 당시는 지금과 같은 네트워크 대역폭이 넓지 않은 상태인 만큼, 네트워크를 통한 파일 전송을 최소화 하는것이 중요했을 것입니다.(물론 지금도 그렇지만) 그래서 delta 인코딩이라는 기술로 변경내용만 빠르게 추려내어 전송량을 최소화 하도록 하였습니다. 이렇게 해서 잘만들어진 rsync는 지금도 유용하고 편리한 백업/미러링 도구입니다.
rsync는 필수 유틸리티 이기 때문에 대부분의 유닉스 시스템(맥북에도)을 설치하게 되면 기본적으로 설치되어있어 바로 사용이 가능합니다. 그리고 무료이구요.
그럼 rsync 기본 사용법입니다.
rsync [OPTION]... 원본경로 사본생성경로
rsync [OPTION]... 원본경로 USER@호스트:사본생성경로
rsync [OPTION]... USER@호스트:원본경로 사본생성경로
rsync사용법은 파일 복사 명령어와 비슷합니다. 다만 같은 서버내에서는 물론 네트워크를 이용한 서버간에도 복사 동기화가 가능합니다. 이때는 접속 USER ID와 호스트 명(IP or DOMAIN NAME)이 들어가게 됩니다.
그럼 실제 예를 보겠습니다.
1) 먼저 동일 서버에서 디렉토리간 동기화 방법입니다.
$rsync -avz /home/user1/one /home/user1/two
옵션(-avz) 설명
- a : archive mode동작지시, -rlptgoD 라는 여러개의 옵션을 -a로 표현한것입니다. 이것은 (-r)지정된 원본디렉토리 이하의 모든 디렉토리와 파일, 심볼릭 링크(-l), 장치파일(-D)까지 모두 사본생성경로로 원래 권한(-p), 시간(-t),그룹(-g), 소유자(-o) 권한을 유지한채 복사하란 뜻입니다.
즉, 아래와 같다고 보면 됩니다.
rsync -r -l -p -t -g -o -D
-v : verbose 실행과정 내용을 가능한 상세히 보여 달라는 뜻입니다.
-z : 전송데이터 량을 줄이기 위해 전송중 압축을 하라는 내용입니다. 최종 복사된 파일이 압축되는 것은 아닙니다.
이렇게 해서 실행하는 예를 보면
$ ls -l one
합계 4
-rw-rw-r-- 1 user1 user1 10 2월 2 19:17 test01.txt
$rsync -avz /home/user1/one /home/user1/twosending incremental file list
one/
one/test01.txt
sent 128 bytes received 35 bytes 326.00 bytes/sec
total size is 10 speedup is 0.06
$ ls -l two
합계 4
drwxrwxr-x 2 user1 user1 4096 2월 2 19:17 one
one 디렉토리 통째로 two안으로 들어간 것을 볼 수 있습니다. 테스트 상황에서는 파일이 한개(test01.txt)만 있어서 금방 끝납니다.
2) 다음은 다른 서버로 부터 동기화 하는 예 입니다.
사실 rsync에서 리모트로 부터 파일을 전송하는 방법에는 크게 2가지가 있습니다.
- rsync 데몬을 이용하는 방법 (HOSTIP::/path 형식사용 또는 rsync::// 형식사용 )
(또는 rsync 데몬을 이용하되 ssh 컨넥션 이용하는 방법)
- 리모트 쉘 ( ssh, rsh ) 를 이용하는 방법 ( HOSTIP:/path 형식사용)
rsync 데몬을 명령줄에서의 두가지 방법차이는 콜론(:) 개수 차이 입니다. 콜론 개수에 따라 rsync는 리모트 쉘을 이용할지 리모트 rsync 데몬을 이용할지를 결정합니다.
첫번째 원격 접근 방법인 rsync데몬을 이용하게 되면 대상 호스트에 inetd (873포트) 에 설정을 하여 항상 데몬이 뜰 수 있도록 해주어야 하며 기본적으로 전송간 암호화는 되지 않습니다. (여기에 ssh 컨넥션을 이용하는 방법을 추가해서 암호화가 되도록 해줄 수 도 있긴 합니다.)
두번째 원격접근 방법인 리모트쉘을 이용하는 방법을 사용하게 되면 통상 ssh (22번포트)를 사용하게 되고 더불어 자동으로 암호화된 세션안에서 통신을 하게 됩니다. 별도로 데몬 설정도 불필요합니다.
여기에서는 두번째 방법인 리모트쉘을 이용하는 방법을 사용하게 될 것 입니다.
리모트쉘(ssh) 를 이용하는 전제는 ssh 패키지가 설치 되어있어야합니다. 만일 설치전이라면 ssh부터 설치하시기 바랍니다. (리모트,로컬 양쪽에 설치 되어있어야 합니다.)
$sudo apt-get install ssh
그럼 준비가 되었으면 rsync 를 이용한 리모트 원본을 동기화예를 보겠습니다.
$rsync -avz user2@192.168.1.51:/home/user2/three two
51번 호스트의 /home/user2/three 원본 경로전체를 two 로 동기화 한다는 뜻입니다. 이때 51번 호스트로 접속할때 사용자는 user2입니다. 콜론이 한개(:)이기때문에 ssh접속을 하게 됩니다.
그럼 실행해 봅니다.
$rsync -avz user2@192.168.1.51:/home/user2/three two
user2@192.168.1.51's password:
receiving incremental file list
three/
three/test02.txt
sent 34 bytes received 141 bytes 50.00 bytes/sec
total size is 19 speedup is 0.11
$ls -l two
합계 8
drwxrwxr-x 2 user1 user1 4096 2월 2 19:17 one
drwxr-xr-x 2 user1 user1 4096 2월 2 19:56 three
51번 호스트의 three디렉토리 통째로 two로 동기화(복사) 됩니다.
파일서버를 개인적인 용도로 쓰고 별도의 리모트 서버 구성을 하지 않는다면 1)번의 디렉토리간 동기화방법을 사용하면 됩니다.
rsync를 이용하면 앞서 설명한것처럼 간편하게 명령 한줄로 (동기화)백업을 해낼 수 있습니다만. 이왕이면 정기적을 자동 백업을 해줄 수 있다면 더욱 좋을 것 입니다.
리눅스와 같은 (Unix-like) OS에서는 cron 이라는 주기적 작업을 쉽게 설정할 수 있는 도구가 있습니다. 이를 이용하면 rsync를 자동화 백업이 가능해 집니다.
cron 의 실행하는 스케쥴표는 crontab 명령으로 작성할 수 있습니다.
실행 명령 입니다.
아마도 처음 crontab을 실행한다면 어떤 에디터를 사용할지 물어 볼겁니다. 익숙한 에디터를 선택하시면 됩니다. 그러면 crontab은 하나의 설정파일을 열어 줍니다.
해당 파일에 작업 command 를 추가 해주면 되는 데 형식은 다음과 같습니다.
#분 시 일 달 요일 command
#30 1 2 3 * rsync ... # 3월 2일 1시 30분에 rsync ...를 실행한다. (특정일 실행)
#10 2 * * 1 rsync ... # 매주 첫날 2시 10분에 rsync...를 실행한다. (주 단위 실행)
#0 3 * * * rsync ... # 매일 3시 정각에 rsync... 를 실행한다. (매일 실행)
즉 위처럼 원하는 스케쥴에 rsync 실행줄을 넣어 주면 되는 겁니다. (맨앞 # 코멘트 표시는 제거해야죠 ^^)
여기에 좀더 세련된 관리 방법을 넣어 보겠습니다.
위 말이좀 헷갈리죠?
이 말뜻은 매일 동기화를 해서 원본과 맞추되. 만약에 특정 변경된 파일이 문제가 있어 복원 필요한 경우 해당 파일을 적어도 일주일 전까지는 되돌릴 수 있도록 따로 변경분만 별도 백업 한다는 뜻입니다.
어떻게?
--backup 이란 옵션을 사용하면 됩니다.
이 옵션을 사용하게 되면 원본에 동기화를 할때 변경이 발생해서 덮어쓰이게 되는 경우 이전파일을 다른 이름으로 바꾸거나(--suffix 옵션) 다른 디렉토리로(--backup-dir)로 옮겨 놓을 수 있도록 하는 명령 입니다.
즉, 바뀌게 되는 파일만 또 다른 공간으로 살려두게 되는 것이죠.
그런데 이 옵션만으로는 좀 세련되게 하기가 안되므로 간단히 스크립트를 만들고 이 스크립트를 실행하는 명령을 crontab 으로 등록하겠습니다.
아래 스크립트입니다. http://rsync.samba.org/examples.html 있는 예제를 좀더 간단하게 바꾸었습니다.
#!/bin/sh
SRCPATH=/src
BACKUPHOME=/backup
#동기화 제외 대상 목록을 넣을 파일
EXCLUDES=$BACKUPHOME/exclude_files.txt
# 일요일, 월요일, 화요일 ... 토요일 또는 영문으로 (sunday ... )
BACKUPSUB=`date +%A`
OPTS="--force --ignore-errors --delete-excluded --exclude-from=$EXCLUDES
--delete --backup --backup-dir=$BACKUPHOME/$BACKUPSUB -a"
export PATH=$PATH:/bin:/usr/bin:/usr/local/bin
rm -rf $BACKUPHOME/$BACKUPSUB/*
# 동기화 실행 진행
rsync $OPTS $SRCPATH $BACKUPHOME/current
이 파일을 /backup/runrsync.sh 실행가능한 파일로 저장합니다.
그리고 요일별로 변경분만 백업될 디렉토리를 미리 만들어 주어야 합니다.
$mkdir /backup/일요일 /backup/월요일 /backup/화요일 /backup/수요일 /backup/목요일 /backup/금요일 /backup/토요일
$crontab -e
실행 후 아래 처럼 추가해줍니다.
#0 2 * * * /backup/runrsync.sh
그럼 매일 새벽 2시에 동기화를 하게 되고 이때 바뀌는 파일은 /backup 밑에 요일별로 옮겨지면서 전체 동기화된 파일은 /backup/current 에 있게 됩니다.
여기까지 rsync를 이용한 자동 동기화 방법에 대한 설명을 마치겠습니다. 각자 필요한 환경에 맞게 적절히 변경하여 활용하시기 바랍니다. 감사합니다.
