rsync 와 삼바를 이용하여 자동 백업구축

http://funnylog.kr/434 펌 

http://funnylog.tistory.com/439  펌

---

#1 삼바(SAMBA)를 이용한 윈도우에서 접근 가능한 공유폴더 만들기

순서대로 강좌를 끝나고 나면 대략 아래 그림과 같은 구성을 할 수 있게 됩니다.

  구성도에서 보여주는 것은 집이나 소규모 사무실 내부에서 공유폴더로 사용가능하고 외부에서도 인터넷을 통해 접근 가능한 구조 입니다.

 

오늘은 첫번째로 SAMBA를 이용한 공유폴더 만들기 입니다.

우분투 설치 PC 준비하기

   SAMBA 사용은 아주 간단하게 할 수 도 혹은 복잡하게 할 수 도 있지만. 여기서는 최소한의 설정으로 금방 공유 폴더가 될 수 있도록 하는 정도 만 다루게 됩니다. (강좌 전반에 최대한 간결 하는 방향으로 할 생각입니다.)

  우선 우분투가 설치된 PC 가 있어야 하는데 여기서는 현재 시점의 최신 LTS 버전인 12.04 를 기준으로 합니다.  LTS (Long Term Support)는 말그대로 오래 지원이 가능한 배포본으로 몇년동안은 OS 업데이트 유지가 비교적 용이합니다.

  우분투를 설치전이라면 http://www.ubuntu.com/download/desktop  에서 다운로드 하여 설치합니다.

우분투 서버버전도 있지만 네트워크 보안설정이나  XWindows 환경이 편한 데스크탑(32bit)  버전으로 합니다.  (서버버전도 물론 가능합니다만. 처음에는 데스크탑 버전으로 해보시길 권장합니다.)

다운 받은 .iso 를 CD 로 구워 부팅 설치 하면 됩니다. 하드디스크 파티션은 기본추천하는데로 하셔도 무방합니다. (우분투 설치는 "계속" 버튼을 누르면서 쭈욱 진행하면 되지만 혹 중간에 잘 모르겠으면 설치방법을 검색하면 글이 많이 있습니다.)

삼바(SAMBA) ?

   SAMBA는 윈도우용 네트워크 파일시스템을 리눅스와 같은 Unix-like OS에서 지원하도록 만들어진 서버 프로그램입니다. 즉, 리눅스에 디렉토리를 윈도우에서 공유폴더로 접근하여 쓸 수 있도록 해주는 소프트웨어 프로그램이라는 뜻입니다.  물론 MS윈도우를 파일서버로 사용가능 하나 그만큼 OS를 추가 구매 해야 하나 리눅스는 무료입니다. 그리고 다양한 리눅스의 백업 솔루션을 활용 할 수 있고,  단순히 공유폴더 서버로만 쓰더라도  최근의 복잡해진 윈도우 공유폴더 보다 (아이러니하게도 오히려) 더 간단하게 설정이 가능합니다.

프로그램 설치하기

우분투에 SAMBA를 설정하려면 먼저 패키지를 설치해야 합니다.

설치는 간단합니다.

$sudo apt-get  install samba

이렇게 하면 일단 프로그램 자체는 설치가 끝났습니다.

다음에 접속할 사용자를 추가합니다.

먼저 리눅스 사용자를 추가합니다.

$sudo adduser user1 $sudo adduser user2

그리고 SAMBA 접속 가능 사용자로 등록및 패스워드 설정합니다.

$sudo smbpasswd -a user1 $sudo smbpasswd -a user2

이때 설정하는 패스워드는 윈도우에서 공유폴더로 접속할때 인증할 패스워드가 됩니다. 

그리고 설정파일 입니다.   vi 에디터나 nano 에디터 등으로  /etc/samba/smb.conf 파일을 열어 맨아래에

아래 내용을 추가합니다.

$sudo nano /etc/samba/smb.conf # 아래 내용 추가 [user1_home]         comment= My  Folder         path = /home/user1         read only = no         browseabale = yes         guest ok = no         create mask = 0666         valid users = user1 [pub]         comment=public                           # 폴더설명         path = /sharefolder/pub                # 공유 대상 경로         read only = no                              # 읽기 전용 여부         browseable = yes                         # 해당 폴더가 보일지 여부         guest ok = no                               # 누구나 접근 가능여부         create mask = 0666                  # 1. 파일 생성시 권한 비트         force create mode = 0                   # 2. OR masking         security mask = 0777                     # 3. AND masking         force security mode = 0                 # 4. OR masking with security mask         directory mask = 0777                    # 5. 디렉토리 생성시 권한 비트          force directory mode = 0                # 6. OR masking         directory security mask = 0777        # 7. AND masking         force directory security mode = 0    # 8. OR masking with directory security mask

 

각각 항목별로 옆에 코멘트를 달아 드렸는데  크게 어려운 것은 없을 것(?) 입니다.

  다만 기본적으로 알아두면 좋을 것은  valid users 와 create mask 입니다.  

아래 [pub] 폴더처럼 valid users 에 지정된 사용자가 없으면 누구나 접근 가능한 폴더가 되고, [user1_home] 폴더 처럼 user1을 지정한 경우에는 user1만 접근 가능하게됩니다.

  그리고 create mask 는  리눅스에서 파일에 대한 접근권한 부분입니다.  윈도우에서 해당 폴더를 공유해서 파일을 생성하게 되었을때 어떠한 파일권한을 갖게 할것인지를 설정하는 것이죠.

그런데 이것만으로는 파일 생성권한이 잘 먹히지 않습니다. 왜냐면  security mask 에서 허용이 되어있어야 하기 때문 입니다.   

            관련해서 SAMBA에서는 최종 권한을 적용할때 다음과 같은 로직으로 설정됩니다.

create permission =   ( create mask  OR force create mode ) AND (security mask OR force security mode)

즉 security mask 에서 허가되지 않은 부분은 create mask 로 설정이 되어있더라도 적용이 안됩니다. 만일 create mask에서 설정하는데로 되게 하고 싶으면 security mask를 0777로 해두면 됩니다. 위에 예처럼 말이죠.

현재 우리가 적용하는 상황은 보안보다는 편의성이 중요한 상황이라고 보고 일단 접근 가능한 사용자라면 누구나 생성/삭제가 가능하도록 적용하였습니다.

이렇게 해서 파일을 추가하고 나면 SAMBA 데몬(서버프로그램)을 다시 시작해야 합니다.

$sudo  /etc/init.d/smbd restart

다시 시작하면 이제 윈도우에서 접근해봅니다.  

접근 방법은 리눅스의 IP를 조회하면 됩니다.  ifconfig 명령을 이용하면 조회가 가능합니다.

보통 eth0 또는 eth1 랜카드에 ip가있을 겁니다. 아래의 예는 랜포트가 2개 있는 PC인 경우이고 현재 eth1에 연결되어있습니다.

$ ifconfig eth0      Link encap:Ethernet  HWaddr 00:1b:1b:0a:8f:f7           UP BROADCAST MULTICAST  MTU:1500  Metric:1           RX packets:0 errors:0 dropped:0 overruns:0 frame:0           TX packets:0 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)           Interrupt:16 Memory:96400000-96420000 eth1      Link encap:Ethernet  HWaddr 00:1b:1b:40:a9:c5           inet addr:192.168.1.109  Bcast:192.168.1.255  Mask:255.255.255.0           inet6 addr: fe80::21b:1bff:fe40:a9c5/64 Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:592504491 errors:0 dropped:0 overruns:0 frame:0           TX packets:218177502 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:895777159784 (895.7 GB)  TX bytes:16078571519 (16.0 GB)           Interrupt:17 Memory:94400000-94420000

위에 보면 노랗게 되어있는 부분이 주소 입니다.  이 주소를 이용해서 윈도우폴더에서

\\192.168.1.109 를 입력하면 됩니다.

아래 윈도우 7 에서 접근 한 그림을 참고하세요.

위처럼 2개의 폴더가 조회됩니다.

그러면 접근해서 파일을 보관사용하면 되겠습니다.

이렇게해서 첫번째 리눅스를 이용한 파일서버(NAS)구축하기 강좌를 마치겠습니다. 

혹시나 가능한 필요한 부분만 쓴다고 불친절한 글이 됐는지 모르겠습니다.  감사합니다.

#2 RSYNC를 이용한 공유폴더 자동(동기화)백업

이번에는 두번째 강좌인 rsync 백업 입니다.

  저장공간을 만들었으면 그 다음 우선적으로 할일을 백업입니다.  (단순 개인적인 용도로 영화파일이나 음악파일정도 보관하는 용도라면 백업에 대한 부담이 덜하겠지만,  중요한파일도 같이 보관하거나, 여럿이 사용할 파일 서버라면 백업은 필수 입니다.  

 컴퓨터로 자료를 보관하는 입장이라면 , 일단 기본적으로 저장매체는 믿지 마십시오, 언제든 파괴될 수 있고, 장애를 일으킬 수 있습니다. 저장매체가  무엇(HDD, SSD, CD, DVD, 테이프 등) 이든 말입니다. 믿을 수 있는것은 이중화 뿐입니다.

위 그림에서 보면 1~3 가지 정도로 자동백업 상황을 고려 해볼 수 있습니다. 자료의 중요도에 따라 백업은 이중, 삼중으로 되어야 하고, 필요시에는 원격지 다른장소에 구성하여 서버의 장애는 물론, 화재나, 해킹, 지진등에 도 대비를 해야 겠죠.  심지어 국가를 넘어서 자료를 백업하기도 합니다. 사실 개인도 그러한 구성도 얼마든지 가능합니다.

어째든 최소한 다른미디어에 백업하는 정도라도 구성하기를 권장합니다.

여기서 다루게될 백업(동기화)도구인 rsync 는 위 그림에서나오는 모든 경우에 대해 적용이 가능합니다.

 rsync 는 Unix-like 환경을 유틸리티로  한곳의 파일이나 디렉토리를 다른 곳에 동일하게 동기화 할 수 있도록 합니다.  처음 발표된건 1996년도입니다. 당시는 지금과 같은 네트워크 대역폭이 넓지 않은 상태인 만큼, 네트워크를 통한 파일 전송을 최소화 하는것이 중요했을 것입니다.(물론 지금도 그렇지만) 그래서 delta 인코딩이라는 기술로 변경내용만 빠르게  추려내어  전송량을 최소화 하도록 하였습니다. 이렇게 해서 잘만들어진 rsync는  지금도 유용하고 편리한 백업/미러링 도구입니다.

 rsync는 필수 유틸리티 이기 때문에 대부분의 유닉스 시스템(맥북에도)을 설치하게 되면 기본적으로 설치되어있어 바로 사용이 가능합니다. 그리고 무료이구요.

그럼 rsync   기본 사용법입니다.

rsync [OPTION]...  원본경로   사본생성경로

rsync [OPTION]... 원본경로    USER@호스트:사본생성경로

rsync [OPTION]...  USER@호스트:원본경로    사본생성경로     

rsync사용법은 파일 복사 명령어와 비슷합니다.  다만 같은 서버내에서는 물론 네트워크를 이용한 서버간에도 복사 동기화가 가능합니다.  이때는 접속 USER ID와 호스트 명(IP or DOMAIN NAME)이 들어가게 됩니다.

그럼 실제 예를 보겠습니다.

1) 먼저 동일 서버에서 디렉토리간 동기화 방법입니다.  

$rsync -avz /home/user1/one   /home/user1/two

옵션(-avz) 설명

 - a : archive mode동작지시,  -rlptgoD 라는 여러개의 옵션을 -a로 표현한것입니다.  이것은 (-r)지정된 원본디렉토리 이하의 모든 디렉토리와 파일, 심볼릭 링크(-l), 장치파일(-D)까지 모두 사본생성경로로 원래 권한(-p), 시간(-t),그룹(-g), 소유자(-o) 권한을 유지한채 복사하란 뜻입니다.  

즉, 아래와 같다고 보면 됩니다.

rsync -r -l -p -t -g -o -D

-v : verbose 실행과정 내용을 가능한 상세히 보여 달라는 뜻입니다.

-z : 전송데이터 량을 줄이기 위해 전송중 압축을 하라는 내용입니다. 최종 복사된 파일이 압축되는 것은 아닙니다.

이렇게 해서 실행하는 예를 보면 

 

$ ls -l one

합계 4

-rw-rw-r-- 1 user1 user1 10  2월  2 19:17 test01.txt

$rsync -avz /home/user1/one   /home/user1/two

sending incremental file list

one/

one/test01.txt

sent 128 bytes  received 35 bytes  326.00 bytes/sec

total size is 10  speedup is 0.06

$ ls -l two

합계 4

drwxrwxr-x 2 user1 user1 4096  2월  2 19:17 one

   one 디렉토리 통째로 two안으로 들어간 것을 볼 수 있습니다. 테스트 상황에서는 파일이 한개(test01.txt)만 있어서 금방 끝납니다. 

2) 다음은  다른 서버로 부터 동기화 하는 예 입니다.

 사실 rsync에서  리모트로 부터 파일을 전송하는 방법에는 크게 2가지가 있습니다. 

- rsync 데몬을 이용하는 방법  (HOSTIP::/path 형식사용 또는  rsync:://  형식사용 )

(또는  rsync 데몬을 이용하되 ssh 컨넥션 이용하는 방법)

- 리모트 쉘 ( ssh,  rsh )  를 이용하는 방법   (  HOSTIP:/path  형식사용)

  rsync 데몬을 명령줄에서의 두가지 방법차이는 콜론(:) 개수 차이 입니다. 콜론 개수에 따라 rsync는 리모트 쉘을 이용할지 리모트 rsync 데몬을 이용할지를 결정합니다. 

  첫번째 원격 접근 방법인 rsync데몬을 이용하게 되면 대상 호스트에 inetd (873포트) 에 설정을 하여 항상 데몬이 뜰 수 있도록  해주어야 하며 기본적으로 전송간 암호화는 되지 않습니다. (여기에 ssh 컨넥션을 이용하는 방법을 추가해서 암호화가 되도록 해줄 수 도 있긴 합니다.)  

 두번째 원격접근 방법인 리모트쉘을 이용하는 방법을 사용하게 되면 통상 ssh (22번포트)를 사용하게 되고 더불어 자동으로 암호회된 세션안에서 통신을 하게 됩니다. 별도로 데몬 설정도 불필요합니다.

여기에서는 두번째 방법인 리모트쉘을 이용하는 방법을 사용하게 될 것 입니다.

  리모트쉘(ssh) 를 이용하는 전제는 ssh 패키지가 설치 되어있어야합니다. 만일 설치전이라면 ssh부터 설치하시기 바랍니다. (리모트,로컬 양쪽에 설치 되어있어야 합니다.)

$sudo apt-get install ssh

그럼 준비가 되었으면 rsync 를 이용한 리모트 원본을 동기화예를 보겠습니다.

$rsync -avz user2@192.168.1.51:/home/user2/three two

  51번 호스트의 /home/user2/three 원본 경로전체를 two 로 동기화 한다는 뜻입니다.  이때 51번 호스트로 접속할때  사용자는 user2입니다.  콜론이 한개(:)이기때문에 ssh접속을 하게 됩니다.

그럼 실행해 봅니다.

$rsync -avz user2@192.168.1.51:/home/user2/three two

user2@192.168.1.51's password: 

receiving incremental file list

three/

three/test02.txt

sent 34 bytes  received 141 bytes  50.00 bytes/sec

total size is 19  speedup is 0.11

$ls -l two

합계 8

drwxrwxr-x 2 user1 user1 4096  2월  2 19:17 one

drwxr-xr-x 2 user1 user1 4096  2월  2 19:56 three

51번 호스트의 three디렉토리 통째로 two로 동기화(복사) 됩니다.

 파일서버를 개인적인 용도로 쓰고 별도의 리모트 서버 구성을 하지 않는다면 1)번의 디렉토리간 동기화방법을 사용하면 됩니다.

정기적 백업의 자동화

  rsync를 이용하면 앞서 설명한것처럼 간편하게 명령 한줄로 (동기화)백업을 해낼 수 있습니다만.  이왕이면 정기적을 자동 백업을 해줄 수 있다면 더욱 좋을 것 입니다.

 리눅스와 같은 (Unix-like) OS에서는 cron 이라는 주기적 작업을 쉽게 설정할 수 있는 도구가 있습니다. 이를 이용하면 rsync를 자동화 백업이 가능해 집니다.

cron 의 실행하는 스케쥴표는 crontab  명령으로 작성할 수 있습니다.

실행 명령 입니다.

$crontab -e

아마도 처음 crontab을 실행한다면 어떤 에디터를 사용할지 물어 볼겁니다. 익숙한 에디터를 선택하시면 됩니다.  그러면  crontab은 하나의 설정파일을 열어 줍니다.

해당 파일에 작업 command 를 추가 해주면 되는 데 형식은 다음과 같습니다.

#분 시 일 달 요일  command

#30 1 2 3 *   rsync ...  # 3월 2일 1시 30분에  rsync ...를 실행한다. (특정일 실행)

#10 2 * * 1  rsync ...     #  매주 첫날 2시 10분에 rsync...를 실행한다. (주 단위 실행)

#0 3 *  * *   rsync ...    # 매일 3시 정각에 rsync... 를 실행한다.  (매일 실행)

즉 위처럼 원하는 스케쥴에 rsync 실행줄을 넣어 주면 되는 겁니다.   (맨앞 # 코멘트 표시는 제거해야죠 ^^)

여기에 좀더 세련된 관리 방법을 넣어 보겠습니다.

7일 단위 증분 백업하면서 동기화하기

위 말이좀 헷갈리죠?

  이 말뜻은  매일 동기화를 해서 원본과 맞추되.  만약에 특정 변경된 파일이 문제가 있어 복원 필요한 경우 해당 파일을 적어도 일주일 전까지는 되돌릴 수 있도록 따로 변경분만 별도 백업 한다는 뜻입니다.

어떻게?

--backup   이란 옵션을 사용하면 됩니다.

 

 이 옵션을 사용하게 되면 원본에 동기화를 할때 변경이 발생해서 덮어쓰이게 되는 경우 이전파일을 다른 이름으로 바꾸거나(--suffix 옵션)  다른 디렉토리로(--backup-dir)로 옮겨 놓을 수 있도록 하는 명령 입니다.

즉, 바뀌게 되는 파일만 또 다른 공간으로 살려두게 되는 것이죠. 

그런데 이 옵션만으로는 좀 세련되게 하기가 안되므로 간단히 스크립트를 만들고 이 스크립트를 실행하는 명령을  crontab 으로 등록하겠습니다.

아래 스크립트입니다.   http://rsync.samba.org/examples.html  있는 예제를 좀더 간단하게 바꾸었습니다.

#!/bin/sh

SRCPATH=/src

BACKUPHOME=/backup

#동기화 제외 대상 목록을 넣을 파일

EXCLUDES=$BACKUPHOME/exclude_files.txt

# 일요일, 월요일, 화요일 ... 토요일 또는 영문으로 (sunday ... )

BACKUPSUB=`date +%A`     

OPTS="--force --ignore-errors --delete-excluded --exclude-from=$EXCLUDES  

          --delete --backup --backup-dir=$BACKUPHOME/$BACKUPSUB -a"

export PATH=$PATH:/bin:/usr/bin:/usr/local/bin

rm -rf  $BACKUPHOME/$BACKUPSUB/*

# 동기화 실행 진행

rsync $OPTS $SRCPATH  $BACKUPHOME/current

이 파일을  /backup/runrsync.sh  실행가능한 파일로 저장합니다.

그리고  요일별로 변경분만 백업될 디렉토리를 미리 만들어 주어야 합니다.

$mkdir /backup/일요일  /backup/월요일 /backup/화요일 /backup/수요일  /backup/목요일 /backup/금요일  /backup/토요일

$crontab -e 

실행 후 아래 처럼 추가해줍니다.

#0 2 *  * *   /backup/runrsync.sh

그럼 매일 새벽 2시에 동기화를 하게 되고 이때  바뀌는 파일은 /backup 밑에 요일별로 옮겨지면서 전체 동기화된 파일은   /backup/current 에 있게 됩니다.

  여기까지 rsync를 이용한 자동 동기화 방법에 대한 설명을 마치겠습니다.  각자 필요한 환경에 맞게 적절히 변경하여 활용하시기 바랍니다.  감사합니다.