基于rsync的氣象雷達產品同步和交換

陳純武

（中國民用航空汕頭空中交通管理站 氣象臺，廣東 汕頭515041）

0 緒論

氣象雷達的產品一般都是通過天線掃描，得到原始的回波信號后經過雷達機柜里的信號處理器預處理后通過網絡傳輸到主工作站上，再經過主工作站上雷達廠家的軟件，對原始數據進行二次加工，生成符合預報員或者管制員要求的產品，然后再通過ftp的方式將產品分發給后端的用戶。但是ftp在分發資料的時效性和速度上已經遠跟不上現在一些優秀的開源軟件上，比如說rsync。而且多個用戶通過ftp以細粒度的時間粒度不斷用循環任務來對主工作站進行資料請求也是加重了主工作站的IO壓力。本文正是在資料分發的這個環節上采用了rsync部署了后端的同步和交換服務器，提高了資料分發的速度和減輕的主工作站的負荷。

1 rsync簡介

1.1 什么是rsync

rsync即remote sync，是一個Linux/unix系統下的文件同步和數據傳輸工具，它采用“rsync算法”來使一個客戶機和遠程文件服務器之間進行數據的同步。通過rsync可以將同一個服務器的數據從一個分區備份到另外的一個分區，也可以將本地數據通過網絡傳輸方式備份到任何一個遠程的主機上，rsync可以在中斷之后恢復傳輸，也可以只傳輸源文件和目標文件之間不一致的部分，它還可以執行完整的備份或者增量備份，而且可以通過ssh方式來傳輸文件，這樣其保密性也非常好。

1.2 rsync的功能特點

1.2.1 可以鏡像保存整個目錄樹和文件系統。

1.2.2 可以很容易做到保持原來文件的權限、時間、軟硬鏈接等等。1.2.3 無須特殊權限即可安裝。

1.2.4 優化的流程，文件傳輸效率高。

1.2.5 可以使用scp、ssh等方式來傳輸文件，當然也可以通過直接的socket連接。

1.2.6 支持匿名傳輸

1.3 與ftp比較有什么優點

1.3.1 更快速：可以增量同步數據，因而同步時間很短，速度快。

1.3.2 開銷小：rsync在建立連接的過程只需要進行一次握手，不需要像ftp一樣進行多次握手。

1.3.3 更高效：rsync在傳輸數據的過程中可以實行壓縮及解壓縮操作，因此可以使用更少的帶寬。

1.3.4 更安全：可以使用scp、ssh等方式來傳輸文件

2 構建基于rsync的同步和交換服務器

2.1 下載與安裝rsync軟件

ryscnc的官方地址為：http://rsync.samba.org/，本文下載的版本為rsync-3.1.0。在官網下載源碼包后進行編譯安裝，過程如下:

[root@bogon～]#tar zxvf rsync-3.1.0.tar.gz[root@bogon～]#cd rsync-3.1.0

[root@bogon rsync-3.1.0]#./configure

[root@bogon rsync-3.1.0]#make

[root@bogon rsync-3.1.0]#make install

2.2 rsync配置實例

本次配置的2臺服務器分別為：

A：氣象雷達主工作站，IP:192.168.1.1

B：雷達產品同步ffamp;分發服務器，IP:192.168.1.2

配置前需按照上文的方法下載安裝方法在A機和B機上安裝rsync軟件。

2.2.1 在A機上配置rsync

其中server.pass中的內容如下：

[root@bogon etc]#cat/etc server.pass backup:zgow

上面選項的含義如下[1]：

uid，指定了該模塊傳輸文件時的守護進程的用戶ID，默認的情況下是“nobody”

gid，指定了該模塊傳輸文件時的守護進程的組ID，默認的情況下是“nobody”

max connection，此選項指定了模塊的最大并發連接數，以保護服務器。超過這個連接請求將被暫時限制，默認值是0，即沒有限制。

重點工程建設步伐加快。引大濟湟工程全面實施，北干一期干渠前73km全線貫通，調水總干渠隧洞年底可累計完成15.19km。拉西瓦、李家峽、公伯峽、積石峽水庫灌溉工程有序推進，蓄集峽、馬什格羊水庫等重點水源建設進展順利。

pid file，此選項用來指定rsync守護進程對應的PID文件路徑

lock file，此選項用來指定支持max connection的鎖文件，默認值是/var/run/rsyncd.lock。

log file，此選項指定了rsync的日志輸出文件路徑。[RadarData]，模塊名，也表示一個模塊的開始

path，此選項用來指定需要備份的文件或者目錄

read only，設置為no表示客戶端可以上傳文件，設置為yes表示只讀。

write only，設置為no表示客戶端可以下載文件，設置為yes表示不能下載

auth users，此選項用來定義可以連接該模塊的用戶名。這里的用戶可以是系統當前沒有的用戶，任意定義。

secrets file，此選項用于指定一個包含“用戶名：密碼”格式的文件，用戶名必須是auth users選項定義的用戶名，密碼可以任意定義。比如本文用到的server.passs，系統默認沒有這個文件，可以自己手動建立一個，文件名和位置任意。

在A機上啟動rsync守護進程

看到LISTEN就表示rsync已經正常啟動并處于監聽的狀態下了。

2.2.2 在B機上配置rsync

在B機上不用做太多的設置，只要正確的安裝了rsync就好，然后手工建立一個包含著A機密碼文件里定義好的密碼的文件就好，這樣就可以在同步的時候不需要每次都自己手動輸入密碼。

接下來執行同步操作，具體的指令如下：

具體每個參數的含義如下：

在“-vzrtopg”選項中，v是“--verbose”，即詳細模式輸出。

z表示“--compress”，即在傳輸時對備份的文件進行壓縮處理。

r表示“--recursive”，表示對子目錄以遞歸模式處理。

t表示“--times”，用來保留文件的時間屬性信息。

o表示“--owner”用來保留文件屬主信息。

p表示“--perms”用來保持文件權限。

g表示“--group”用來保持文件的屬組信息。

“--delete”選項指定以rsync服務器端為基準進行數據鏡像同步，也就是說服務器端目錄與客戶端目錄的完全一致。

“--progress”選項用于顯示數據同步的過程

“backup@192.168.1.1::RadarData”表示對A服務器192.168.1.1中的RadarData模塊進行同步，backup表示用“backup”這個用戶對該模塊進行同步。

“/home/rainbow/RadarData”用于指定同步文件放在客戶端上的位置。

“--password-file=/etc/server.pass”用于指定客戶端上的密碼文件的存放位置。

rsync作為客戶端工具使用的時候還有很多有用的參數和使用的模式，更多詳細的信息都可以在本機上執行“man rsync”來查看。

3 功能測試

實例1 在B機上同步A機的雷達產品

在局域網內進行產品的同步的時候最高的速度可以達到27.74MB/s，說明rsync的同步效率很高，速度也很快。

實例2 在A機上更新目錄里的文件，B機再一次同步

從上面的結果可以看出，在A服務器上更新產品后對A進行同步的時候，B并沒有把A的整個目錄列表抓取過來，而是只是僅僅同步了更新的部分，這在大量并發的環境下可以減少對主工作站的IO壓力。

4 總結

通過以上的理論和實際部署實踐說明，新的開源軟件在實際應用中不僅高效免費，而且也容易部署實施，后期還有開源社區的技術支持，這對于每個系統運維的人員來說都是非常值得高興的事情。本文用rsync對雷達產品進行同步和交換分發，只是運用到了rsync不到十分之一的功能，在實際的生產環境中，結合shell或者其他的開源軟件，rsync在系統的運維監控上將可以發揮出意想不到的效果。

［1］高俊峰.高性能Linux服務器構建實戰運維監控、性能調優與集群應用[M].北京:機械工業出版社,2011:130-132.