空間數(shù)據(jù)服務(wù)效率優(yōu)化策略

王連備，范永弘，賁 進(jìn)

（信息工程大學(xué)測繪學(xué)院，河南鄭州 450052）

空間數(shù)據(jù)服務(wù)效率優(yōu)化策略

王連備，范永弘，賁 進(jìn)

（信息工程大學(xué)測繪學(xué)院，河南鄭州 450052）

分析了空間數(shù)據(jù)服務(wù)的特點和現(xiàn)狀，探討了提高數(shù)據(jù)傳輸效率的技術(shù)途徑，提出了基于Grid FTP集群的空間數(shù)據(jù)服務(wù)效率優(yōu)化策略，設(shè)計了基于動態(tài)數(shù)據(jù)分塊和服務(wù)性能加權(quán)的負(fù)載均衡算法并開展了相關(guān)實驗。實驗結(jié)果表明，提出的優(yōu)化策略是可行、有效的，能夠顯著的改善大數(shù)據(jù)量空間數(shù)據(jù)集的傳輸效率。

空間數(shù)據(jù)；數(shù)據(jù)服務(wù)；傳輸效率；負(fù)載均衡；Grid FTP

空間數(shù)據(jù)具有海量的特征，這決定了空間數(shù)據(jù)是一種數(shù)據(jù)密集型和計算密集型的服務(wù)，具有服務(wù)處理時間長，易形成并發(fā)等特點。在網(wǎng)絡(luò)環(huán)境下，如何提高海量空間數(shù)據(jù)的傳輸效率是構(gòu)建高效空間數(shù)據(jù)服務(wù)必須要研究解決的問題[1,2]。

1 空間數(shù)據(jù)服務(wù)

1.1 空間數(shù)據(jù)服務(wù)的技術(shù)實現(xiàn)形式

當(dāng)前，空間數(shù)據(jù)服務(wù)主要有 2種具體的技術(shù)實現(xiàn)形式：

一種是基于OGC標(biāo)準(zhǔn)建立的Web服務(wù)，如WCS服務(wù)、WMS服務(wù)等。這類服務(wù)基于Web Service技術(shù)實現(xiàn)，采用 XML對空間數(shù)據(jù)進(jìn)行編碼和封裝，通過HTTP協(xié)議進(jìn)行數(shù)據(jù)傳輸。眾所周知，基于XML的數(shù)據(jù)編碼會導(dǎo)致實際需要傳輸?shù)臄?shù)據(jù)量增大[3]，而且對XML的編解碼操作還需要耗費大量的時間。因此，在傳輸遙感影像等大數(shù)據(jù)量數(shù)據(jù)集時，這類服務(wù)的數(shù)據(jù)傳輸效率較低。

另一種是采用FTP服務(wù)，以文件下載的方式為用戶提供空間數(shù)據(jù)集。FTP(File Transfer Protocol，文件傳輸協(xié)議)是專門用于在網(wǎng)絡(luò)上不同節(jié)點之間傳輸數(shù)據(jù)文件的協(xié)議，具有簡單、易于實現(xiàn)的特點。但標(biāo)準(zhǔn)FTP協(xié)議缺乏健壯的容錯機(jī)制，在傳輸遙感影像等大數(shù)據(jù)量數(shù)據(jù)集時，因所需時間較長而極易產(chǎn)生由網(wǎng)絡(luò)故障導(dǎo)致的傳輸中斷，而數(shù)據(jù)集重傳將嚴(yán)重的降低傳輸效率。

1.2 優(yōu)化海量數(shù)據(jù)傳輸效率的技術(shù)途徑

Grid FTP協(xié)議是在標(biāo)準(zhǔn)FTP協(xié)議的基礎(chǔ)上，為實現(xiàn)海量數(shù)據(jù)集的高效交換擴(kuò)展而來的一種新型數(shù)據(jù)傳輸協(xié)議。該協(xié)議提供了并行傳輸、帶狀傳輸及可重啟傳輸?shù)刃滦蛿?shù)據(jù)傳輸機(jī)制[4,5]。

并行傳輸機(jī)制：該機(jī)制通過建立多個并行TCP流的方式來提高數(shù)據(jù)傳輸?shù)目値挕＿@種方式能夠充分提高服務(wù)節(jié)點的資源利用率，從而提高數(shù)據(jù)傳輸效率。

帶狀傳輸機(jī)制：該機(jī)制將同一個文件的不同部分分別存放在不同的Grid FTP服務(wù)器上，從而突破單臺服務(wù)器傳輸性能的限制，提高數(shù)據(jù)傳輸?shù)男省?/p>

可重啟傳輸機(jī)制：該機(jī)制將標(biāo)準(zhǔn)FTP的重傳協(xié)議擴(kuò)展到數(shù)據(jù)通道協(xié)議中，當(dāng)傳輸中斷時，可重新建立連接并從數(shù)據(jù)中斷的位置開始數(shù)據(jù)傳輸。

不難看出，相對于HTTP、標(biāo)準(zhǔn)FTP等經(jīng)典傳輸協(xié)議而言，Grid FTP協(xié)議在構(gòu)建高效數(shù)據(jù)傳輸服務(wù)方面具有較大的技術(shù)優(yōu)勢。

此外，多用戶并發(fā)訪問將大大增加對數(shù)據(jù)服務(wù)節(jié)點處理能力的要求。集群服務(wù)技術(shù)則是應(yīng)對這一問題的有效舉措[6,7]。

2 基于Grid FTP集群的空間數(shù)據(jù)服務(wù)效率優(yōu)化策略

基于以上討論，本文根據(jù)空間數(shù)據(jù)服務(wù)的特點和要求，綜合Grid FTP協(xié)議和負(fù)載均衡技術(shù)，提出了一種基于Grid FTP集群的空間數(shù)據(jù)服務(wù)效率優(yōu)化策略。

該策略的基本思想是利用Grid FTP協(xié)議帶狀數(shù)據(jù)傳輸?shù)奶匦詷?gòu)建Grid FTP服務(wù)集群，將待傳輸?shù)臄?shù)據(jù)分配到集群內(nèi)所有尚未滿載的Grid FTP服務(wù)器上，讓當(dāng)前所有服務(wù)節(jié)點上的空閑資源都參與服務(wù)，且由當(dāng)前傳輸性能優(yōu)良的節(jié)點負(fù)責(zé)傳輸較多的數(shù)據(jù)。

1)動態(tài)數(shù)據(jù)分塊和服務(wù)性能加權(quán)的負(fù)載均衡算法。基于上述策略，本文將服務(wù)節(jié)點選擇、數(shù)據(jù)分塊和分配等問題統(tǒng)一起來考慮，設(shè)計了動態(tài)數(shù)據(jù)分塊和服務(wù)性能加權(quán)的負(fù)載均衡算法。該算法主要包括以下步驟：

（1）評估集群中各服務(wù)節(jié)點的性能，計算各節(jié)點的性能權(quán)值。服務(wù)節(jié)點的性能可以采用最大并發(fā)數(shù)、最高傳輸速率及當(dāng)前負(fù)載等多個指標(biāo)進(jìn)行綜合評價。而對于本文所研究的問題而言，需重點關(guān)注是反映各節(jié)點當(dāng)前數(shù)據(jù)傳輸性能的指標(biāo)。因此，本文采用當(dāng)前可提供數(shù)據(jù)傳輸速率作為反映節(jié)點性能的評價指標(biāo)，并依據(jù)這一指標(biāo)來計算各節(jié)點的性能權(quán)值。

記節(jié)點 I當(dāng)前可提供數(shù)據(jù)傳輸速率為Vi，最大數(shù)據(jù)傳輸速率為MVi，當(dāng)前數(shù)據(jù)傳輸速率為CVi，則有：

即節(jié)點當(dāng)前可提供數(shù)據(jù)傳輸速率的取值為該節(jié)點最大數(shù)據(jù)傳輸速率與當(dāng)前數(shù)據(jù)傳輸速率之差。其中MVi反映了服務(wù)節(jié)點固有的網(wǎng)絡(luò)傳輸性能，可通過理論計算或?qū)崪y得到；CVi可通過動態(tài)檢測服務(wù)節(jié)點的網(wǎng)絡(luò)流量而得到。

本文基于“占比”的規(guī)則將節(jié)點當(dāng)前可提供數(shù)據(jù)傳輸速率量化為其性能權(quán)值，記節(jié)點I當(dāng)前性能權(quán)值為Pi，則有：

式中，n為服務(wù)集群中參與本次數(shù)據(jù)傳輸?shù)墓?jié)點個數(shù)（也即服務(wù)集群中未滿載的節(jié)點個數(shù)）。

（2）根據(jù)各服務(wù)節(jié)點性能權(quán)值的大小比例來動態(tài)分配待傳輸?shù)臄?shù)據(jù)塊。設(shè)待傳輸?shù)臄?shù)據(jù)大小為 M，集群中有 n個節(jié)點參與傳輸，分配給該節(jié)點的數(shù)據(jù)塊大小為Mi，則Mi按如下公式計算：

2）動態(tài)數(shù)據(jù)分塊和服務(wù)性能加權(quán)的負(fù)載均衡算法特點分析。傳統(tǒng)的負(fù)載均衡算法是將任務(wù)整體分配給當(dāng)前負(fù)載最輕的服務(wù)節(jié)點，在多用戶并發(fā)時，形成一臺服務(wù)器對多個客戶端的格局[8]，如圖1(a)所示；而本文設(shè)計的負(fù)載均衡算法利用了Grid FTP帶狀數(shù)據(jù)傳輸機(jī)制提供多個服務(wù)節(jié)點同時為一個客戶端提供數(shù)據(jù)服務(wù)。在多用戶并發(fā)時，形成多臺服務(wù)器對多個客戶端進(jìn)行并行數(shù)據(jù)傳輸?shù)母窬郑鐖D 1(b)所示；而且算法通過性能加權(quán)的數(shù)據(jù)分塊策略為傳輸性能好的節(jié)點分配了較多的數(shù)據(jù)，從而能夠在整體上提高集群資源的利用率，縮短傳輸大數(shù)據(jù)量數(shù)據(jù)所需的時間，提高數(shù)據(jù)傳輸效率。

3）基于Grid FTP集群的空間數(shù)據(jù)服務(wù)實現(xiàn)模式。基于上述優(yōu)化策略，本文設(shè)計了基于Grid FTP集群的空間數(shù)據(jù)服務(wù)網(wǎng)關(guān)，其構(gòu)成如圖2所示。

圖1 動態(tài)數(shù)據(jù)分塊和服務(wù)性能加權(quán)的負(fù)載調(diào)度算法與傳統(tǒng)算法的對比

圖2 基于Grid FTP集群的數(shù)據(jù)網(wǎng)關(guān)架構(gòu)

網(wǎng)關(guān)的核心構(gòu)成是數(shù)據(jù)傳輸服務(wù)集群和負(fù)載調(diào)度模塊。數(shù)據(jù)傳輸服務(wù)集群提供了構(gòu)建高速數(shù)據(jù)傳輸服務(wù)的基礎(chǔ)設(shè)施，而負(fù)載調(diào)度模塊則實現(xiàn)了動態(tài)數(shù)據(jù)分塊和服務(wù)性能加權(quán)的負(fù)載均衡算法。基于該數(shù)據(jù)網(wǎng)關(guān)的數(shù)據(jù)服務(wù)實現(xiàn)機(jī)制為：

（1）客戶端向數(shù)據(jù)網(wǎng)關(guān)的接口模塊發(fā)送數(shù)據(jù)請求；

（2）接口模塊解析數(shù)據(jù)請求參數(shù)并將參數(shù)傳遞給數(shù)據(jù)提取模塊；

（3）數(shù)據(jù)提取模塊根據(jù)數(shù)據(jù)請求參數(shù)從本地數(shù)據(jù)管理系統(tǒng)中提取數(shù)據(jù)，并將數(shù)據(jù)直接傳遞給數(shù)據(jù)封裝模塊；同時將數(shù)據(jù)量大小信息傳送給負(fù)載調(diào)度模塊；

（4）負(fù)載調(diào)度模塊根據(jù)待傳輸?shù)臄?shù)據(jù)大小和集群中各服務(wù)節(jié)點的當(dāng)前性能運(yùn)用負(fù)載均衡算法生成并行數(shù)據(jù)傳輸方案；并將傳輸方案編碼為XML文檔，隨響應(yīng)消息返回給客戶端；

（5）客戶端根據(jù)傳輸方案向數(shù)據(jù)傳輸服務(wù)節(jié)點發(fā)起數(shù)據(jù)請求，基于Grid FTP協(xié)議獲取數(shù)據(jù)。

3 實驗分析

為驗證基于動態(tài)數(shù)據(jù)分塊和服務(wù)性能加權(quán)的負(fù)載均衡算法在優(yōu)化數(shù)據(jù)傳輸效率方面的實際效果，本文采用傳統(tǒng)的動態(tài)性能加權(quán)輪轉(zhuǎn)算法和本文所設(shè)計算法分別進(jìn)行數(shù)據(jù)傳輸實驗，對比分析 2種算法的實際傳輸效率。

3.1 實驗環(huán)境

實驗在互聯(lián)網(wǎng)環(huán)境下進(jìn)行，采用1臺PC機(jī)作為客戶端，百兆接入互聯(lián)網(wǎng)；3臺數(shù)據(jù)服務(wù)器配置為服務(wù)集群，千兆接入互聯(lián)網(wǎng)；各節(jié)點計算機(jī)的軟硬件配置如表1所示。

表1 節(jié)點計算機(jī)的軟硬件配置

實驗采用的數(shù)據(jù)為大小不同的6個 TIF格式的影像數(shù)據(jù)文件，如表 2所示。實驗前所有文件均已部署至各數(shù)據(jù)服務(wù)節(jié)點。

表2 實驗數(shù)據(jù)說明

3.2 實驗過程及結(jié)果分析

本文首先采用傳統(tǒng)的性能加權(quán)輪轉(zhuǎn)算法和本文所設(shè)計的基于動態(tài)數(shù)據(jù)分塊和服務(wù)性能加權(quán)的負(fù)載均衡算法分別進(jìn)行了從客戶端向服務(wù)集群請求 Datafile3的實驗，對比觀察 2種算法在節(jié)點數(shù)據(jù)分配和傳輸耗時方面的情況。

實驗時采用工具軟件將2號和3號服務(wù)節(jié)點的當(dāng)前可用帶寬限定為其總帶寬的50%，即模擬其當(dāng)前負(fù)載為50%，1號服務(wù)節(jié)點為空載。采用2種算法分別進(jìn)行10次實驗取平均值，結(jié)果如表3和圖3所示。

表3 實驗結(jié)果

從實驗結(jié)果可知，本文所設(shè)計算法的傳輸效率要優(yōu)于傳統(tǒng)的算法，原因是該算法利用了集群中所有可以利用的服務(wù)節(jié)點資源，因而具有較高的傳輸效率。可以推論，集群中未達(dá)到滿載的服務(wù)節(jié)點數(shù)越多，則算法的優(yōu)勢越明顯；并發(fā)用戶數(shù)越多，集群中各節(jié)點負(fù)載越大（各節(jié)點負(fù)載相對較均衡，但均未達(dá)到滿載的情況下），算法的優(yōu)勢就越明顯。

圖3 數(shù)據(jù)傳輸效率對比

此外，為比對分析不同大小數(shù)據(jù)量情況下 2種算法的傳輸效率，本文利用表 2所列的其他實驗數(shù)據(jù)分別重復(fù)進(jìn)行了上述實驗，實驗結(jié)果如表4和圖4所示。

表4 實驗結(jié)果

圖4 傳輸不同大小數(shù)據(jù)時的效率對比

實驗結(jié)果表明，傳輸?shù)臄?shù)據(jù)量越大，算法在數(shù)據(jù)傳輸效率方面的優(yōu)勢就越明顯。

4 結(jié)論與展望

實驗結(jié)果表明，本文所提出的基于Grid FTP集群的空間數(shù)據(jù)服務(wù)效率優(yōu)化策略是可行和有效的。相對于傳統(tǒng)的算法而言，該算法能夠顯著改善傳輸大數(shù)據(jù)量數(shù)據(jù)時的傳輸效率。

實驗中也發(fā)現(xiàn)了算法的不足，其缺陷在于該算法僅在傳輸前計算各服務(wù)節(jié)點的當(dāng)前性能權(quán)重并一次性分配數(shù)據(jù)塊大小，分配后在傳輸?shù)倪^程中不再改變，因此不能適應(yīng)數(shù)據(jù)傳輸過程中各節(jié)點性能動態(tài)變化的情況。

一種改進(jìn)的策略是將待傳輸?shù)臄?shù)據(jù)分為若干個等大小的數(shù)據(jù)塊，分多次動態(tài)地將數(shù)據(jù)塊分配至集群中未滿載的服務(wù)節(jié)點。但對于所劃分?jǐn)?shù)據(jù)塊的大小、服務(wù)節(jié)點性能參數(shù)的采集周期等問題都需要開展進(jìn)一步的研究，這將是本文下一步的研究方向。

[1] 朱欣焰.面向網(wǎng)絡(luò)的海量影像空間數(shù)據(jù)在線分發(fā)技術(shù)[J].武漢大學(xué)學(xué)報：信息科學(xué)版，2003, 28(3):288-293

[2] 朱江,張立立,曾志明,等.海量影像數(shù)據(jù)的發(fā)布集群系統(tǒng)與應(yīng)用[J].地球信息科學(xué),2006(2).

[3] 王立,邸瑞華.應(yīng)用Web服務(wù)實現(xiàn)遠(yuǎn)程教育平臺間數(shù)據(jù)傳輸[J].通訊和計算機(jī),2006,3(4):57-60

[4] 汪萌.基于Globus存儲網(wǎng)格傳輸服務(wù)的研究與實現(xiàn)[D].北京：北京交通大學(xué),2008

[5] Ian Foster.The Grid:A New Infrastructure for 21stCentury Science[J].Physics Today，2002，55(2):42-47

[6] V Carclellini,M Colajanni,PSYu.Dynamic Load Balancing on Web-Server Systems[J].IEEE InternetComputing 1999,28-39

[7] 陳登偉,魯智勇.網(wǎng)絡(luò)動態(tài)負(fù)載均衡算法分析[J].現(xiàn)代電子技術(shù).2003(21):81-84

[8] 古俐明.集群服務(wù)器負(fù)載均衡技術(shù)研究[J].微計算機(jī)信息, 2007,23(12):112-113

Research on Efficiency Improving for Spatial Data Service

by WANG Lianbei

Based on the present situation and characteristic of spatial data service technologies,technological approaches for efficiency improving were discussed in this paper.The efficiency improving strategy was presented based on Grid FTP Services.A load balancing algorithms which distributed data block onto nodes in data service cluster according to their current performance was designed and applied on spatial data service experiment.The result demonstrated that the efficiency improving strategy presented in this paper can improve the efficiency of data distributing.

spatial data,data service,distributing efficiency,load balancing,Grid FTP （Page:32）

P208

B

1672-4623(2011)02-0032-03

2010-03-25

項目來源：國家863計劃資助項目（2009AA12Z218）。

王連備，博士，研究方向為影像空間信息系統(tǒng)。