基于分布式文件系統(tǒng)的即插即用方法研究

摘 要:按照地球剖分理論，地球表面經(jīng)過剖分后，單個剖分面片將對應所屬的地理信息數(shù)據(jù)載體。在實際應用中需要動態(tài)調(diào)度不同面片的數(shù)據(jù)，與之對應的存儲載體頻繁接入、退出系統(tǒng)。分布式文件系統(tǒng)是目前海量數(shù)據(jù)存儲的首要解決方案，但尚未廣泛應用到全球地理信息系統(tǒng)中。以分布式文件系統(tǒng)理論為基礎，通過物理、協(xié)議、應用三個層次的分析，提出包括網(wǎng)絡環(huán)境即插即用、網(wǎng)絡資源搜索技術以及全球多維GIS數(shù)據(jù)模型設計等在內(nèi)的關鍵技術，以實現(xiàn)全球地理信息系統(tǒng)中存儲設備靈活接入和移出存儲集群，為全球地理信息系統(tǒng)的存儲資源管理提供積極的思路與方法。

關鍵詞:分布式文件系統(tǒng);全球地理信息系統(tǒng);即插即用技術;資源動態(tài)調(diào)度

中圖分類號:TP391文獻標識碼:A

文章編號:1004-373X(2010)02-057-03

Research of Quick Insertion and Usage Method Based on Distributed File System

TIAN Xiaobo，XU Xin

(Electronic Science and Engineering Institute，National University of Defence and Technology，Changsha，410073，China)

Abstract:By the theory of global partition，every partition slice can contact with its geographical information data storage after the globe is partitioned.In the occasion of practical usage，dynamic data movements of different partition slice are usually needed，the devices which store information get in and out of system frequently.Distibuted file system is now the main resolvement for massive data storage，but hardly applied in global GIS.Based on distributed file system brings forward corresponding key techniques and methods including network quick insertion and usage，network searching techniques and global multi_dimentional data module designing，for the fulfillment of agile getting in and getting out with the storage devive.This paper supplies positive idea and method for management of global GIS.

Keywords:distibuted file system;global geographical information system;quick insertion and usage;dynamic resource movement

0 引 言

地理信息系統(tǒng)(GIS)是一個用于管理、分析和顯示，并在不同系統(tǒng)和地點的用戶間傳遞地理信息數(shù)據(jù)的系統(tǒng)。隨著科技的不斷進步，數(shù)字化地球日益成為關注的焦點，對地理信息系統(tǒng)已經(jīng)產(chǎn)生了更高的要求，全球化即是一個重要的發(fā)展趨勢。全球地理信息系統(tǒng)的概念是由Gold提出的[1]，他認為全球GIS與傳統(tǒng)GIS的主要區(qū)別包括基于全球網(wǎng)格支持對海量數(shù)據(jù)處理，以及直接基于球體或橢球體的表面操作。地理信息系統(tǒng)向全球化、多維化、支持多分辨率及多尺度數(shù)據(jù)、支持PB級規(guī)模數(shù)據(jù)存儲調(diào)度的方向發(fā)展將是未來GIS的趨勢。

全球GIS的發(fā)展為地理信息數(shù)據(jù)的存儲調(diào)度帶來了新的機遇與挑戰(zhàn)。要實現(xiàn)全球GIS，需要構建一個高可靠性、高可用性、高穩(wěn)定性、超大規(guī)模吞吐率的地理信息數(shù)據(jù)系統(tǒng)作為應用平臺。傳統(tǒng)的文件系統(tǒng)將海量的數(shù)據(jù)積累在少數(shù)的計算中心，導致網(wǎng)絡超負荷工作，大量終端的處理能力閑置[2]。然而，分布式文件系統(tǒng)通過網(wǎng)絡訪問每個節(jié)點的存儲空間，使得分布在各個節(jié)點的存儲資源形成虛擬的存儲設備，具備成本低廉，容錯性強，安全性高等特點，其應用體現(xiàn)出巨大的優(yōu)勢，非常適合構建全球GIS應用平臺。

地球經(jīng)過相關剖分理論進行剖分，構建分布式文件系統(tǒng)后，全球地理信息數(shù)據(jù)將按照剖分區(qū)域分別存儲在對應的網(wǎng)絡存儲節(jié)點上。為了滿足分布式文件系統(tǒng)高度的可擴展性和靈活性，廣義的存儲節(jié)點可以是計算機終端設備，也可以是移動電子硬盤、光盤、USB閃存等移動存儲介質。分布式文件系統(tǒng)面臨的最大挑戰(zhàn)之一是頻繁的節(jié)點失效，每時每刻任何網(wǎng)絡節(jié)點都可能因產(chǎn)生故障而退出系統(tǒng);隨著數(shù)據(jù)量的不斷增長，系統(tǒng)將不斷擴充其存儲容量，增加相應的存儲節(jié)點;當用戶需要查詢某一地理區(qū)域的數(shù)據(jù)時，都會將對應的存儲節(jié)點納入整個文件系統(tǒng)中進行數(shù)據(jù)調(diào)度。以上應用都需要對存儲節(jié)點做頻繁變動。這里突破傳統(tǒng)意義上設備層次的概念，提出基于分布式文件系統(tǒng)的即插即用技術，即存儲節(jié)點不需要經(jīng)過文件系統(tǒng)進行復雜的識別、配置。在盡可能短的時間段內(nèi)完成納入及退出整個文件系統(tǒng)的過程，在物理層次、協(xié)議層次、應用層次實現(xiàn)接入后，即可以立即投入使用。

1 架構體系

隨著計算機技術的進步，各種相關理論、產(chǎn)品、技術不斷應運而生，移動存儲介質呈現(xiàn)出空前的多樣化，連入網(wǎng)絡的設備也不再局限于個人電腦和工作站等傳統(tǒng)意義上的計算機，還包括許多個人通信設備和移動存儲設備，例如3G手機、數(shù)碼相機、電視機機頂盒等智能設備[3]。這些設備都可以成為分布式文件系統(tǒng)的存儲節(jié)點。基于分布式文件系統(tǒng)的即插即用技術對上述設備的具體支持體現(xiàn)在以下幾個方面:

1.1 物理層次

負責物理連接上的配置與使能。當存儲地理信息數(shù)據(jù)的硬件實體接入分布式文件系統(tǒng)后，系統(tǒng)不需要預先獲悉硬件實體的位置，以及安裝驅動程序，只需通過判斷硬件實體發(fā)布的描述信息，即可決定是否接納該設備成為自身的存儲節(jié)點，具體流程見圖1所示。

圖1 即插即用物理層次的流程圖

1.2 協(xié)議層次

在物理層次的基礎上，負責實現(xiàn)存儲節(jié)點與分布式文件系統(tǒng)的交互工作。具體包括:

1.2.1 加入和退出協(xié)議

研究將存儲相應地理信息數(shù)據(jù)的硬件實體接入分布式文件系統(tǒng)后的認證，以及用戶對存儲所需地理信息數(shù)據(jù)的硬件實體利用完畢后，系統(tǒng)確認硬件可以安全移除的機制。

在加入時，硬件實體發(fā)布自身的描述信息，以備系統(tǒng)識別。系統(tǒng)根據(jù)描述信息決定是否接納該硬件實體形成系統(tǒng)節(jié)點，并更新系統(tǒng)節(jié)點列表。在退出時，硬件實體發(fā)出退出申請，系統(tǒng)根據(jù)當前網(wǎng)絡的應用狀態(tài)決定是否允許該節(jié)點脫離系統(tǒng)。

1.2.2 數(shù)據(jù)傳輸協(xié)議

負責設計三維地理信息系統(tǒng)數(shù)據(jù)模型及數(shù)據(jù)傳輸模型，在設計的過程中考慮如下幾個問題[4]。

(1) 通用化原則。

從應用角度分析，三維地理空間信息涉及多個業(yè)務部門，應用背景存在較大差異，具有數(shù)據(jù)分散，類型多樣，多源異構等特點。設計數(shù)據(jù)模型時，應當考慮通用性，以便實現(xiàn)數(shù)據(jù)的共享與交換。

(2) 面向對象原則。

在三維地理信息系統(tǒng)的數(shù)據(jù)模型中各個層次都要面向對象，具體實現(xiàn)時不僅要采用面向對象的程序設計方法，而且面向問題域分析所采用的概念模型也要面向對象。此外提供給用戶使用和二次開發(fā)也應是描述空間實體對象的一些類的集合[5]。

(3) 兼容性原則。

對數(shù)據(jù)的處理常需要導入或導出分布式文件系統(tǒng)內(nèi)的數(shù)據(jù)，所以設計數(shù)據(jù)傳輸模型時，必須考慮與其他應用軟件的兼容性。

1.2.3 數(shù)據(jù)校驗協(xié)議

基于三維地理信息系統(tǒng)數(shù)據(jù)模型，負責對節(jié)點之間傳輸?shù)臄?shù)據(jù)進行檢驗，研究應對傳輸過程中數(shù)據(jù)錯誤的解決方案，為系統(tǒng)的高可靠性提供支撐。

1.2.4 節(jié)點校驗協(xié)議

負責通過驅動系統(tǒng)定期監(jiān)測所屬節(jié)點的工作狀態(tài)及性能，使得用于擴充系統(tǒng)容量的節(jié)點加入系統(tǒng);強制損壞或工作失常的節(jié)點退出系統(tǒng)，實現(xiàn)節(jié)點按需在線、分時段在線。保證對用戶查詢數(shù)據(jù)的快速響應，同時保證系統(tǒng)的高穩(wěn)定性及擴展性。

1.3 應用層次

在存儲實體經(jīng)過認證加入分布式文件系統(tǒng)的基礎上，按照業(yè)務邏輯，結合資源性能參數(shù)及用戶指令動態(tài)分配和調(diào)度各個存儲節(jié)點的功能及數(shù)據(jù)，形成任務流程并執(zhí)行完成任務。

應用層次是基于物理及協(xié)議層次的，旨在建立面向任務的資源調(diào)度模型，設計面向任務的數(shù)據(jù)資源動態(tài)調(diào)度協(xié)議，協(xié)調(diào)系統(tǒng)數(shù)據(jù)資源調(diào)度效率與代價，實現(xiàn)數(shù)據(jù)的高效率調(diào)度分發(fā)。

2 關鍵技術

2.1 網(wǎng)絡環(huán)境即插即用技術

網(wǎng)絡環(huán)境即插即用技術是實現(xiàn)基于分布式文件系統(tǒng)即插即用的基礎，該技術基于網(wǎng)絡工作環(huán)境，面向應用層次需求，總體目標是將網(wǎng)絡轉變成一個靈活、易于管理的工具[6]，使分布式文件系統(tǒng)的各個節(jié)點所裝載的數(shù)據(jù)及服務可以動態(tài)地加入或移出系統(tǒng)。

該技術的核心思想是在分布式文件系統(tǒng)的基礎上開發(fā)一組新的協(xié)議，實現(xiàn)系統(tǒng)與節(jié)點之間的自由交互，其中的關鍵部分如下:

(1) 發(fā)現(xiàn)協(xié)議。

發(fā)現(xiàn)協(xié)議用于自動識別系統(tǒng)環(huán)境節(jié)點的增減變化，通過分析節(jié)點發(fā)布的描述信息，對其進行身份驗證。通過驗證發(fā)現(xiàn)，協(xié)議驅動系統(tǒng)總線將節(jié)點納入分布式文件系統(tǒng)所屬的網(wǎng)絡環(huán)境，并更新系統(tǒng)的節(jié)點信息列表。

(2) 查找協(xié)議。

基于對象類型的查找協(xié)議是分布式文件系統(tǒng)節(jié)點之間互相發(fā)現(xiàn)和交互的基礎[7]，該協(xié)議為系統(tǒng)中的可用節(jié)點及服務提供集中注冊。每個節(jié)點在加入系統(tǒng)之前，首先利用查找協(xié)議查找系統(tǒng)，再按照加入?yún)f(xié)議的規(guī)范進入系統(tǒng)，正式成為系統(tǒng)的一部分。

(3) 租約協(xié)議。

租約協(xié)議實現(xiàn)用戶對系統(tǒng)節(jié)點的合理占用。對請求使用某節(jié)點資源的用戶進行需求等級篩選，保證最需要者優(yōu)先;當租約到期時，系統(tǒng)收回節(jié)點資源，用戶通過更新租約不斷延長對節(jié)點資源的占用。

2.2 網(wǎng)絡資源搜索技術

多任務、多層次、面向實際需求的地理空間數(shù)據(jù)應用是基于分布式文件系統(tǒng)的全球GIS的最終目的，在龐大的網(wǎng)絡環(huán)境中快速、準確地定位用戶所需的數(shù)據(jù)資源是解決網(wǎng)絡資源搜索技術的關鍵[8]。

在比較分析各分布式文件系統(tǒng)資源搜索模型優(yōu)缺點的基礎上，本文認為采用建立在分布式哈希表(DHT)技術基礎上的分布式結構化搜索模型能夠加速查詢的速度，提高安全性，并且占用的網(wǎng)絡帶寬較少，因此是該技術的發(fā)展趨勢。

如圖2所示，應用層次的事件感知、網(wǎng)絡存儲等通過分布式哈希表調(diào)用哈希函數(shù)產(chǎn)生資源名稱。當前，DHT技術正受到研究者們的密切關注，是P2P資源搜索模型研究的焦點。采用DHT技術的典型搜索模型有CAN模型和Tapenstry模型、麻省理工學院的Chord模型、以及MicroSoft的Pastry模型。

圖2 哈希表概念圖

2.3 全球多維GIS數(shù)據(jù)模型的設計

數(shù)據(jù)模型用于抽象表達現(xiàn)實世界的數(shù)據(jù)與信息，全球范圍的空間信息包含尺度、波段、時間、類型等多個維度，涵蓋了時間、空間、頻譜等多種分辨率。全球多維GIS數(shù)據(jù)模型是用于描述上述全球范圍的地理空間信息，并能夠實現(xiàn)高效存儲，快速訪問和易于擴展等特性的數(shù)據(jù)結構。

目前，現(xiàn)有的時空數(shù)據(jù)模型仍然以二維平面GIS為基礎，無法做到真正的時空一體化[1]。主要表現(xiàn)在時間與空間分離，時空內(nèi)涵單一，無法反映地理現(xiàn)象的變化等。基于全球GIS的多維數(shù)據(jù)模型設計應建立在概念層、邏輯層、物理層的基礎上。三個層次的相互關系如圖3所示。

圖3 全球GIS多維數(shù)據(jù)模型設計層次的關系圖

圖3表明，從顯示世界的實體過渡到可在計算機中處理的數(shù)據(jù)模型需要經(jīng)過一系列的設計流程。此外，對全球GIS多維數(shù)據(jù)模型的設計還必須考慮與應用軟件環(huán)境以及其他GIS應用軟件相互兼容的問題。目前國內(nèi)外的一些研究機構已經(jīng)開發(fā)出了一些3D造型軟件，或在原來的2DGIS中增加了三維功能，但是海量三維模型的建立、管理用戶軟件界面設計方面還有待進一步研究[9]。

2.4 面向任務的數(shù)據(jù)資源動態(tài)調(diào)度技術

在現(xiàn)實應用中，需要考慮以下問題:當用戶產(chǎn)生使用某地理空間數(shù)據(jù)的申請時，所對應分布式文件系統(tǒng)的節(jié)點可能處于非工作狀態(tài)，而激活該節(jié)點并將其納入系統(tǒng)可能耗費較大的時間損耗[10];但系統(tǒng)所有的節(jié)點同時處于工作狀態(tài)也會造成不必要的資源浪費，付出昂貴的代價。

本文對解決上述問題提出初步構想，認為可以采用面向任務的數(shù)據(jù)資源調(diào)度技術。具體講，設計基于任務的數(shù)據(jù)調(diào)度模型，采用主動、被動兩種調(diào)度協(xié)議。

通過主動調(diào)度協(xié)議，用戶可以發(fā)送若干類數(shù)據(jù)請求。系統(tǒng)對用戶的身份進行驗證后，檢測對應節(jié)點是否處于工作狀態(tài)，對于尚未啟動的節(jié)點，則以最快速度進行啟動，并納入系統(tǒng)，待數(shù)據(jù)傳輸過程結束后，系統(tǒng)收回用戶對節(jié)點的占有權;通過被動協(xié)議，用戶不發(fā)送數(shù)據(jù)請求。由系統(tǒng)通過熱點分析對用戶可能關注的地理空間所對應的存儲節(jié)點進行篩選，激勵其處于在線工作狀態(tài)，并不斷更新熱點區(qū)域列表，實現(xiàn)按需在線。

3 結 語

隨著地理信息系統(tǒng)理論和技術的不斷發(fā)展，構建全球地理信息系統(tǒng)將是必然趨勢。針對分布式文件系統(tǒng)中頻繁的存儲介質移入移出以及對熱點區(qū)域持續(xù)關注等的現(xiàn)實需求，本文以研究分布式文件系統(tǒng)節(jié)點即插即用技術，面向應用需求，為用戶提供快速、準確的地理信息數(shù)據(jù)處理與應用能力為目標，分析了關鍵技術并提出解決方案。

參考文獻

[1]程承旗，郭輝.全球地理信息系統(tǒng)(GGIS)構架體系初探[J].地理信息世界，2007(6):25_29.

[2]宋智.基于P2P的分布式存儲研究[D].上海:上海大學，2005.

[3]于鉉.基于Jini體系結構的分布式系統(tǒng)研究[D].武漢:武漢理工大學，2003.

[4]孫敏，趙學勝，趙仁亮.Global GIS 及其關鍵技術[J].武漢大學學報:信息科學版，2008(1):41_43.

[5]吳信才，童恒建.三維地理信息系統(tǒng)數(shù)據(jù)模型的設計[J].計算機工程，2004(6):93_94.

[6]張紅蘭.服務的分布式體系應用探討[D].青島:中國海洋大學，2006.

[7]羅強.即插即用技術研究——Jini分析和Ipnp設計[D].成都:電子科技大學，2001.

[9]樊文平，劉榮，宋富林.三維地理信息中3D模型研究綜述[J].地理信息世界，2005(5):37_38.

[8]王永會，宋曉宇，許景科.空間數(shù)據(jù)的混合樹索引結構與訪問引擎的研究[J].小型微型計算機系統(tǒng)，2008(8):1 503_1 505.

[10]范鵬飛，申永軍，孫向輝，等.基于分布式的網(wǎng)絡流量監(jiān)控系統(tǒng)的設計與實現(xiàn)[J].微計算機應用，2007(11):1 149_1 150.

作者簡介 田曉波 男，1985年出生，內(nèi)蒙古呼和浩特人，碩士研究生。研究方向為嵌入式系統(tǒng)設計及固態(tài)存儲技術。