分布式環(huán)境下的GML存儲(chǔ)

郭志恒，劉艷俊，敖杰剛

(江西理工大學(xué)建筑與測(cè)繪工程學(xué)院，江西贛州 341000)

分布式環(huán)境下的GML存儲(chǔ)

郭志恒?，劉艷俊，敖杰剛

(江西理工大學(xué)建筑與測(cè)繪工程學(xué)院，江西贛州 341000)

由于GML空間數(shù)據(jù)的急劇增加，單機(jī)存儲(chǔ)已不能滿足其發(fā)展的需要，為了能夠更好共享和管理網(wǎng)絡(luò)地理信息以及針對(duì)海量GML數(shù)據(jù)的存儲(chǔ)問題，本課題研究在分布式環(huán)境下對(duì)GML空間數(shù)據(jù)進(jìn)行存儲(chǔ)，進(jìn)而提高資源利用率。搭建Hadoop平臺(tái)對(duì)GML空間數(shù)據(jù)按其模式分為不同的數(shù)據(jù)集，把同一數(shù)據(jù)集的數(shù)據(jù)分別存儲(chǔ)在不同存儲(chǔ)節(jié)點(diǎn)上，并用一個(gè)主目錄節(jié)點(diǎn)來(lái)存儲(chǔ)用戶信息和各個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)信息等元數(shù)據(jù)。

GML；分布式存儲(chǔ)；虛擬化；Hadoop

1 引 言

隨著互聯(lián)網(wǎng)信息技術(shù)的飛速發(fā)展，空間數(shù)據(jù)的信息量呈爆炸性的增長(zhǎng)，如何對(duì)這些數(shù)據(jù)進(jìn)行有效的存儲(chǔ)及其存儲(chǔ)效率、訪問共享程度和互操作性是人們?cè)絹?lái)越關(guān)注的問題。地理信息系統(tǒng)是以空間數(shù)據(jù)為基礎(chǔ)的，處理好空間數(shù)據(jù)的存儲(chǔ)問題，將從根本上促進(jìn)GIS的發(fā)展。對(duì)于海量數(shù)據(jù)的單機(jī)存儲(chǔ)已不能滿足發(fā)展的需要，進(jìn)而把數(shù)據(jù)存儲(chǔ)作為單獨(dú)的項(xiàng)目提出來(lái)進(jìn)行研究也是一種趨勢(shì)，它可以利用分布式存儲(chǔ)的高可靠性、高擴(kuò)展性、高通用性及大容量存儲(chǔ)的特點(diǎn)。GML是以一種互聯(lián)網(wǎng)上容易共享的方式來(lái)描述、表達(dá)地理對(duì)象的空間和非空間屬性，隨著互聯(lián)網(wǎng)的發(fā)展其數(shù)據(jù)量飛速的增長(zhǎng)，如何對(duì)這些數(shù)據(jù)進(jìn)行有效的存儲(chǔ)和管理直接制約著GML和網(wǎng)絡(luò)空間信息的發(fā)展。顯然分布式存儲(chǔ)是其最好的選擇，既能有效存儲(chǔ)又有利于空間信息的共享。

2 分布式存儲(chǔ)的關(guān)鍵技術(shù)

2.1 虛擬化技術(shù)

虛擬化技術(shù)從廣義上講就是通過映射或抽象的方式屏蔽了物理存儲(chǔ)設(shè)備的復(fù)雜性，增加一個(gè)管理層面對(duì)基礎(chǔ)存儲(chǔ)設(shè)施進(jìn)行管理。存儲(chǔ)虛擬化的思想是將資源的邏輯映象與物理存儲(chǔ)分開，所展現(xiàn)出來(lái)的是一個(gè)整體的簡(jiǎn)化，虛擬化的界面，如同在單機(jī)上進(jìn)行數(shù)據(jù)存儲(chǔ)的操作。虛擬化軟件需要實(shí)現(xiàn)對(duì)硬件的抽象，資源的分配、調(diào)度和管理等。

網(wǎng)絡(luò)虛擬化區(qū)別于單機(jī)虛擬化技術(shù)的重要特征是通過整合物理資源形成資源池，并通過資源管理層實(shí)現(xiàn)對(duì)資源池中虛擬資源的調(diào)度。分布式存儲(chǔ)系統(tǒng)的資源管理需要負(fù)責(zé)資源管理、任務(wù)管理、用戶管理和安全管理等工作，實(shí)現(xiàn)節(jié)點(diǎn)故障的屏蔽，資源狀況監(jiān)視，用戶任務(wù)調(diào)度，用戶身份管理等多重功能。

2.2 數(shù)據(jù)分割策略

針對(duì)GML空間數(shù)據(jù)根據(jù)其特征進(jìn)行數(shù)據(jù)分割處理，以模式為單位將具有相同模式的GML文檔存儲(chǔ)在同一個(gè)數(shù)據(jù)集中，不同的模式對(duì)應(yīng)不同的數(shù)據(jù)集；GML文檔通過解析以要素類型為單位進(jìn)行存儲(chǔ)，同一數(shù)據(jù)集中，相同類型的要素存儲(chǔ)在同一個(gè)文件中。這樣可以通過GML空間數(shù)據(jù)的模式來(lái)對(duì)數(shù)據(jù)文檔進(jìn)行管理，在需要這些數(shù)據(jù)時(shí)可以很快的查找到并讀取，進(jìn)而提高數(shù)據(jù)訪問和處理效率。

2.3 存儲(chǔ)資源分配

存儲(chǔ)資源分配的依據(jù)是數(shù)據(jù)的提供者對(duì)其數(shù)據(jù)量的描述參數(shù)，以及存儲(chǔ)資源的擁有者對(duì)資源使用所制定的策略。存儲(chǔ)資源的分配需要借助合理的資源描述來(lái)實(shí)現(xiàn)。對(duì)資源有兩方面的描述，在資源提供者一端提供可用資源的信息；在資源的請(qǐng)求者一端，說(shuō)明該數(shù)據(jù)對(duì)資源的需求。在擁有多資源和多用戶的動(dòng)態(tài)分布式存儲(chǔ)環(huán)境中，資源的分配需要考慮兩種情況:一是如何從多個(gè)可用的資源中選擇一個(gè)或多個(gè)合適的資源分配給請(qǐng)求的用戶使用；二是如何從請(qǐng)求同一資源的多個(gè)用戶中決定哪一個(gè)用戶可以使用此資源。這兩個(gè)問題關(guān)系到存儲(chǔ)資源的利用率及其對(duì)數(shù)據(jù)存儲(chǔ)的處理效率，也是提高資源共享利用需要解決的問題。

2.4 Hadoop開源平臺(tái)

本課題采用Hadoop開源平臺(tái)來(lái)實(shí)現(xiàn)對(duì)海量GML數(shù)據(jù)的存儲(chǔ)，平臺(tái)的搭建需要很多相關(guān)軟件的安裝及多臺(tái)存儲(chǔ)設(shè)備間相互通信和協(xié)調(diào)工作。Hadoop平臺(tái)運(yùn)行在Linux系統(tǒng)中，是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，用戶在不了解分布式底層細(xì)節(jié)的情況下也可以分布式程序，利用計(jì)算機(jī)集群來(lái)實(shí)現(xiàn)高速的存儲(chǔ)和計(jì)算。Hadoop平臺(tái)主要是由HDFS、MapReduce和Hbase組成。

3 GML空間數(shù)據(jù)分布式存儲(chǔ)模塊

GML數(shù)據(jù)是基于XML編碼的一種空間數(shù)據(jù)，它的存儲(chǔ)管理可以借鑒XML的數(shù)據(jù)管理技術(shù)，在XML數(shù)據(jù)庫(kù)技術(shù)的基礎(chǔ)上進(jìn)行擴(kuò)展。本原GML空間數(shù)據(jù)庫(kù)是專門設(shè)計(jì)用于存儲(chǔ)和管理GML文檔或GML文檔片段(如要素)的空間數(shù)據(jù)庫(kù)，以GML文檔或GML文檔片段作為數(shù)據(jù)庫(kù)的存儲(chǔ)單元進(jìn)行操作和管理。

3.1 存儲(chǔ)模塊架構(gòu)設(shè)計(jì)

分布式存儲(chǔ)系統(tǒng)中有三部分端點(diǎn)組成:客戶端、目錄存儲(chǔ)節(jié)點(diǎn)(NameNode)和數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)(DataNode)。客戶端是此架構(gòu)的核心，系統(tǒng)中的所有操作指令都是由客戶端發(fā)出的；管理節(jié)點(diǎn)主要存儲(chǔ)的是元數(shù)據(jù)，用來(lái)存儲(chǔ)子節(jié)點(diǎn)信息、注冊(cè)用戶及其存儲(chǔ)數(shù)據(jù)的信息，客戶可以通過管理節(jié)點(diǎn)獲得整個(gè)機(jī)群的信息以便與各子節(jié)點(diǎn)進(jìn)行連接，完成數(shù)據(jù)的存儲(chǔ)任務(wù)；子節(jié)點(diǎn)是主要數(shù)據(jù)的存儲(chǔ)節(jié)點(diǎn)，其IP地址、端口號(hào)、最大空間、剩余空間等信息時(shí)刻向管理節(jié)點(diǎn)進(jìn)行反饋。其存儲(chǔ)架構(gòu)圖1所示。

圖1 分布式存儲(chǔ)結(jié)構(gòu)

3.2 GML分布式存儲(chǔ)流程

(1)預(yù)定義空間數(shù)據(jù)庫(kù)模式，依照GML模式來(lái)設(shè)定GML空間數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)，在存儲(chǔ)過程中可根據(jù)GML模式對(duì)需要存儲(chǔ)的GML文檔實(shí)例進(jìn)行分類分別存儲(chǔ)。

(2)載入GML文檔實(shí)例，對(duì)其進(jìn)行有效檢查，當(dāng)確認(rèn)該實(shí)例具有良好的格式時(shí)，系統(tǒng)將根據(jù)相應(yīng)的映射規(guī)則建立GML文檔與存儲(chǔ)結(jié)構(gòu)的對(duì)應(yīng)關(guān)系，進(jìn)而分解存儲(chǔ)。GML文檔中可包含多個(gè)要素集，每個(gè)要素集由多個(gè)要素構(gòu)成，通常單個(gè)圖層的GML文檔只含有一個(gè)要素集，該要素集對(duì)應(yīng)一個(gè)模式，當(dāng)數(shù)據(jù)庫(kù)中沒有該數(shù)據(jù)集的相應(yīng)模式時(shí)，導(dǎo)入其模式文件。

(3)解析GML文檔，提取文檔中的空間數(shù)據(jù)并存入數(shù)據(jù)庫(kù)模式中。模式中的數(shù)據(jù)模型主要有要素集、要素、幾何、拓?fù)?類模型。存儲(chǔ)過程中要注意4種對(duì)象間的關(guān)聯(lián)。

(4)針對(duì)某一模式下的數(shù)據(jù)集進(jìn)行存儲(chǔ)時(shí)，當(dāng)其數(shù)據(jù)量比較大，而存儲(chǔ)的效率又比較低時(shí)，可采取分布式存儲(chǔ)，根據(jù)各存儲(chǔ)設(shè)備的信息和此數(shù)據(jù)集的相應(yīng)信息，選擇合適的一個(gè)或多個(gè)存儲(chǔ)設(shè)備來(lái)存儲(chǔ)，以要素為單位進(jìn)行分布式存儲(chǔ)。GML空間數(shù)據(jù)的分布式存儲(chǔ)流程如圖2所示。

圖2 GML分布式存儲(chǔ)流程

3.3 GML文檔存儲(chǔ)實(shí)例分析

對(duì)GML空間數(shù)據(jù)的存儲(chǔ)，首先是對(duì)GML模式文檔進(jìn)行辨別，注冊(cè)其模式文檔，按模式劃分?jǐn)?shù)據(jù)集。在同一數(shù)據(jù)集下，查看其實(shí)例數(shù)據(jù)量的大小及各存儲(chǔ)節(jié)點(diǎn)的信息，進(jìn)行適當(dāng)?shù)膭澐衷俜謩e存儲(chǔ)在合適的節(jié)點(diǎn)中。如下要素應(yīng)用模式分析:

通過模式對(duì)實(shí)例文檔以要素為最小單位進(jìn)行劃分，將要素內(nèi)的元素及其屬性封裝到要素內(nèi)不用再進(jìn)行解析，當(dāng)要素的數(shù)據(jù)量達(dá)到一定大小時(shí)將其分塊處理，依據(jù)存儲(chǔ)節(jié)點(diǎn)信息將這些數(shù)據(jù)塊并行存儲(chǔ)到相應(yīng)的節(jié)點(diǎn)中，而存儲(chǔ)信息的元數(shù)據(jù)都存儲(chǔ)在主目錄節(jié)點(diǎn)中，方便對(duì)GML數(shù)據(jù)的訪問和查詢等操作。

4 結(jié) 語(yǔ)

采用分布式存儲(chǔ)是未來(lái)海量數(shù)據(jù)存儲(chǔ)的趨勢(shì)，它能夠充分利用空間資源，提高資源利用率，但還有很多技術(shù)發(fā)展不夠成熟，甚至是剛剛起步，特別是Hadoop平臺(tái)發(fā)展還不是很完善，這需要我們認(rèn)識(shí)到分布式存儲(chǔ)的重要性，進(jìn)一步去研究，相信在不久的將來(lái)分布式存儲(chǔ)會(huì)成為主要的存儲(chǔ)方式。

[1] http://www.chinacloud.cn/

[2] 蘭小機(jī)著.GML空間數(shù)據(jù)庫(kù)理論及GMLGIS[M].北京:地質(zhì)出版社，2010

[3] 王鵬.云計(jì)算的關(guān)鍵技術(shù)與應(yīng)用實(shí)例[M].北京:人民郵電出版社，2010

[4] 肖輝輝.GML空間數(shù)據(jù)存儲(chǔ)研究[D].江西理工大學(xué)，2009

[5] 馬冬青.基于Oracle XML DB技術(shù)的GML數(shù)據(jù)存儲(chǔ)研究[D].中南大學(xué)，2008

[6] 史婷婷，李巖，王鵬.基于GML空間數(shù)據(jù)存儲(chǔ)方法研究與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用，2006(10)

[7] 李俊，關(guān)佶紅，李玉珍.GML空間數(shù)據(jù)存儲(chǔ)映射模型研究[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2004(12)

寧波市測(cè)繪設(shè)計(jì)研究院取得無(wú)人飛行器航攝資質(zhì)

(本刊訊)日前，寧波市測(cè)繪設(shè)計(jì)研究院新申報(bào)的無(wú)人飛行器航攝資質(zhì)通過審核，獲得浙江省測(cè)繪與地理信息局頒發(fā)的測(cè)繪航空攝影乙級(jí)資質(zhì)證書。

今年3月，寧波市測(cè)繪設(shè)計(jì)研究院租用無(wú)人機(jī)完成了杭州灣新區(qū)航攝遙感任務(wù)。實(shí)踐證明利用無(wú)人飛行器能快速獲取高分辨率影像，具有機(jī)動(dòng)靈活、高效快速、精細(xì)準(zhǔn)確、作業(yè)成本低、適用范圍廣的優(yōu)點(diǎn)。此后，該院派員參加了數(shù)字?jǐn)z影測(cè)量網(wǎng)格系統(tǒng)技術(shù)與應(yīng)用系列培訓(xùn)，邀請(qǐng)武漢大學(xué)測(cè)繪學(xué)院博士來(lái)院作專題技術(shù)講座，斥資購(gòu)買了兩架無(wú)人機(jī)，同時(shí)申報(bào)測(cè)繪航空攝影資質(zhì)。此次取得資質(zhì)，為合法開展寧波市“無(wú)人機(jī)測(cè)量系統(tǒng)及建設(shè)”項(xiàng)目，加快構(gòu)建寧波市“智慧位置服務(wù)平臺(tái)”做好了組織準(zhǔn)備。

(寧波市測(cè)繪設(shè)計(jì)研究院 顧開建供稿)

GML Storage Distributed Environment

Guo Zhiheng，Liu Yanjun，Ao Jiegang
(Jiangxi University of Science and Technology Building and Surveying and Mapping Engineering Institute，Ganzhou 341000，China)

Due to the rapid increase of GML spatial data，standalone storage already cannot satisfy its development needs，in order to better sharing and management network，and the view of the mass of geographical information，the data storage GML study of this subject in distributed environment of GML space data storage，and improve the resources utilization.Build for Hadoop platform according to their model of GML spatial data divided into different datasets，put the same set of data stored in the data are different storage nodes，with a main directory node to store user information and each data storage nodes information metadata.

GML；distributed storage；virtualization；Hadoop

2011—05—23

郭志恒(1984—)，男，碩士研究生，研究方向:GIS應(yīng)用與開發(fā)。

江西省研究生創(chuàng)新專項(xiàng)基金項(xiàng)目(YC10A098)

1672－8262(2011)05－142－03

P209，TP311.12

B