分布式空間信息的對等協(xié)同計(jì)算機(jī)制研究

摘 要：海量空間信息的處理需要分布式協(xié)同工作的GIS平臺(tái)支持。為解決空間數(shù)據(jù)源的異構(gòu)和分布式網(wǎng)絡(luò)中的計(jì)算能力共享問題，設(shè)計(jì)了分布式空間信息的協(xié)同計(jì)算模型，分析了分布式空間信息協(xié)同計(jì)算具備的基本特征；從空間數(shù)據(jù)分布存儲(chǔ)模型、空間數(shù)據(jù)分布式計(jì)算協(xié)同和分布式空間數(shù)據(jù)并行索引等方面討論分布式空間信息的協(xié)同計(jì)算技術(shù)體系，并提出現(xiàn)階段可行的實(shí)現(xiàn)機(jī)制。分布式對等協(xié)同計(jì)算機(jī)制避免了集中式執(zhí)行引擎帶來的網(wǎng)絡(luò)擁塞和單點(diǎn)失效問題，提高了海量空間信息資源和計(jì)算資源協(xié)作的可靠性和可用性。

關(guān)鍵詞：分布式計(jì)算; 協(xié)同計(jì)算; 對等計(jì)算; 地理信息系統(tǒng)

中圖分類號：TP311 文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695(2008)07-2060-04



Study of peertopeer and cooperating computing of distributed geospatial information

CHEN Zhanlong1，2，WU Jie3，XIE Zhong1，WU Liang1(1.Faculty of Information Engineering， China University of Geosciences， Wuhan 430074， China;2.China GIS Software Research Application Engineering Center of Ministry of Education， Wuhan 430074， China;3.School of Software Engineering， Huazhong University of Science Technology， Wuhan 430074， China)

Abstract:The management of the magnanimous spatial data needs the distributed cooperative GIS platform. In order to resolve the heterogeneous geospatial data sources and the sharing of distributed computing， this paper designed the distributed cooperative computing model. From the points of spatial data storage model， spatial data distributed computing cooperation and distributed and parallel geospatial index，discussed the technical and theoretical system in detail and presented the feasible implement mechanisms.Compared to centralized ones， the distributed peer to peer cooperative computing had several benefits， such as avoiding network congestion and single point of failure， and improving the availability and reliability of geospatial data information and computational resources.

Key words:distributed computing; cooperative computing; peertopeer computing; GIS



隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，海量空間數(shù)據(jù)勢必要分布存儲(chǔ)在網(wǎng)絡(luò)環(huán)境下的各個(gè)服務(wù)器中，分布存儲(chǔ)和分布式處理計(jì)算變得越來越重要。空間信息的對等協(xié)同計(jì)算不同于一般的空間數(shù)據(jù)共享或交換，也不同于以存在集中式瓶頸和提供預(yù)先定制服務(wù)為特征的Web service計(jì)算，而是用戶可以隨意定制的、大范圍內(nèi)多計(jì)算機(jī)的數(shù)據(jù)直接訪問、協(xié)同計(jì)算和結(jié)果匯總處理。另一方面，除數(shù)據(jù)資源共享外，還需要實(shí)現(xiàn)計(jì)算資源(CPU、海量存儲(chǔ)器等)的共享。雖然OGC提出了一系列空間數(shù)據(jù)共享和互操作方面的技術(shù)規(guī)范與標(biāo)準(zhǔn)，但它只解決了操作協(xié)議的統(tǒng)一定義問題，既沒有解決計(jì)算服務(wù)的組織問題和用戶層面計(jì)算的分布式實(shí)現(xiàn)機(jī)制，也沒有解決計(jì)算的協(xié)同和數(shù)據(jù)一致性保障機(jī)制^[1]。對等協(xié)同GIS軟件實(shí)現(xiàn)技術(shù)能夠在分布式對等計(jì)算環(huán)境下，通過對資源節(jié)點(diǎn)部署空間計(jì)算中間件，建立高效靈活的空間索引，實(shí)現(xiàn)快速精確的空間信息定位，設(shè)計(jì)合理的空間數(shù)據(jù)資源及計(jì)算資源的描述模型，完成空間運(yùn)算任務(wù)的分解，充分利用分布在各個(gè)對等節(jié)點(diǎn)上算子的計(jì)算能力，最終達(dá)到并行協(xié)同解決空間計(jì)算任務(wù)的目的，從而提高空間運(yùn)算的效率。這在目前面向網(wǎng)絡(luò)的空間信息分布式存儲(chǔ)，TB、PB級海量空間數(shù)據(jù)庫廣泛應(yīng)用的環(huán)境下，為多區(qū)域、行業(yè)、部門之間的空間數(shù)據(jù)協(xié)同應(yīng)用提供了一個(gè)面向多應(yīng)用、大范圍內(nèi)多節(jié)點(diǎn)數(shù)據(jù)共享、協(xié)同計(jì)算和空間運(yùn)算結(jié)果匯聚處理的現(xiàn)實(shí)解決方案，對提高空間數(shù)據(jù)的訪問效率和空間運(yùn)算效率方面具有極大的實(shí)用價(jià)值。本文在分布式對等計(jì)算的相關(guān)研究的基礎(chǔ)上，引入對等網(wǎng)絡(luò)模型中節(jié)點(diǎn)協(xié)同工作環(huán)境，設(shè)計(jì)具有提高海量分布空間信息資源利用率和計(jì)算能力共享程度、平衡網(wǎng)絡(luò)負(fù)載壓力、優(yōu)化復(fù)雜任務(wù)處理等能力的空間分布式協(xié)同處理的中間件模型，并研究了其涉及的研究內(nèi)容及關(guān)鍵技術(shù)。

1 國內(nèi)外研究相關(guān)研究

自2000年以來，對等協(xié)同計(jì)算作為一種新的網(wǎng)絡(luò)計(jì)算技術(shù)，受到工業(yè)界和學(xué)術(shù)界的普遍關(guān)注，成為分布式計(jì)算領(lǐng)域研究和應(yīng)用的重要熱點(diǎn)。2000年8月，Intel、HP等公司聯(lián)合成立了對等計(jì)算工作組；Sun開發(fā)了開源的對等協(xié)同計(jì)算平臺(tái)JXTA產(chǎn)品；MIT、U.C.Berkely和ATT等研究機(jī)構(gòu)也先后開發(fā)出多個(gè)對等計(jì)算平臺(tái)。

近年來出現(xiàn)的網(wǎng)格計(jì)算技術(shù)和對等計(jì)算技術(shù)為分布式協(xié)同GIS的實(shí)現(xiàn)提出了一些可行的技術(shù)規(guī)范與方案，有望形成網(wǎng)格計(jì)算和對等計(jì)算的支撐體系，構(gòu)建分布式協(xié)同GIS平臺(tái)。國際上一些知名的GIS軟件公司和研究者也在相關(guān)領(lǐng)域作了一些有價(jià)值的研究。泰國電子計(jì)算技術(shù)中心的Apirak Panatkool等人對網(wǎng)格上分布式的GIS服務(wù)進(jìn)行了研究，提出基于計(jì)算網(wǎng)格模型的分布式模式；馬里蘭大學(xué)的Tanin等人基于SAND平臺(tái)研究了在集中式中介模型和對等式中介模型下的GIS系統(tǒng)，能夠利用閑散的節(jié)點(diǎn)資源響應(yīng)更多的用戶查詢請求。OPUS(open use server)則是第一個(gè)采用文件共享體系結(jié)構(gòu)的GIS產(chǎn)品。它由一系列協(xié)議組成，這些協(xié)議允許在由異構(gòu)節(jié)點(diǎn)組成的對等網(wǎng)絡(luò)中使用各自的GIS應(yīng)用協(xié)同工作。從這些對等協(xié)同GIS的應(yīng)用產(chǎn)品的特性中，可以看到基于對等計(jì)算技術(shù)的分布式協(xié)同GIS的重要應(yīng)用價(jià)值，必將成為各GIS軟件公司新一代分布式協(xié)同GIS軟件實(shí)現(xiàn)的核心技術(shù)。

這些研究將為分布式空間信息的對等協(xié)同計(jì)算的研究提供相關(guān)的理論基礎(chǔ)。目前還沒有一種實(shí)用的對等協(xié)同GIS軟件的事實(shí)說明：許多理論都需要結(jié)合空間數(shù)據(jù)信息分布式的特點(diǎn)進(jìn)行進(jìn)一步深化。本文從空間數(shù)據(jù)和空間服務(wù)的分布模型、對等環(huán)境下易于維護(hù)的空間索引模型的建立、快速對等協(xié)同資源搜索機(jī)制的實(shí)現(xiàn)、空間運(yùn)算任務(wù)的最優(yōu)分解和協(xié)同運(yùn)算等方面對分布式空間信息的對等協(xié)同計(jì)算的機(jī)制等作了較深入的研究。

2 分布式協(xié)同計(jì)算流程總體研究框架

分布式空間信息協(xié)同計(jì)算的關(guān)鍵問題是結(jié)合面向服務(wù)的框架(service oriented architecture，SOA)，設(shè)計(jì)分布式協(xié)同計(jì)算的中間件，屏蔽各種空間數(shù)據(jù)源的異構(gòu)性，向用戶提供面向問題的空間數(shù)據(jù)計(jì)算方案并利用分布式對等計(jì)算加以實(shí)現(xiàn)，節(jié)點(diǎn)之間利用對等計(jì)算技術(shù)，協(xié)同其他節(jié)點(diǎn)完成空間信息的處理任務(wù)，從而充分利用節(jié)點(diǎn)之間計(jì)算和存儲(chǔ)能力。按照面向服務(wù)的思想，每個(gè)節(jié)點(diǎn)上的數(shù)據(jù)管理者必須提供服務(wù)，在誰管數(shù)據(jù)誰提供服務(wù)的基礎(chǔ)上，可解決網(wǎng)格節(jié)點(diǎn)之間、父節(jié)點(diǎn)與子節(jié)點(diǎn)之間、不同平臺(tái)不同系統(tǒng)之間數(shù)據(jù)不通的問題。因?yàn)閺挠脩艚嵌葋碚f，它不考慮數(shù)據(jù)只要服務(wù)，應(yīng)用端請求服務(wù)而不是直接操作數(shù)據(jù)，服務(wù)端提供服務(wù)而不是提供數(shù)據(jù)內(nèi)部結(jié)構(gòu)。從應(yīng)用系統(tǒng)結(jié)構(gòu)角度看，一個(gè)分布式空間信息對等協(xié)同計(jì)算系統(tǒng)的組織結(jié)構(gòu)如圖1所示。

在分布式網(wǎng)絡(luò)中，各個(gè)GIS平臺(tái)的服務(wù)器利用網(wǎng)絡(luò)連接，這些GIS平臺(tái)服務(wù)器即為分布式網(wǎng)絡(luò)中空間數(shù)據(jù)的管理者，負(fù)責(zé)空間信息的服務(wù)，而分布式協(xié)同處理中間件就部署在分布式網(wǎng)絡(luò)中的這些節(jié)點(diǎn)上。分布式協(xié)同中間件一方面負(fù)責(zé)對用戶屏蔽空間數(shù)據(jù)源的異構(gòu)性，這是通過空間信息一致性操作接口的設(shè)計(jì)實(shí)現(xiàn)的，向用戶提供統(tǒng)一的空間信息訪問接口，而不用關(guān)心具體的空間數(shù)據(jù)格式以及分布的物理存儲(chǔ)；另一方面，為了充分利用網(wǎng)絡(luò)連接的各個(gè)節(jié)點(diǎn)的CPU計(jì)算能力，分布式協(xié)同處理中間件負(fù)責(zé)對用戶提交的空間信息操作進(jìn)行任務(wù)分解，考慮空間數(shù)據(jù)遷移和負(fù)載平衡，協(xié)同其他節(jié)點(diǎn)一起完成空間信息操作任務(wù)，這是通過分布式協(xié)同GIS計(jì)算引擎模塊來實(shí)現(xiàn)的。部署在各個(gè)GIS應(yīng)用服務(wù)器節(jié)點(diǎn)的分布式協(xié)同處理中間件的結(jié)構(gòu)如圖2所示。

3 研究內(nèi)容

3．1 空間數(shù)據(jù)和空間服務(wù)的分布模型

信息化時(shí)代的GIS應(yīng)用要作出一項(xiàng)決策，往往需要在查詢多個(gè)基于各種異構(gòu)數(shù)據(jù)源的業(yè)務(wù)系統(tǒng)和外部系統(tǒng)后，進(jìn)行大量數(shù)據(jù)分析后才能作出決策。空間信息數(shù)據(jù)和空間信息數(shù)據(jù)服務(wù)分布在網(wǎng)絡(luò)的不同位置，用P來表示空間數(shù)據(jù)和處理服務(wù)分布的可能性，無論是客戶端還是服務(wù)器，D表示地理數(shù)據(jù)，F代表地理處理功能。Da表示所有的空間信息數(shù)據(jù)；Sa表示所有的空間信息服務(wù)；Dp表示部分空間信息數(shù)據(jù)；Sp表示部分空間信息服務(wù)；NULL表示沒有空間信息數(shù)據(jù)和空間信息服務(wù)^[2]，得到空間信息數(shù)據(jù)的三元組D={ Da，Dp，NULL}，空間信息服務(wù)的三元組S={Sa，Sp，NULL}；則：P=D×S={(Da，Sa)(Da，Sp)(Da，NULL)(Dp，Sa)(Dp，Sp) (Dp，NULL)(NULL，Sa)(NULL，Sp) (NULL，NULL)}。其分布含義如表1所示。

表1 空間服務(wù)分布模型

序號元組分布含義

1(NULL，NULL)這種情況只存在于客戶端，客戶端沒有空間信息數(shù)據(jù)和空間信息服務(wù)，是瘦客戶端情況

2(Da，Sa)這是典型的服務(wù)器端，所有的空間信息數(shù)據(jù)和空間信息服務(wù)都由服務(wù)器來提供

3(Dp，Sa)包括部分的空間信息數(shù)據(jù)，但擁有所有的空間信息服務(wù)，擁有部分?jǐn)?shù)據(jù)的GIS應(yīng)用服務(wù)器

4(Da，Sp)包括所有的空間信息數(shù)據(jù)和部分空間信息服務(wù)，可能是服務(wù)器，也可能是客戶端

5(NULL，Sa)擁有所有的空間信息服務(wù)，但沒有空間信息數(shù)據(jù)，這是典型的GIS應(yīng)用服務(wù)器

6(Dp，Sp)擁有部分的空間信息數(shù)據(jù)和空間信息服務(wù)，在分布式系統(tǒng)中可能是服務(wù)器，也可能是客戶端

7(NULL，Sp)擁有部分的空間信息服務(wù)，但沒有空間信息數(shù)據(jù)，在分布式的GIS系統(tǒng)中這是比較典型的情況

8(Da，NULL)這可能是一個(gè)數(shù)據(jù)中心，為GIS應(yīng)用服務(wù)器提供空間信息數(shù)據(jù)

9(Dp，NULL)擁有部分的空間信息數(shù)據(jù)，在分布式環(huán)境中為應(yīng)用服務(wù)器管理的部分空間信息數(shù)據(jù)服務(wù)器

考慮現(xiàn)在空間數(shù)據(jù)庫存儲(chǔ)方式的多樣性，節(jié)點(diǎn)的空間數(shù)據(jù)由各個(gè)GIS應(yīng)用服務(wù)器管理，各個(gè)節(jié)點(diǎn)應(yīng)用服務(wù)器在空間數(shù)據(jù)庫引擎和地理數(shù)據(jù)庫管理的支持下，對外提供功能接口，各個(gè)GIS服務(wù)提供者可以根據(jù)自己提供的服務(wù)來實(shí)現(xiàn)GIS空間信息一致性操作接口，形成依賴特定GIS服務(wù)提供者的軟件模塊供分布式協(xié)同處理中間件調(diào)用。在分布式協(xié)同計(jì)算機(jī)制中，GIS應(yīng)用服務(wù)器的設(shè)計(jì)符合表1中的3、4、5和7條；GIS空間信息數(shù)據(jù)分布在以高速網(wǎng)絡(luò)連成的局域網(wǎng)中，GIS數(shù)據(jù)服務(wù)器符合表1中的第8條。協(xié)同環(huán)境下的GIS空間信息的部署框架如圖3所示。

3．2 空間資源服務(wù)發(fā)現(xiàn)模型

在基于P2P的空間資源搜索方面，馬修軍等人在文獻(xiàn)[3]中描述的節(jié)點(diǎn)協(xié)作共享資源與計(jì)算雖然采用 P2P的體系結(jié)構(gòu)，沒有設(shè)置中心服務(wù)器，不會(huì)出現(xiàn)單點(diǎn)故障和性能瓶頸問題；但是其采用 P2P全局空間資源目錄，每一個(gè)節(jié)點(diǎn)保存系統(tǒng)中所有節(jié)點(diǎn)的 IP 地址和空間資源的分布信息和全局目錄。全局信息（全局節(jié)點(diǎn)表和全局目錄）以廣播方式進(jìn)行同步。當(dāng)系統(tǒng)中的節(jié)點(diǎn)和文件數(shù)量增加到一定規(guī)模時(shí)，全局信息的同步將耗費(fèi)大量帶寬，最終將很難維護(hù)全局信息的同步，這種組織方式限制了系統(tǒng)向更大的規(guī)模擴(kuò)展。許多學(xué)者提出的用分布式哈希表(distributed hash table，DHT)算法來解決洪泛算法帶來的網(wǎng)絡(luò)負(fù)載問題，如CAN、Chord、Pastry、Tapestry、Koorde和Viceroy采用的多跳路由算法進(jìn)行發(fā)現(xiàn)服務(wù)^[4]，即路由表僅需要維護(hù)O(log N)或O(1)個(gè)節(jié)點(diǎn)狀態(tài)，發(fā)現(xiàn)服務(wù)僅需要O(log N)跳路由。某一個(gè)節(jié)點(diǎn)加入或退出網(wǎng)絡(luò)時(shí)，最少需要O(log N)或O(log 2N)條消息維護(hù)路由表的一致性。每個(gè)節(jié)點(diǎn)維護(hù)有限的成員關(guān)系信息，有效地解決較大網(wǎng)絡(luò)波動(dòng)問題，但卻以增加延時(shí)為代價(jià)。P2P空間資源服務(wù)發(fā)現(xiàn)模型的另一個(gè)問題是：由于每個(gè)節(jié)點(diǎn)被隨機(jī)映射到一個(gè)節(jié)點(diǎn)ID，這樣的映射過程丟失了很多物理網(wǎng)絡(luò)的性質(zhì)，構(gòu)建的邏輯覆蓋網(wǎng)絡(luò)往往與物理網(wǎng)絡(luò)不一致，物理上相距很遠(yuǎn)的點(diǎn)可能成為邏輯上的鄰居；相反，物理上鄰近的節(jié)點(diǎn)可能在覆蓋網(wǎng)絡(luò)中相距很遠(yuǎn)。通常將這種現(xiàn)象稱為失配。

為了解決以上兩個(gè)問題，需要采取一種新的P2P路由模型，在P2P 全局空間資源目錄模型與多跳路由發(fā)現(xiàn)服務(wù)模型之間自適應(yīng)地調(diào)整并解決失配問題，以提供更好的性能。其模型如圖4所示。

在新的對等路由模型中，對于N個(gè)節(jié)點(diǎn)的P2P網(wǎng)絡(luò)，通過 DHT 算法所有節(jié)點(diǎn)分布在網(wǎng)絡(luò)環(huán)境中，DHT算法為每個(gè)空間資源發(fā)現(xiàn)代理(spatial resource discovery agent，SRDA)分配一個(gè)ID。SRDA節(jié)點(diǎn)之間采用P2P全局空間資源目錄。所有點(diǎn)采用同一個(gè)DHT算法分配 ID^[5]。假設(shè)第i個(gè)SRDA節(jié)點(diǎn)ID為SRDAi，第i+1個(gè)SRDA節(jié)點(diǎn)ID為SRDAi+1。SRDAi+1負(fù)責(zé)管理ID空間(SRDAi，SRDAi+1)內(nèi)的所有普通節(jié)點(diǎn)。圖4中SRDAi的全局信息（全局節(jié)點(diǎn)表和全局目錄）以廣播方式進(jìn)行同步維護(hù)SRDAi的狀態(tài)。這種只包含所有SRDAi節(jié)點(diǎn)的路由表稱之為全局路由表（global routing table，GRT）。普通節(jié)點(diǎn)Ni維護(hù)一個(gè)路由表，該路由表包含前后鄰居節(jié)點(diǎn)的信息。這種只包含鄰居節(jié)點(diǎn)的路由表稱之為鄰居路由表（neighbor routing table，NT）。可以定義為無向圖(S，U)。其中：S={S1，S2，…，Si}為某一空間分布內(nèi)的節(jié)點(diǎn)集合；U為S={S1，S2，…，Si}中任意兩個(gè)節(jié)點(diǎn)的邊。由于SRDA節(jié)點(diǎn)之間采用全局信息（全局節(jié)點(diǎn)表和全局目錄），(S，U)被定義為連通的，即任意(Si，Sj)均有一個(gè)有向路徑(Si，Sj)∈U。令 SRDAiSi為第i空間分布的空間資源發(fā)現(xiàn)代理節(jié)點(diǎn)集合。若對所有i=1，…，I，SRDAi =Si，即所有點(diǎn)都是空間資源發(fā)現(xiàn)代理節(jié)點(diǎn)，此時(shí)，P2P空間資源發(fā)現(xiàn)路由結(jié)構(gòu)為全局路由表結(jié)構(gòu)；若對所有i=1，…，I，Si!= SRDAi，即沒有超級點(diǎn)， P2P空間資源發(fā)現(xiàn)路由結(jié)構(gòu)又退化成鄰居路由表結(jié)構(gòu)，這樣就實(shí)現(xiàn)了兩種空間資源發(fā)現(xiàn)路由結(jié)構(gòu)的自由切換。

對于問題2，參考文獻(xiàn)[6]，筆者采用的主要方法是在保證DHT有效性的前提下，使得節(jié)點(diǎn)ID可以動(dòng)態(tài)交換，根據(jù)鄰居路由表記錄的前后鄰居節(jié)點(diǎn)的信息，每隔一段固定的時(shí)間T，節(jié)點(diǎn)u就周期性地探測一個(gè)隨機(jī)節(jié)點(diǎn)v。開始時(shí)設(shè)置TTL=k，每經(jīng)過一個(gè)節(jié)點(diǎn)，TTL減1，當(dāng)TTL=0時(shí)，節(jié)點(diǎn)v被選中。此后，節(jié)點(diǎn)u和v交換它們的地址列表和初始信息。兩節(jié)點(diǎn)分別計(jì)算交換后的局部時(shí)延信息，它們交換新的時(shí)延信息并獨(dú)立計(jì)算差值Diff。如果Diff≤0，表明節(jié)點(diǎn)u與v之間的標(biāo)號交換不能達(dá)到降低平均時(shí)延的效果，所以沒有進(jìn)一步的操作；如果Diff >0，節(jié)點(diǎn)u和v就要發(fā)生交換操作，即交換節(jié)點(diǎn)的標(biāo)號和路由表信息。此外，它們還要通知自己的鄰居節(jié)點(diǎn)更改路由表信息。

3．3 P2P環(huán)境下的協(xié)同空間計(jì)算

3．3．1 GIS統(tǒng)一操作接口設(shè)計(jì)

GIS服務(wù)統(tǒng)一操作接口的設(shè)計(jì)包括兩個(gè)方面：a)處理和訪問以空間數(shù)據(jù)模型(geospatial data model)定義的空間信息數(shù)據(jù)；b)空間信息數(shù)據(jù)的共享和轉(zhuǎn)換。(a)是指空間信息數(shù)據(jù)處理功能的服務(wù)；（b）是指空間信息數(shù)據(jù)的服務(wù)，即提供空間信息數(shù)據(jù)。空間信息服務(wù)的關(guān)鍵是要實(shí)現(xiàn)空間信息的標(biāo)準(zhǔn)化和空間信息處理功能的通用性，這是對空間數(shù)據(jù)共享的進(jìn)一步擴(kuò)展和更高層次。只憑地理空間信息轉(zhuǎn)換遠(yuǎn)不能實(shí)現(xiàn)信息的共享，只有在更高層次上的不同應(yīng)用及系統(tǒng)之間相互合作，實(shí)現(xiàn)互操作，才能真正達(dá)到空間信息服務(wù)的目的。定義的部分服務(wù)接口如表2所示。

表2 服務(wù)統(tǒng)一接口

服務(wù)接口定 義

RegCatalog用于分類、注冊、空間信息資源目錄信息，典型的注冊服務(wù)由它們的角色來區(qū)分

AddMatch地址匹配服務(wù)，匹配分布環(huán)境中的位置或地址，通常采用最小邊界矩形和空間索引對空間數(shù)據(jù)過濾

MapSvr地圖服務(wù)，根據(jù)預(yù)先指定的地理數(shù)據(jù)和比例尺顯示地圖，可能是矢量、柵格或圖片數(shù)據(jù)形式

PrjSvr提供空間參考系統(tǒng)(spatial reference system，SRS)轉(zhuǎn)換服務(wù)，這個(gè)服務(wù)可能是必需的，通常情況下，數(shù)據(jù)源的數(shù)據(jù)和用戶需要的數(shù)據(jù)SRS是不同的

ForTranSvr由于不同的GIS數(shù)據(jù)源采用的數(shù)據(jù)存儲(chǔ)方式不同，數(shù)據(jù)的共享使用必須要進(jìn)行相應(yīng)的數(shù)據(jù)格式轉(zhuǎn)換

空間數(shù)據(jù)通過地圖服務(wù)可以轉(zhuǎn)換為GML 發(fā)布給用戶，同樣也可以將GML 數(shù)據(jù)轉(zhuǎn)換為內(nèi)部格式的數(shù)據(jù)。 通過GML 和Web 服務(wù)，可以構(gòu)建異構(gòu)的空間數(shù)據(jù)管理。通過其他GIS 系統(tǒng)提供的符合OGC 標(biāo)準(zhǔn)(OGC，2003)、支持GML 的Web 服務(wù)，提供的Web 服務(wù)也可以成為其他GIS 平臺(tái)的數(shù)據(jù)源，實(shí)現(xiàn)真正的跨平臺(tái)信息共享^[7]。

3．3．2 空間信息計(jì)算任務(wù)分解模型

空間信息計(jì)算任務(wù)分布模型由任務(wù)管理模塊（job management）、生成分解策略模塊（dispatch policy generator)、子任務(wù)分解調(diào)度模塊（sub task scheduler）、任務(wù)執(zhí)行狀況監(jiān)控模塊（task status monitor dispatcher）、子任務(wù)分發(fā)模塊（sub task dispatcher）、子任務(wù)執(zhí)行狀況監(jiān)控模塊（sub task status monitor）、計(jì)算結(jié)果匯聚模塊（result aggregation）、任務(wù)結(jié)果收集模塊（sub result collector)和結(jié)果聚合模塊（result aggregator）組成。該模型負(fù)責(zé)按照相應(yīng)的任務(wù)切分算法將空間運(yùn)算任務(wù)分解成多個(gè)子任務(wù)，由dispatcher（任務(wù)分發(fā)）模塊負(fù)責(zé)將子任務(wù)的調(diào)度信息發(fā)布到各個(gè)相關(guān)節(jié)點(diǎn)，對各節(jié)點(diǎn)進(jìn)行必要的數(shù)據(jù)遷移調(diào)配，然后執(zhí)行空間運(yùn)算子任務(wù)；同時(shí)dispatcher模塊還要監(jiān)視各個(gè)子任務(wù)的執(zhí)行情況，倘若失敗，還要再次調(diào)度，或和job management（JM）模塊協(xié)調(diào)以后重新調(diào)度。如果所有的子任務(wù)結(jié)果均已返回，dispatcher發(fā)送SERVER_SND_JOB_FINISH通知JM任務(wù)結(jié)束，result aggregation（任務(wù)回收）模塊則將子任務(wù)處理結(jié)果按照相應(yīng)的規(guī)則聚合并提交。Dispatcher設(shè)置定時(shí)器來等待子任務(wù)的處理結(jié)束，防止時(shí)間過長導(dǎo)致dispatcher無終止的等待處理結(jié)果。定時(shí)器超時(shí)后dispatcher重新分發(fā)子任務(wù)給client子節(jié)點(diǎn)，并將定時(shí)器重置，進(jìn)入新的等待周期。在設(shè)定的多個(gè)周期的時(shí)間內(nèi)，子任務(wù)的結(jié)果仍然沒有返回，dispatcher則直接發(fā)送SUB_TASK_FAILED消息給JM通知任務(wù)執(zhí)行失敗并指明失敗原因。空間計(jì)算的任務(wù)分解模型如圖5所示。

任務(wù)分解、協(xié)調(diào)與綜合表達(dá)層（graphic presentation）:在用戶進(jìn)行綜合查詢的情況下，根據(jù)用戶查詢的內(nèi)容，確定任務(wù)如何分解與分配，協(xié)調(diào)多個(gè)任務(wù)之間的關(guān)系，最終完成任務(wù)結(jié)果的綜合表達(dá)。

3．4 分布式空間索引系統(tǒng)

分布式索引系統(tǒng)由多個(gè)節(jié)點(diǎn)通過一個(gè)通信網(wǎng)絡(luò)互連而組成。在網(wǎng)絡(luò)環(huán)境中的各個(gè)節(jié)點(diǎn)由節(jié)點(diǎn)空間數(shù)據(jù)索引管理器、節(jié)點(diǎn)空間索引項(xiàng)數(shù)據(jù)和節(jié)點(diǎn)空間數(shù)據(jù)庫組成。節(jié)點(diǎn)空間數(shù)據(jù)索引管理器負(fù)責(zé)管理本節(jié)點(diǎn)空間索引的更新、重構(gòu)等。節(jié)點(diǎn)的空間數(shù)據(jù)索引除了包含本節(jié)點(diǎn)的空間數(shù)據(jù)索引外，根據(jù)一定的分配策略，還包括邏輯相鄰(按R樹搜索順序相鄰)節(jié)點(diǎn)的索引項(xiàng)的副本以提高并行操作的性能。

設(shè)分布式并行索引系統(tǒng)中有n個(gè)節(jié)點(diǎn)n>1，記為S1，S2，…，Sn，對于每一個(gè)節(jié)點(diǎn)Si(i=1，2，…，n)都根據(jù)一定的分配策略和復(fù)制策略分配一些索引項(xiàng)I(xiàn)i(i=1，2，…，n)，并且Si的服務(wù)能力越強(qiáng)其分得的索引項(xiàng)越多。每個(gè)節(jié)點(diǎn)相互知道對方的存在，并運(yùn)行相同的節(jié)點(diǎn)空間數(shù)據(jù)索引管理器，既能執(zhí)行局部事務(wù)，又能執(zhí)行全局事務(wù)。盡管有些索引項(xiàng)可能只存放在其中某些節(jié)點(diǎn)上，但所有節(jié)點(diǎn)共享全局空間數(shù)據(jù)索引管理器，其可用性非常強(qiáng)，如果一個(gè)節(jié)點(diǎn)發(fā)生故障，其他節(jié)點(diǎn)還能繼續(xù)運(yùn)行。特別地，如果數(shù)據(jù)項(xiàng)在幾個(gè)節(jié)點(diǎn)上進(jìn)行了復(fù)制，則需要該特定數(shù)據(jù)項(xiàng)的事務(wù)可以在這幾個(gè)節(jié)點(diǎn)中的任何一個(gè)上找到。這樣一個(gè)節(jié)點(diǎn)的故障不一定意味著整個(gè)系統(tǒng)停止運(yùn)轉(zhuǎn)。索引項(xiàng)數(shù)據(jù)按一定的分配策略和復(fù)制策略分布到局域網(wǎng)內(nèi)所有的節(jié)點(diǎn)上，在實(shí)際應(yīng)用中海量空間數(shù)據(jù)分布在局域網(wǎng)內(nèi)的各個(gè)數(shù)據(jù)服務(wù)器內(nèi)（即圖6中的各個(gè)節(jié)點(diǎn)），所有的空間數(shù)據(jù)都是通過全局空間索引管理器進(jìn)行訪問。全局空間索引管理器提供了檢索各個(gè)服務(wù)器中空間數(shù)據(jù)的接口，供空間數(shù)據(jù)查詢、空間數(shù)據(jù)分析等功能接口調(diào)用。網(wǎng)絡(luò)環(huán)境下分布式索引系統(tǒng)的框架如圖6所示。

4 結(jié)束語

該研究在國家十一五“863”課題面向矢量數(shù)據(jù)的分布式空間分析運(yùn)算模型研究與軟件開發(fā)中進(jìn)行了原型設(shè)計(jì)，主要目標(biāo)是在現(xiàn)有的矢量空間數(shù)據(jù)運(yùn)算的基礎(chǔ)上，研究具有一定智能的矢量空間運(yùn)算模型，充分利用分布式環(huán)境中的計(jì)算資源對空間數(shù)據(jù)庫中的矢量數(shù)據(jù)進(jìn)行深加工。

目前筆者所在課題組基于大型國產(chǎn)GIS——MapGIS7．0已經(jīng)實(shí)現(xiàn)了分布式協(xié)同計(jì)算GIS軟件系統(tǒng)原型，包括分布式結(jié)構(gòu)化查詢語言^[8]、空間資源發(fā)現(xiàn)模塊、新型時(shí)空數(shù)據(jù)模型及其分布式并行空間索引機(jī)制等，初步解決了實(shí)現(xiàn)分布式協(xié)同時(shí)空數(shù)據(jù)計(jì)算的關(guān)鍵技術(shù)問題。但軟件原型的實(shí)現(xiàn)與實(shí)用還有一定距離，需進(jìn)一步完善空間數(shù)據(jù)分布式協(xié)同計(jì)算的細(xì)節(jié)實(shí)現(xiàn)，將是今后研究的重點(diǎn)。

參考文獻(xiàn)：

［1］方裕，鄔倫，謝昆青，等.分布式協(xié)同計(jì)算的GIS技術(shù)研究[J].地理與地理信息科學(xué)，2006，22(3):912.

[2]高剛毅.分布式地理信息系統(tǒng)[D].杭州：浙江大學(xué)，2004.

[3]馬修軍，劉晨，謝昆青，等.P2P環(huán)境中的全局空間數(shù)據(jù)目錄研究[J].地理與地理信息科學(xué)，2006，22(3):23-25.

[4]CRESPO A，GARCIAMOLINA H.Routing indices for peertopeer systems[C]//Proc of the 22nd Int Conf on Distributed Computing Systems.Washington DC:IEEE Computer Society，2002.

[5]楊峰，李鳳霞，余宏亮，等.一種基于分布式哈希表的混合對等發(fā)現(xiàn)算法[J].軟件學(xué)報(bào)，2007，18(3):715721.

[6]邱彤慶， 陳貴海.一種令P2P覆蓋網(wǎng)絡(luò)拓?fù)湎嚓P(guān)的通用方法[J].軟件學(xué)報(bào)，2007，18(2):381-389.

[7]錢衛(wèi)寧.對等計(jì)算系統(tǒng)中的數(shù)據(jù)管理[D].上海：復(fù)旦大學(xué)， 2003.

[8]吳信才，吳亮.面向服務(wù)的分布式空間信息支撐平臺(tái)[J].地球科學(xué)，2006，31(5):585-589.

[9]MECELLA M，ANGELACCIO M，KREK A，et al.Workpad:an adaptive peertopeer software infrastructure for supporting collaborative work of human operators in emergency/disaster scenarios[C]//Proc of IEEE International Symposium on Collaborative Technologies and Systems.2006:173180.

[10]MacEACHREN A M，BREWER I，CAI G，et al.Visuallyenabled geocollaboration to support data exploration and decisionmaking[C]//Proc of the 21st International Cartographic Conference.Durban， South Africa:[s.n.]，2003.

注：“本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文。”