基于模型需求模板匹配的多源地理數據推送方法研究

朱 曉 林，鄒 宇，易 琳，俞 肇 元

(南京師范大學虛擬地理環境教育部重點實驗室,江蘇 南京 210023)

基于模型需求模板匹配的多源地理數據推送方法研究

朱 曉 林，鄒 宇，易 琳，俞 肇 元*

(南京師范大學虛擬地理環境教育部重點實驗室,江蘇 南京 210023)

針對現有地理分析模型同多源復雜地學數據之間耦合困難、模型運算數據處理過程復雜等問題，構建了以模型需求模板匹配為基礎的多源地理數據自動處理與推送方法。利用元數據對多源地理數據進行統一描述，并從模型的數據需求和任務需求兩個角度生成模型需求模板，最后通過基于XML的元數據與模型需求模板的匹配求得數據操作模板。在數據操作模板中應用算子庫作為轉換工具，實現了數據庫數據到模型需求數據的轉換，完成模型運算數據的自動推送。基于江蘇沿海灘涂數據庫的分析案例表明，該文提出的模型模板匹配方法可對模型運行數據進行有效解析，并通過數據操作流的構建實現數據的自動推送。該研究可為服務型GIS的發展及地理模型的集成提供理論參考與方法借鑒。

模型需求模板；模板匹配；操作模板；數據推送

0 引言

GIS大眾化和服務化的發展趨勢要求能夠深入領會與理解大眾需求，提供簡便易用的操作方式和良好的交互式體驗，減少用戶在原始數據預處理、需求數據提取上的重復工作與大量的人力、財力耗費。以任務為出發點的GIS服務和以復雜地理空間數據為基礎的地理模型之間的矛盾導致在模型分析前需要對原始地理數據經過復雜而專業的處理。地理分析任務的日益復雜化促進了模型之間的耦合與集成，導致即使對于同一地理分析任務，其中間的數據轉換與變換也可能存在較大的差異。上述新特性使得傳統基于數據抽取的方式已經無法滿足目前的應用需求，無論是從GIS服務易用性還是從模型集成的視角，均需要架構地理模型與多源地理數據間的橋梁，通過明確模型對數據的具體需求，實現多源地理數據的按需推送。

數據推送是指數據庫服務器根據任務需求主動發送數據，同時保持數據的實時更新與增量傳輸，相對于數據抽取方式的數據服務，數據推送效率更高且不需要建立后續的服務連接，可實現任務數據的動態更新[1]。基于任務自適應的數據推送還可實現數據的自動匹配，并可有效控制數據更新的時間與頻率，保證任務的有序進行[2,3]。數據推送因其靈活的數據共享機制和智能化數據交換方式，已在物聯網[4]、數據共享平臺構建[5-7]、傳染病數據監測[7]、空間信息服務[8]、金融交易監測[9]等領域得到廣泛應用，并提出了一系列數據推送系統[4,10]。以上研究雖然在數據推送方法上做了一定的探索，并將其應用于各個領域，但也存在兩點不足：首先，需要的人工干預較多，模型的規則難以確定，可擴展性和適應性能力不強[11]；其次，所處理的數據類型和維度較為單一，不適用于多源地學數據。本文針對地理數據的維度特性，從數據的時間維度、空間維度、要素維度和類型維度等出發，構建多源地理數據的專題分類和元數據描述，同時通過對地理模型在任務和數據層結構化的需求解析，實現模型需求模板的構建。設計多源地理數據在空間坐標、數據格式和數據處理等方面的基礎操作庫，結合模型需求模板，搭建數據庫數據向模型需求數據轉化的數據流，實現數據的智能抽取和自動推送，并以江蘇沿海灘涂數據為例做出應用示范。

1 主要思路

地理模型是數據應用的落腳點，也是地理數據轉換為信息的主要手段。模型內部物理機制的差異性決定了其對數據類型、專題等需求的差異，因而可構建模型對數據的需求表征，建立數據相對于模型的統一接口描述，構建模型到地理數據的匹配關系。為此，構建了基于模型需求模板的數據推送流程： 1)針對多源地理數據構建基于專題分類的元數據描述，為需求模板匹配提供必要的接口；2)從模板任務和模板數據兩方面入手，構建模型需求模板，并將生成的模板與地理數據元數據描述相匹配，得到從地理數據到模型運行所需數據的映射；3)建立包含數據轉換、數據處理和數據整合的操作算子庫系統，結合數據與模型間的映射關系，構建數據自動推送的數據流結構，實現基于地理模型數據需求模板的數據推送。

2 多源地理數據分類與元數據描述

2.1 多源地理數據專題分類

地理數據分類與地理數據編碼是地理數據建庫和編碼的基礎[12,13]。為了更好地組織多源地理數據并為地理模型的數據匹配提供基礎,根據地理數據類型和專題將多源地理數據劃分為5層：主題層、一級子類、二級子類、三級子類和數據類型層。主題層主要從地理信息專題屬性出發，確定數據在高層次上的類屬性，確定數據的專題數據和基礎數據歸屬；一級和二級子類是對數據在專題和子類專題上的劃分;三級子類和數據類型是對具體數據的劃分，確定數據的格式，為數據存儲提供便利。根據上述原則與方法，結合現有的多源地理數據資源情況，構建多源地學數據專題分類體系的一般描述：

M0={mi∈M|Ri}i=1,2,…,n

(1)

式中:Ri為第i類數據的分類體系，mi為第i類數據的具體數據類型。本文構建的多源數據專題分類體系和數據類型的劃分與描述如表1所示。

表1 數據專題分類

Table 1 Data classification by features

主題類一級子類二級子類三級子類數據類型類基礎數據專題數據地理格網經緯網、控制點1∶5萬格網矢量地形高程點、等高線、DEM江蘇省DEM矢量行政區國家級、地市級南京市柵格自然條件地質、地貌、氣候氣候類型文本數據社會經濟人口、綜合經濟文化程度二維表生態環境自然災害、環境污染PM2.5數值數據

將多源地理數據在主類劃分為基礎數據和專題數據，其中基礎數據表示一類可以通用的數據，是專題數據劃分的基礎，在一級子類中表現為地理格網、居民地、行政區、地形等。專題數據表示以專題要素內容信息為主要的分類對象，在一級子類中劃分為自然條件、自然資源、社會經濟、基礎設施、生態環境等。

根據上述分類，構建數據的十位數編碼系統。該分類編碼中第一位為主碼，0表示基礎地理數據，1表示專題數據。一、二、三級子類分別表示數據的專題和子類專題的劃分，共占6個字符位。最后三位表示數據類型，其中第一個數據位表示數據的種類，如矢量數據、柵格數據和表數據等；后二位則對應不同數據種類的不同數據格式，如矢量數據有E00、Shapfile格式等。因此，該編碼系統具有分類邏輯性強、代碼信息量豐富、便于進行要素間關系推理判別等特點。

2.2 地理元數據描述

地理元數據(Metada)用于地理信息中地理數據集的內容、質量、表示方式、空間參考、管理方式等特征的描述，是實現地理空間信息共享的核心標準之一[14,15]。本文主要通過地理元數據實現對模型輸入數據和數據操作算子的接口匹配，并利用XML Schema實現地理元數據描述。 本文所使用的地理元數據主要包含：1)空間參數信息，包括數據的空間范圍、空間尺度、空間參考系和空間分辨率等，用于識別地理數據在空間上的特征；2)時間參數信息，包括數據的時間范圍、時間頻率和時間尺度等，用于數據在時間維度上的抽取與匹配；3)基本參數信息，包括數據的編碼、數據的格式和數據的其他必要信息，如數據的名字等。

3 地理模型需求模板與模板匹配

3.1 地理模型的需求分析

對照常見的地理模型對數據的需求，可將其歸納為兩部分：基于模型任務解析的數據需求和基于模型數據解析的數據需求(圖1)。

圖1 模型的數據需求

Fig.1 Data requirements of models

從圖1可以看出，模型的任務需求主要建立在模型的整體應用上，可分為空間和時間需求兩方面內容。其中空間需求包括模型應用的具體空間范圍和空間尺度的選擇。時間需求又可分為時間點或時間段的需求。模型的數據需求則是模型對不同類型模型輸入數據的詳細要求，包括空間數據的投影、分辨率信息和非空間數據的格式、編碼等，主要用于確定數據庫存儲數據與模型輸入數據之間的差距，從而為后續操作算子的選取提供借鑒。

3.2 地理模型需求模板構建

由于模型對數據的需求必須轉換為計算機可以識別的方式，構建模型需求模板，在分析和歸納模型對地理數據的具體需求的前提下，統一用戶對模型數據的描述，實現需求的參數化設計。

根據上述模型任務需求的分析，模型對時間和空間的需求可轉換為模型在時間維度和空間維度上的范圍選取，對應的任務需求模板構建過程如圖2a所示。根據模型對具體數據的需求分析，模型數據的需求模板的構建可以轉換為對具體數據的編碼、空間分辨率、數據格式、投影和基本操作的信息獲取，構建過程如圖2b所示。

圖2 模型需求模板構建

Fig.2 Requirements template of models

模型模板是用戶提供模型需求信息的入口，也是計算機匹配數據庫數據的基礎，還是構建數據流的條件。對模型模板的描述可統一模型到操作、模型到數據庫之間的接口，便于數據在三者之間的抽取與推送。對模型模板的XML描述如圖3所示：

圖3 模型需求模板XML描述

Fig.3 The XML description of template

3.3 地理模型需求模板匹配

模型模板與數據庫元數據的匹配是指從模型模板中獲取關于數據的時間、空間、編碼、格式、坐標等需求信息，并將其與數據庫元數據相應要素對比，確定數據與需求之間的匹配程度和差異性，設定4種不同的操作模板。模型模板與數據庫元數據匹配過程及操作模板設定如圖4所示：其中A類型模板是指當數據庫數據和模型需求數據完全匹配時，可直接推送數據庫數據；B類型模板是指數據庫數據與模型需求數據之間存在數據格式、坐標等不匹配時，需要調用數據轉換算子庫對數據進行預處理；C類型模板是當模型需要對屬性數據進行一定處理時，需要調用數據操作算子；D類型模板則是指當數據專題不匹配，需求將空間數據與屬性數據集成處理時，調用數據整合操作。

圖4 不同情況下的數據操作模板

Fig.4 Different operation templates to different situations

4 數據流構建與數據自由推送

4.1 操作算子庫構建

通過地理模型任務解析，生成對應于每個數據的操作算子，構建數據庫數據到模型數據之間的銜接。考慮模型對數據的多類型需求，本文構建了如表2所示的算子庫，主要包括3個部分：轉換算子庫、數據處理算子庫和整合算子庫。其中轉換算子庫又分為空間數據的轉換和統計數據的轉換；數據處理算子庫主要有針對統計數據的四則運算和針對空間數據的數據剪切操作等；數據的整合算子主要實現空間數據和屬性數據的融合。

4.2 數據操作流構建

根據上述模板匹配結果，確定數據庫數據與模型數據之間的差異性，選定對應的操作模板，將操作算子嵌入到對應的模板中，實現數據操作流的構建。其實現過程為：通過模型與數據庫的對比和匹配，得出數據庫數據向模型輸入數據之間的抽取、轉換和操作等信息，以已經構建好的數據操作模板為引導，自動生成相應的數據流，最后通過用戶手工選擇，填寫或修改相應的操作參數完成對數據流的構建。數據流的自動構建流程如圖5所示。

表2 數據操作算子庫

Table 2 The operator libraries

算子集算子說明空間數據轉換算子集統計數據轉換算子集數據處理算子集數據整合算子集DataTypeTrans()數據格式轉換DataCoordTrans()數據坐標轉換Vector2RasterTrans()數據類型轉換…………DataTypeTrans()柵格存儲格式之間轉換CodeTrans編碼轉換…………DataCalc()主要實現柵格單元的四則運算DataCut()實現數據的剪切操作DataMerge()實現數據的合并操作AreaCalc實現面積和柵格數據分類計算…………DataConjection()數據疊加融合

圖5 數據流的自動構建

Fig.5 Auto-construction of data flow

系統通過模型任務需求的時間和空間參數，結合模型數據需求中的數據編碼參數，實現數據抽取在時間、空間和屬性3個維度上的限定；數據的格式、地圖投影、分辨率等信息則對應數據清洗操作中的數據格式轉換、投影轉換和重采樣等操作；數據的處理操作由模型數據需求的基礎操作信息提供，同時也可以通過用戶手動選擇相應的操作完成對數據處理的過程自定義；對于空間數據與統計數據整合的操作則需要按模型需求選定特定數據來完成。

4.3 基于數據流的地理數據推送方法

數據推送是將用戶主動查詢、獲取信息改為系統主動發送信息。通過已經構建好的數據流引導，將數據庫中對應數據抽取出來，交互給數據流，實現數據的轉換，最后推送給地理模型實現模型應用。為實現自適應的數據推送，本文利用XML構建數據、操作、模型之間的統一接口，實現數據庫數據到模型數據的自動轉換。數據庫與模型之間的XML信息用于判斷當前流數據能否滿足模型運算需求，數據與操作間的XML信息用于匹配適用的操作算子。

數據的推送過程如圖6所示，該過程以模型的特定需求為觸發器，若數據庫中數據直接滿足需要則直接完成推送，否則需要在多源地理數據庫中獲取基礎數據，再對數據進行二次加工，將處理后數據再次與模型需求模板相匹配，達到模型應用需求則構建數據流操作，并推送處理后的數據，否則推送失敗。與傳統的基于模型的數據抽取方法不同，基于數據流的和模型需求模板的推送是以模型應用為目的，經過抽取與數據的二次加工，針對模型需求的數據轉換，最后將其推送至模型應用。

圖6 基于模板匹配的數據推送流程

Fig.6 Data pushing process based on template matching

5 案例

以江蘇沿海大豐市為例，進行海岸帶灘涂演變分析、土地利用結構變化分析和景觀格局分析，并對上述方法的性能進行驗證。

5.1 數據與模型說明

案例中使用的多源地理數據包括：2000年大豐市灘涂矢量數據；1995年、2000年、2005年大豐市土地利用分類解譯數據、景觀格局分類解譯數據以及人口數據和面積數據。所使用的主要分析模型包括：1)大豐灘涂演變分析，通過對遙感數據的分類解譯，得出灘涂結構多年的變化情況；2)大豐市土地利用人均占比分析；3)景觀格局分析，利用分類好的景觀柵格數據，統計各單元值，計算景觀的各指數。

5.2 模型需求模板與操作流構建

利用模型的數據需求，構建模型需求模板，通過比對數據庫中的多源數據，選取針對不同需求的操作模板，構建符合模型數據需求的操作流。下面詳細分析各模型構建的操作流：1)大豐灘涂演變分析：為了獲取大豐市灘涂范圍數據，需要獲取多年的遙感數據、大豐市灘涂范圍的矢量數據，通過柵格數據的剪切操作獲取灘涂數據。同時，為了保證數據的一致性，需要保證矢量和柵格數據都在同一個坐標系下。2)大豐市土地利用人均占比分析：人均土地利用需要獲取多年的大豐市土地利用的遙感解譯圖和同時段大豐市人口數據，通過柵格單元統計和人口比值計算，得到土地利用的人均占比數據。3)景觀格局分析：需要景觀柵格的分類數據作為數據源，通過柵格單元統計得到分析模型數據。

5.3 數據推送與模型分析結果

利用模型需求模板匹配，從原始數據庫里抽取灘涂矢量數據、遙感數據和屬性數據，經模型數據操作流處理，得到圖7a所示的3個不同年份的推送結果。進一步對其分析，設定模型運行參數(圖7b)，最終得到大豐景觀格局分析結果(圖7c)和土地利用格局分析結果(圖7d)。

圖7 推送數據及模型分析結果

Fig.7 Pushing data and the results of model analyzing

6 結論與展望

地理模型與地理數據的有效對接是實現快速、整合的地理分析的關鍵。基于模型需求的地理數據快速匹配與推送可有效降低地理模型耦合、集成共享的復雜度。本文基于常用的地理數據格式及其分類定義了多源地學數據的元數據描述，為模型需求匹配建立統一的接口；構建了基于任務需求和數據需求的模型模板生成方法，并將其與元數據描述相匹配，得到不同匹配程度下的操作模板；構建了數據操作算子集，并將其插入到操作模板中形成數據操作流，得到源數據到模型需求數據的轉換，從而實現模型運行數據的自動推送。基于以上理論與思路，進行了原型系統的設計與構建，基于典型地理數據的案例分析表明：通過整合多源地理數據，構建基于模型需求的數據維度抽取和數據流的推送方法可以實現模型與數據之間的對接，進而實現模塊化、結構化的模型分析操作流與應用；基于模型需求模板解析的自動推送，在方法和應用上都對大眾化GIS的發展起到借鑒作用。

[1] 孫君曼,方華京.基于推技術的網絡化監控報警系統[J]．計算機工程，2008(4):269-271．

[2] FRANKLIN M,ZDONIK S."Data in your face":Push technology in perspective:ACM SIGMOD Record,1998[C].ACM.1998.

[3] BESSIS N.Model architecture for a user tailored data push service in data grids[A].Grid Technology for Maximizing Collaborative Decision Management and Support:Advancing Effective Virtual Organizations[C].2009.235-255.

[4] 梁昌勇,張怡遠,張俊嶺.基于Pushlet的RFID數據推送技術研究[J].計算機技術與發展,2009(10):85-88.

[5] 廖一蘭,王勁峰,孟斌,等.人口統計數據空間化的一種方法[J].地理學報,2007(10):1110-1119.

[6] 諸云強,馮敏,宋佳,等.基于SOA的地球系統科學數據共享平臺架構設計與實現[J].地球信息科學學報,2009(1):1-9.

[7] 李新,南卓銅,吳立宗,等.中國西部環境與生態科學數據中心:面向西部環境與生態科學的數據集成與共享[J].地球科學進展,2008(6):628-637.

[8] 亢孟軍,王貝,杜清運,等.上下文敏感的空間信息服務智能推送研究[J].測繪科學,2011,36(3):155-157.

[9] 薛真真.基于服務器推送和事件流處理技術的實時 Web 系統研究[D].杭州:浙江大學,2008.

[10] 汪紅兵,佘春東,范植華,等.基于JMS的數據推送系統的設計與實現[J].計算機應用,2005,25(Z1):366-368.

[11] SUN X,BYNA S,CHEN Y.Server-based data push architecture for multi-processor environments[J].Journal of Computer Science and Technology,2007,22(5):641-652.

[12] 王大力.數字化地圖制圖要素分類編碼[J].地球信息科學,2008,10(6):736-740.

[13] 符海芳,牛振國,崔偉宏.多維農業地理信息分類和編碼[J].地理與地理信息科學,2003,19(3):29-31,58.

[14] 王卷樂,游松財,謝傳節.地學數據共享中的元數據標準結構分析與設計[J].地理與地理信息科學,2005,21(1):16-18,37.

[15] DUKE C,STEELE J.Geology and lithic procurement in Upper Palaeolithic Europe:A weights-of-evidence based GIS model of lithic resource potential[J].Journal of Archaeological Science,2010,37(4):813-824.

Study on Pushing Method for Multi-resource Geographic Data Based on the Matching of RTOM

ZHU Xiao-lin,ZOU Yu,YI Lin,YU Zhao-yuan

(Key Laboratory of VGE,Ministry of Education,Nanjing Normal University,Nanjing 210023,China)

The coupled integration of geographic analyzing models with multi-resource complex geographic data is complex.To reduce the complexity of the model computing and data manipulating in the model-data integration process,this paper constructs an automatic manipulating and pushing method for multi-resource geographic data based on the matching of requirement template of models(RTOM).The multi-resource geographic data are first uniformly described by the metadata.Based on the standpoints of data and mission requirements,the requirement templates of the models are generated.Then,the data manipulating template is obtained by matching XML-based metadata with the requirement templates of the models.In the data manipulating template,operator library is used as transforming tool to realize the transform from database data to model-requirement data and achieve automatic push of model computing data.Case studies based on the coastal beach database of Jiangsu Province are operated.The results suggest our method can effectively analyze model data and realize automatic data push by construction of data operation flow.Therefore,this research provides useful theoretic and methodological references for development of service-oriented GIS and integration of geographic models.

requirement template of models(RTOM);template matching;data manipulating template;data pushing

2014-09-24；

2014-11-29

國家科技支撐計劃課題(2012BAC07B01)；國土部海岸帶開發與保護重點實驗室開放基金項目(2013CZEPK08)；江蘇省高校自然科學基金項目(12KJD170003)

朱曉林(1989-),男,碩士研究生,主要研究領域為地理信息系統。*通訊作者E-mail:yuzhaoyuan@njnu.edu.cn

10.3969/j.issn.1672-0504.2016.01.005

P208

A

1672-0504(2016)01-0024-05