向紅梅,郭明武
(1.長沙市規劃勘測設計研究院,湖南 長沙 410007; 2.武漢市測繪研究院,湖北 武漢 430022)
城市地理時空大數據管理與應用平臺建設技術方法研究
向紅梅1*,郭明武2
(1.長沙市規劃勘測設計研究院,湖南 長沙 410007; 2.武漢市測繪研究院,湖北 武漢 430022)
針對城市地理時空數據的專業類別多、數據格式多、數據分散等諸多特性,提出了柵格式數據、圖形式數據、要素式數據、類GIS數據、ArcGIS數據5大類地理時空數據的管理方案。采用基于富客戶端的地圖增強技術、基于時間幀的時空數據動態表達技術和空間數據及平臺功能自擴展定制技術,對城市地理時空大數據管理與應用平臺進行了總體設計,開發了集管理與應用于一體的資源創建與管理系統、信息集成共享系統、數據交互應用系統,實現了城市地理時空大數據的管理與應用的高效性。本文提出的技術方法已在長沙市規劃交通勘測信息集成管理與應用共享平臺項目建設中得到驗證,為城市地理時空大數據的集成管理和共享應用提供了技術經驗。
地理時空;大數據;管理與應用平臺;富客戶端;時間幀;自擴展定制
由于獲取城市地理空間數據的途徑多,采集和管理地理信息數據的軟件平臺各不相同,使得城市地理信息的數據標準和數據格式多種多樣,在城市規劃建設管理的實際應用中,往往需要利用不同來源和類型的地理信息,致使數據轉換工作量大、數據利用率低下。近年來,城市規劃建設管理不斷地朝精細化和縱深化發展,涉及的事物與內容快速增多,管理的難度不斷加大[1],不僅需要地理空間數據,還需要不同時期的地理空間數據,即地理空間數據的時間屬性。同時,城市規劃設計的成果又是地理信息的衍生產品,使得地理信息的數據量成TB級增長,導致地理信息的數據格式更加多樣,應用領域更加廣闊,其管理與應用的難度進一步更加。
隨著科技進步和信息技術的發展,原本相互獨立的測繪、勘察、規劃、設計等工作不再獨立,而是相互聯系,相互滲透的,大量設計、管理及策劃工作的開展不但需要地理信息的支撐,還需要其他行業信息的交流共享。因此,綜合集成現有的多源、異構和海量的地理信息數據,實現這些信息的集成共享與高效利用,開發城市地理時空大數據管理與應用平臺是各行業對地理信息數據服務的迫切需要。
城市地理時空大數據除了具有空間數據的空間、時間和專題三大基本特征外,在數據采集方式、存儲格式、管理模式、專業應用等方面還有更多的特殊性[2],管理城市地理時空大數據,開發數據應用共享平臺時必須充分認識它們的特性。
(1)專業類別多
隨著地理信息技術的發展和基礎空間數據(4D產品)應用的普及,很多行業基于空間數據、采用地理信息技術,充分挖掘本行業數據和信息的應用價值,從而形成了專業門類眾多的專題地理信息產品。
(2)數據格式多
由于承載信息的平臺和應用領域不一樣,地理時空大數據的數據格式各不相同,光4D產品就有矢量數據、柵格影像數據集以及DEM的格網點坐標數據之分,為了專業應用而基于空間數據重組的復合模式數據的格式就更加多樣。
(3)數據分散
地理時空數據的采集、加工和制作由不同部門來完成,數據分散在眾多的權屬單位,數據集成管理和共享應用的難度大。
(4)更新頻繁
隨著經濟社會的快速發展和人類活動的加劇,地表形態及地物要素在不停地變化,需要對基礎空間數據不斷地進行更新,才能讓基礎地理信息數據為經濟建設和社會發展提供及時有效的服務。
(5)重復利用率高
地理時空數據除了承載空間信息,還承載著時間信息,反映了地理形態的歷史和變遷,數據回溯和重復使用的頻率非常高。
針對地理時空數據的專業類別多、數據分散、采集管理軟件不同、應用領域廣泛等特征,按照地理時空數據的數據質量及格式以及與標準的ArcGIS數據的接近程度,可將地理時空數據概括為5大類,分別制定管理方案[3]。充分分析每一類數據的時間特性,采用時間戳的方式實現地理時空數據時間維度的管理[1]。
(1)柵格式數據
主要包括jpg、tif等格式的航測影像、遙感影像、掃描柵格地圖。需要依次進行坐標校正、坐標配準、數據質量檢查等處理,制作成標準的*.img或*.tif柵格數據,形成mxd文檔,并發布為柵格地圖服務,進行地圖切片以提高顯示速度,采取影像拍攝或地圖掃描時間為時間戳來管理柵格數據。
(2)圖形式數據
主要是一些非GIS領域的工程圖數據,如dwg格式的設計圖[2],它的分層混亂,沒有按對象組織數據,只能用于圖形查看,采取將其柵格化處理的方式進行管理,方案如柵格式數據,采用圖形繪制時間為時間戳來管理圖形數據。
(3)要素式數據
主要是基于CAD平臺制作,要素分層規范,基本上按對象組織數據,比圖形式dwg數據更接近標準的ArcGIS數據。采取規范化處理方式,依次進行圖形封閉構面、屬性掛接、數據質量檢查,轉換為標準*.shp格式的GIS數據,進行符號化形成mxd文檔,發布為地圖服務,采用DateTime型字段為時間戳來管理類要素式數據。
(4)類GIS數據
主要是各種非ArcGIS標準的地理空間數據,如Emme、TransCAD以及來源于其他軟件的空間數據,可以直接或間接的轉換為標準的ArcGIS數據。需要根據數據的具體結構,開發相應的轉換模塊進行轉換,轉為標準*.shp格式的GIS數據,進行質量檢查和符號化,形成mxd文檔,發布為地圖服務,采用DateTime型字段為時間戳來管理類GIS數據。
(5)ArcGIS數據
主要包括*img、*.tif、*.shp、Personal GeoDatabase等類型的數據,采取對其規范化處理,進行質量檢查和符號化,形成mxd文檔,發布為地圖服務,采用DateTime型字段為時間戳來管理GIS數據。
4.1基于富客戶端技術的地圖增強顯示技術
傳統網絡程序的開發是基于頁面、服務器端數據傳遞的模式,網絡程序的表示層建立于HTML頁面之上[4],滿足不了網絡瀏覽者更高的、全方位的體驗要求,新出現的豐富互聯網程序(Rich Internet Applications,簡稱RIA,又稱為豐富性網絡應用服務,俗稱為“富客戶端技術”)解決了這一難題。
RIA 是集成最佳用戶界面功能與快速互動多媒體通信于一體的新一代網絡應用程序,較傳統Web應用的主要優勢為:
(1)表現力更豐富:RIA能基于標準瀏覽器的網頁應用實現HTML標簽無法實現的用戶界面效果和交互式應用功能。
(2)C/S結構的負擔平衡:可以使客戶端和服務器端對資源的需求更加平衡,服務器不必一直高負荷運轉,提升了服務器并行服務的客戶端數量。
(3)異步通信:用戶可在客戶端引擎跟服務器端通信的同時,異步地進行頁面瀏覽及交互。程序可從服務器端預取數據,免去等待時間。
(4)網絡效率高:由于RIA客戶端引擎比標準的網頁瀏覽器更智能,能預先從服務器端提取數據,提升了應用程序的響應速度。
近年來RIA發展迅速,目前較有實力和特點的RIA開發技術有十多種,其中最受歡迎的是Silverlight、HTML5及Flash,客戶端需要安裝Silverlight或Flash Player插件。
4.2基于時間幀的地理時空數據動態可視化表達技術
地理空間數據都有時間特性,設計空間數據的時間字段,錄入時間屬性,可將地理空間數據提升為地理時空數據。為了直觀地反映地理實體的動態變化過程,幫助用戶從地理時空數據中分析出地理現象內在的演變規律,提高地理時空數據的應用價值,可采用基于時間幀的地理時空數據交互式可視化表達技術。
通過設置時間起點、時間跨度、時間終點,按時間軸正序或逆序的方式來直觀地表達區域內各地理實體的變化過程。按照播放、暫停、快退、快進等方式,對某一區域感興趣的內容進行反復、交互式的查看,從不同的角度研究地理實體的動態變化,提高對時空地理信息分析和綜合的能力,從而探索新規律,發掘新認知。圖1是對岳麓山西北處梅溪湖區域自2008年~2016年建設情況的分析。
4.3空間數據及平臺功能自擴展定制技術
以往的GIS系統開發通常是先根據功能需求確定系統的數據內容,然后設計每類數據的標準及數據庫結構,在系統中固化數據展示的內容、用程序語句寫死數據查詢訪問的字段。一旦原有數據結構發生變化或需要增加新的空間數據,都需要對系統進行源代碼升級,這不僅增加GIS系統運維成本,還會導致建立的GIS系統使用受限,由于不能做到“隨需應變”,約有35%以上的GIS應用系統在使用時間不超過3年就提前“壽終正寢”[5,6]。

圖1基于影像拍攝時間的動態可視化分析
“自擴展定制技術”又名“裝配式開發”或“搭建式開發”,是一種利用面向服務的構件來“零代碼”搭建應用程序的新型軟件開發技術。“裝配式開發”避免了從源代碼做起的重復開發帶來的低效率和低質量問題,減少軟件代碼開發量,提高開發質量,實現軟件的重復利用。基于這種開發技術,用戶只需專注專業流程分析,不必將大量的時間投入到系統的編碼和調試中,根據提供的功能組件,通過配置連接接口,就可以快速搭建滿足業務需要的應用系統。
應用“自擴展定制技術”來進行空間數據及平臺功能的自定制,實現系統的搭建與維護,主要包括如下定制:
(1)數據源定制:定制GIS應用系統中需要管理與展示的地理空間數據服務,包括定制基礎數據和專題數據、切片服務和動態服務、歷史數據和現狀數據等;
(2)數據展示方式定制:定制顯示的字段名稱、順序等;
(3)要素操作定制:定制查詢要素、查詢字段、統計要素、統計字段、編輯要素、編輯字段等;
(4)界面定制:菜單、工具、布局樣式、圖標等定制;
(5)用戶權限定制:對用戶角色的數據權限和功能權限進行定制;
圖2是空間數據、平臺功能及用戶權限自擴展定制技術應用實例。

圖2長沙市規劃交通勘測信息集成管理與應用共享平臺的自定制界面
5.1平臺總體設計
根據地理時空數據的專業類別多、數據格式多、分布散等特點,地理時空數據管理與應用平臺的總體架構最理想的模式是基于SOA進行設計。
SOA(service-oriented architecture)是基于組件模型的面向服務的體系結構,它將應用程序的不同功能單元(稱為服務)通過服務之間的接口和契約聯系起來。SOA的主要優勢有:
(1)可通過互聯網服務器發布,從而突破企業內網的限制,實現與供應鏈上下游伙伴業務的緊密結合。
(2)與平臺無關,減少了業務應用實現的限制。
(3)具有低耦合性特點,業務伙伴對整個業務系統的相互影響較低。
(4)具有可按模塊分階段實施的優勢。
從平臺的建設目標和應用功能出發,平臺可分為3個子系統:“資源創建與管理系統”、“信息集成共享系統”以及“數據交互應用系統”。
從平臺的邏輯結構考慮,平臺的總體結構分為“硬件層”、“數據層”、“服務層”和“應用層”,如圖3所示。

圖3地理時空大數據管理與應用平臺總體結構
5.2資源創建與管理系統
本系統主要實現各類常見地理空間數據的快速化處理和更新維護工作,并為“自擴展定制技術”(裝配式GIS系統)提供標準的數據服務。鑒于目前地理空間數據最常用的是shp和dwg格式數據,可以針對這兩類數據進行設計開發,即GIS環境和CAD環境。GIS環境主要對ArcGIS中Shp、GeoDatabase等數據進行處理;CAD環境主要實現dwg與shp的格式轉換、dwg數據創建地圖服務等[7]。
系統可在.Net架構下采用C/S(Client/Server)結構,采用C#,集成Visual Studio 2010、ArcGIS Engine 10.0、ArcGIS Server 、AutoCAD二次開發組件進行開發。系統主要包括質量檢查、格式轉換、數據編輯、數據輸出、數據入庫、數據歸檔、地圖服務管理、系統管理以及GIS通用功能。
5.3信息集成共享系統
本系統是平臺的核心部分,包含后臺數據與功能自定制系統、前臺數據展示與應用系統。后臺主要從數據源、數據展示方式、要素操作方式、功能應用、用戶權限等方面配置信息集成共享系統。前臺提供了GIS常見功能,實現地理空間數據的集成展示、查詢定位、統計分析、輔助標注、疊加瀏覽、數據下載等功能。系統功能結構如圖4所示。
系統可在.Net架構,采用基于SOA的B/S(Browser/Server)結構搭建,采用C#開發語言和Visual Studio 2010開發環境,集成GIS技術、WebService技術、AJAX技術、Silverlight技術、OGC規范等多種技術手段進行開發。

圖4 信息集成共享系統功能框架圖
為了提高“信息集成共享系統”的響應速度與可交互性,提升用戶的操作體驗,系統基于當前的“富客戶端技術”RIA,采用微軟的Silverlight打造具有高響應效率和良好操作體驗的富客戶端程序。
5.4數據交互應用系統
由于計算機輔助設計的主流軟件為AutoCAD平臺,90%以上的設計人員都采用AutoCAD進行業務設計和成果編輯,為了讓地理空間數據服務在業務設計與成果編制中發揮定位、查詢、統計、分析等作用,需開發在AutoCAD平臺下調用地圖服務的功能接口,即數據交互應用系統。
ESRI公司為了能保持CAD原有工作流程的同時,更好地分享和使用AutoCAD文件中的地理信息,提供了一套開發組件AutoCAD for ArcGIS API。系統在.NET環境下,采用以MSD標準框架為核心的AutoCAD for ArcGIS API組件,使用AutoCAD.NET API對AutoCAD應用程序進行開發,將發布的地圖服務無縫加載到AutoCAD制圖平臺[8],同時能夠將地圖服務提供的數據資源與dwg數據屬性進行掛接,實現了AutoCAD平臺下地圖服務的數據瀏覽、要素查詢及要素編輯。
本文方法已成功應用于長沙市規劃勘測設計研究院的長沙市規劃交通勘測信息集成管理與應用共享平臺的項目建設中。本院是集測繪、勘察、規劃、交通、市政、園林、建筑七大專業門類的綜合性設計研究院,擁有長沙市的 1∶500、1∶1 000、1∶2 000大比例尺地形圖、地下綜合管網數據、正射影像圖、控制測量成果等基礎地理信息數據,還有長沙市的巖土勘察成果、規劃編制成果、交通模型等專業數據資源。共享平臺將七大專業類別、數據格式各異、分散在不同數據庫和服務器且更新頻繁、反復利用的城市地理時空數據有效地進行組織和管理[9,10]。平臺包含資源創建與管理系統、信息集成共享系統(前臺展示、后臺定制)和數據交互應用系統三大部分。采用B/S和C/S相結合的架構,利用富客戶端的地圖增強顯示技術,使用戶能快速獲取豐富的地圖數據資源;利用地形圖、管線數據和影像圖的時間屬性,采取基于時間幀的地理時空數據動態可視化表達技術,實現了地理信息歷史數據回溯和地理實體動態演化過程;采用自擴展定制技術開發的信息集成共享定制系統,能進行空間數據和平臺功能的自定義,延伸了平臺的使用壽命。
本文通過對城市地理時空數據特性的分析,針對不同的地理數據制定了相適應的管理方案,結合當前計算機新技術,將富客戶端技術、動態可視化技術和自擴展定制技術應用到地理時空大數據管理平臺開發進行了深入研究,采用SOA設計平臺的總體架構,開發了資源創建與管理系統、信息集成共享系統、數據交互應用系統三大實用的應用系統。本文的技術方法為城市地理時空大數據的集成管理和共享應用提供了的技術經驗。
[1] 肖建華,王厚之,彭清山等. 地理時空大數據管理與應用云平臺建設[J]. 測繪通報,2016(4):38~42.
[2] 劉小飛,關昆,于海波等. 多源多目標空間數據庫的一體化集成與管理技術研究[J]. 測繪通報,2014(12):97~100.
[3] 楊春成,何列松,謝鵬等. 基于空間數據庫引擎的多源地理空間數據管理[J]. 測繪科學技術學報,2010(10):366~370.
[4] 陳靜,馬金鋒,毛鋒等. 青島地理信息資源共享平臺設計與實現[J]. 地理空間信息,2009(6):87~90.
[5] 吳掠桅,孫玉婷,趙偉等. 基于服務的三維地理信息共享思考與平臺設計[J]. 地理空間信息,2015(6):67~71.
[6] 劉潤達,諸云強. 開源地理信息共享平臺GeoNetwork及其定制應用實踐[J]. 地理信息世界,2010(6):38~44.
[7] 胡冬芽. 地理信息共享平臺的關鍵技術與發展[J]. 測繪通報,2013(6):65~67.
[8] 陳靜,向隆剛,朱欣焰. 分布式異構柵格數據的集成管理研究[J]. 武漢大學學報,2011(9):1094~1096.
[9] 向紅梅,向洪成,胡齊華. 生產管理“一體化”的城市綜合測繪系統的設計與實現[J]. 測繪通報,2014(8):105~108.
[10] 吳燕平,田超,謝露蓉等. 建庫與制圖數據一體化生產與管理技術的研究與實踐[J]. 測繪科學,2011(6):224~226.
[11] 張衡,成毅,王曉理等. 云GIS下智慧城市地理空間信息共享平臺構建[J]. 地理信息世界,2016(6):71~76.
[12] 夏強,陶迎春,劉芳. 城市基礎地理信息時空數據變化更新方法[J]. 測繪科學,2016(12):200~205.
ResearchontheTechnologyandMethodofUrbanGeographySpaceTimeBigDataManagementandApplicationPlatform
Xiang Hongmei1,Guo Mingwu2
(1.Changsha Planning & Design Survey Research Institute,Changsha 410007,China;2.Wuhan Geomatics Institute,Wuhan 430022,China)
According to the characteristic of spatial and temporal geographical data on urban,such as multi professional category,multi data format,data dispersion and so on,the management schemes of the grid format data,the data of the graph form,the data of the element type,the similar GIS data and the ArcGIS data of 5 kinds of geography space time data are put forward.Using map enhancement technology based on rich client,dynamic representation of temporal and spatial data based on time frame,spatial data and platform function self expanding custom technology,the overall design of the data management and application platform of the urban geography space time and space is carried out,and the trinity system of resource creation and management system,information integration and sharing systems,data interactive application system is developed. The high efficiency of data management and application in urban geography time and space has been realized. The technology method proposed in this paper has been verified in the project construction of Information integration management and application sharing platform for planning traffic survey in Changsha City,it provides the technical experience for the integration management and sharing application of the urban geography space time big data.
geographical space time;big data;management and application platform;rich client;time frame;self expanding custom
1672-8262(2017)05-57-05
P208.2
A
2017—07—18
向紅梅(1968—),女,正高職高級工程師,主要從事GIS數據管理及應用開發研究工作。
本論文獲得2017年“華正杯”城市勘測優秀論文三等獎。