









摘" 要:該文設計一款基于“微服務+平臺”架構的基礎地理信息產品質量控制系統,該系統具有可擴展性強、支持數據種類多、檢查功能完備、系統運行速度快及檢查流程圖形化簡單可控的特點,有效地提高基礎地理信息數據的質量檢查速度與精度。
關鍵詞:數據質量檢查;系統設計;微服務+平臺;地理信息數據;速度與精度
中圖分類號:P208" " " " 文獻標志碼:A" " " " " 文章編號:2095-2945(2023)17-0102-06
Abstract: A basic geographic information product quality control system based on \"Micro Service plus Platform\" architecture is designed. This system has the characteristics of strong expansibility, many kinds of supporting data, complete inspection function, fast running speed of the system and simple and controllable graphical inspection flow, which effectively improves the quality inspection speed and accuracy of basic geographic information data.
Keywords: data quality check; system design; Micro Service plus Platform; geographic information data; speed and accuracy
基礎地理信息數據產品主要可分為4大類:數字劃線地圖(Digital Line Graphic,DLG)、數字高程模型(Digital Elevation Model,DEM)、數字柵格地圖(Digital Raster Graphic,DRG)及數字正射影像圖(Digital Orthophoto Map,DOM)[1]。在基礎地理信息數據的采集、處理及應用過程中不可避免地會出現數據質量問題,如:數據精度誤差過大、元數據文件缺失或空間關系混亂等。基礎地理信息數據質量的好壞直接影響著GIS應用、分析、決策的正確性和可靠性,所以對數據進行質量檢查對于確保數據實用性具有極其重要意義[2]。目前國內常用的基礎地理信息數據質量檢查軟件主要有QGIS、ArcGIS及MapCheck軟件,相較于前兩者而言,作為國產軟件的MapCheck軟件對國內基礎地理信息產品的質量檢查具有獨特的優勢,其檢測項和檢測標準完全遵循中國的國家標準與行業規定,與國產基礎地理信息數據產品的匹配度遠高于其他軟件。
但MapCheck軟件存在部分問題,系統架構屬于較為陳舊的單體式架構,該架構可擴展性較差,對檢查項進行增加或者改動時需要改動底層代碼,在數據種類方面僅支持數字劃線地圖的數據質量檢查,缺少對數字高程模型、數字柵格地圖及數字正射影像圖的支持,軟件僅支持單幅數據的檢查,檢查效率較低。本文針對以上問題,以MapChack作為參考提出了新一代國產基礎地理信息數據質量檢查系統,該系統摒棄了MapCheck單體式開發的架構,采用“微服務+平臺”的全新架構,具有擴展性強、運行效率高、穩定性強及維護簡單的特點,后端數據庫將MapCheck部分優秀的檢查項與算法重新進行移植分類,采用基于模型庫、模板庫、算法庫和規則庫的模塊化設計,大大減小了檢查項更新所需工作量。在易用性方面,采用BPMN2.0標準業務流程,操作人員可以利用可視化窗口對檢查項及流程順序進行自定義更改,使得整個基礎地理信息數據質量檢查流程更加靈活多變。
1" 地理信息空間數據檢查軟件現狀
2002年,中國人民解放軍信息工程大學開發了基礎地理信息系統數據質量檢查軟件MapCheck,該系統的檢查項與檢查算法遵循已頒布的有關技術標準、法規及實際生產應用過程中的細則要求,可以對地理空間矢量數據進行包括空間參考、數據精度、文件完整性等方面的檢查[3],該軟件是國內首個檢查體系完整有序且算法快速高效的矢量數據質量檢查系統[4]。2004年武漢大學的測繪遙感信息工程國家重點實驗室開發了“空間數據質量控制與評價系統”,該系統實現了對地理矢量數據的完全自動化檢查的同時也可以對數據進行編輯并提供了定制化的數據檢查方案[5]。同年陜西測繪地理信息局的產品質量監督檢驗站設計并開發了4D Checker軟件,該軟件首次實現了對4D(DLG、DEM、DOM、DRG)的質量功能檢查[6]。2009年湖北省基礎地理信息中心研發了基礎地理信息數據檢查軟件,該軟件能接收多種地理信息數據產品并實現自動或輔助人工檢查。此后國內數據質量檢查軟件體系逐漸成熟,涌現了一大批基礎地理信息質量檢查軟件。目前行業內最新產品為2021年由自然資源部測繪標準化研究所研發的AutoChecker,國內主要矢量數據軟件見表1。
2" 基礎地理信息產品質量控制系統
2.1" 系統總體設計思想
系統總體設計遵循以下原則。
1)實用性原則。基礎地理信息產品質量控制系統的設計要優先考慮系統的實用性,設計能否為數據生產單位、數據驗收單位和數據質量監督檢查單位提供切實可行的功能。
2)高效性原則。系統應具有較高的自動化水平,包括檢查規則的自動設置和評估的自動化等,具備優秀的并行處理能力且具備多幅快速處理能力。
3)標準化原則。系統檢查方案定制的過程中,應嚴格執行國家、行業最新標準或規范[7-13]。
4)易用性原則。設計的軟件簡單易用,將用戶復雜度降到最低。
5)擴展性原則。系統需具有優秀的功能擴展性,針對不同的數據類型、質檢規則和質檢工具集可以快速有效添加或更改功能。
6)易維護性原則。系統應具有良好的運維設計,維護簡單方便且具有版本控制能力。
2.2" 系統架構設計
2.2.1" “微服務+平臺”架構設計
新的基礎地理信息產品質量控制系統采用“微服務+平臺”的全新系統架構。平臺采用“向下適配、向上支撐”的分層設計,面向多元、多類型數據質量檢查時,上層應用屏蔽各類操作系統對網絡資源、計算資源與儲存資源之間的差異性,提供必須的處理框架與運行環境,提供高效的計算資源動態分配與管理能力,同時為質檢任務專業處理插件提供標準化、組件化及流程化的集成框架,并且平臺具備支撐多源多類型數據質檢算法插件的繼承與運行環境的能力。微服務的架構方式將系統內各個復雜的業務處理流程拆分為多個服務化的功能,每個功能經過去耦合處理變成一個獨立的微服務配置項,當需要增加或更改流程時,可以便捷地創建新的微服務配置項或對已有配置項進行修改,避免了更改系統時復雜的解耦合過程。
“微服務+平臺”的架構方式帶來了新的可擴展性方案,如圖1所示。新的基礎地理信息產品質量控制系統將可擴展性分為功能擴展、性能擴展和數據擴展3部分。
功能擴展的本質是豐富和完善質檢功能插件,微服務的架構設計使得系統可以輕松實現功能的服務化,模塊化分解,各微服務之間采用REST接口互相連接,耦合性較小,只要單獨寫新的服務功能插件即可實現系統功能的快速擴展。
性能擴展是通過增加硬件節點數量,將某一服務進行多副本部署實現整體計算性能的增加,性能擴展基于Docker及Kubernetes的容量云架構模式,微服務全部采用容器模式進行托管,借助容量云服務管理能力實現對微服務的副本數量和負載節點進行調度管理,實現微服務整體性能的快速伸縮和平滑擴展。
數據擴展是利用數據分區設計,使得原本集中一處的大規模數據,按照一定原則分散至不同的承載環境中,實現系統整體管理能力的擴展。對于基礎地理信息產品系統而言,最大的數據對象是各類待檢地理信息數據,當數據量大幅增加后,通過增加承載節點實現系統整體數據的管理能力。
2.2.2" 拖拽可視化業務流程
新的基礎地理信息產品質量控制系統采用BPMN 2.0標準業務流程建模規范作為主體架構以增加整個系統的易用性,運用拖拽可視化編輯工具實現質檢業務流程的快速定義,采用工作流并行處理引擎實現業務流程自動完成相應算法的處理與電鍍,具備流程可描述、流程可視化、流程標準化、流程可定制、流程可擴展及流程可共享的能力。該種設計可以顯著提高業務系統的集成化、自動化和智能化。
2.3" 數據庫設計
綜合考慮地理信息產品質量系統的發展和數據生成單位的實際需要,新系統采用了基于4種數據庫(算法庫、模板庫、規則庫及模型庫)設計,既能實現網絡化使用,同時也支持單機操作。該設計具有迭代更新的功能,可在生產過程中“試用—反饋—改進—更新”以不斷完善質量檢查功能。新基礎地理信息數據質量檢查系統在矢量數據質量檢查基礎上增加了對數字高程模型(Digital Elevation Model,DEM)及正射影像的數據質量檢查。
2.3.1" 模型庫設計
模型的作用就是表達各類質量缺陷識別的概念性質,對研究的對象進行必要的建模,并用適當的規則把其主要特征描述出來。面向矢量數據、數字高程模型數據及正射影像數據的檢查項,構建數據質量評價模型,通過各種元素共同評價加數據的質量,形成質量評價模型庫。如針對矢量數據評價模型,一級質量元素包括形式檢查、邏輯一致性、屬性精度、坐標檢查、拓撲檢查及接邊檢查等。各質量元素最終評價的結果采用權重系數表示,并且面對不同種類數據或同一種類不同需求的檢查,均可對質量檢查元素的權重系數進行調整,以使得檢查具有不同方向的側重點,最后采用累加元素評價得分的方式得到最終的評價結果。表1為矢量數據產品質量評估元素及其默認權值。
2.3.2" 規則庫設計
基礎規則一般是指數據的本質特征,是通過沉淀、抽象和總結多類型、多格式、海量空間數據的內在邏輯關系而形成的,基礎規則主要可分為屬性質量規則和圖形質檢規則。其中屬性質量規則包括屬性空值檢查規則、屬性值域檢查規則及屬性值邏輯正確性檢驗規則等。圖形質檢規則包括點點、點線、線線、線面、面面及點面等拓撲質檢規則和微短線、線打折等其他圖形質檢規則及圖形接邊檢查規則等。部分規則庫檢查規則見表2。
2.3.3" 模板庫設計
針對不同檢查項設計特定的檢查模板形成模板庫,檢查算法只有結合相應的模板才能實現某一特定的檢查功能。通過界面化的操作,用戶可以通過檢查項快速找到相應的模板文件,根據模板文件的修改說明自行增加、刪除和改變模板信息,以滿足相應的檢查需求,表3為部分入庫檢查模板。
2.3.4" 算法庫設計
按照基礎地理信息產品質量檢查算法進行分類歸納形成算法庫,主要分為拓撲關系檢查、數學基礎檢查、屬性數據檢查、接邊檢查和空間相關合理性檢查等。基本算子是各種地圖缺陷尤其是空間關系缺陷識別算法建立的基礎,新系統按照粒度適宜與個數有限的原則對識別算法進行系統剖分,盡可能得到全面準確的基本算子完成算法庫的設計,部分檢查算子見表4。
3" 功能界面設計
軟件基于VC++編寫,整體功能界面遵循易用性設計,保證每一項功能使用不超過3級菜單并且盡可能地減少用戶的界面適應期。一級菜單包括:文件、數據自動檢查、查看、圖形操作、系統設置、檢查項設置、數據檢查、數據編輯、地圖匹配、一致性檢查和幫助。如圖2與圖3所示,文件菜單主要實現基礎地理信息數據的打開、新建和輸出功能,數據檢查菜單涵蓋基本的數據檢查參數設置,如格式轉換、權值設定、模板設定及多幅或單幅的檢查設定等內容,圖4為自動檢查項設置打開界面。
4" 應用實例
以南京市一幅矢量地圖數據為例進行數據質量檢查,權值及模板等設置信息采用系統默認設置,層完整性檢查結果如圖5所示,錯誤項檢查結果如圖6所示。
5" 結束語
基礎地理信息數據的質量檢查是數據生產更新工作的重要環節,對于保證數據的實用性具有極其重要的意義。本文以“地圖數據質量檢查與控制軟件”MapCheck作為參考設計了一款全新國產基礎地理信息數據質量檢查系統,詳細地介紹了系統的設計思想、架構設計、數據庫設計與功能設計并給出了應用實例。該系統以“微服務+平臺”作為基礎架構,采取了基于“四庫”的柔性功能模塊管理設計方案并使用可視化業務流程。系統已部署于中國人民解放軍某部隊,在實際生產應用中取得了良好的效果。
參考文獻:
[1] 吳芳華,劉平芝,楊云,金澄.矢量數字地圖生產的質量控制方法[J].測繪通報,2005(5):50-52,64.
[2] 吳芳華,張躍鵬,金澄.GIS空間數據質量的評價[J].測繪學院學報,2001(1):63-66.
[3] 吳芳華.失量地圖數據質量控制的理論與實踐[D].鄭州:中國人民解放軍信息工程大學,2002.
[4] 吳芳華,金澄.矢量地圖數據屬性精度的檢查與控制[J].測繪學院學報,2003(1):65-68.
[5] 曾衍偉,龔健雅.空間數據質量控制與評價方法及實現技術[J].武漢大學學報(信息科學版),2004(8):686-690.
[6] 車秋鋒.4D Checker數字測繪產品質量檢驗系統的研制與開發[J].測繪通報,2004(9):47-49,65.
[7] 劉平芝,吳芳華.1:5萬矢量地形數據的質量評定[J].測繪學院學報,2005(3):212-215.
[8] 數字測繪成果質量要求:GB/T 17941—2008[S].北京:中國標準出版社,2008.
[9] 測繪成果質量檢查與驗收:GB/T 24356—2009[S].北京:中國標準出版社,2009.
[10] 測繪產品檢查驗收規定:CH 1002—1995[S].北京:中國標準出版社,1995.
[11] 數字測繪成果質量檢查與驗收:GB/T 18316—2008[S].北京:中國標準出版社,2009.
[12] 測繪產品質量評定標準:CH 1003—1995[S].北京:中國標準出版社,1995.
[13] 1:5 000 1:10 000 1:25 000 1:50 000 1:100 000地形圖質量檢驗技術規程:CH/T 1023—2011[S].北京:測繪出版社,2012.