面向海量地貌數(shù)據(jù)的自動(dòng)化在線質(zhì)檢研究

王 慧，潘驍駿，聞 達(dá)，唐 偉，葛婷婷，吳承紅

（1. 浙江省測(cè)繪科學(xué)技術(shù)研究院，浙江 杭州 311100；2. 浙江省水利河口研究院，浙江 杭州 310020）

測(cè)繪地理信息事業(yè)正朝向生產(chǎn)與服務(wù)并重的新型基礎(chǔ)測(cè)繪發(fā)展，為更好地在經(jīng)濟(jì)社會(huì)發(fā)展中提供多層次全方位服務(wù)，需要確保測(cè)繪地理信息數(shù)據(jù)成果的質(zhì)量。然而，新型基礎(chǔ)測(cè)繪中質(zhì)檢工作范圍不斷拓展，質(zhì)檢對(duì)象數(shù)據(jù)量大幅提升，質(zhì)檢模式亟需向網(wǎng)絡(luò)化轉(zhuǎn)變[1]，以全面提升質(zhì)檢技術(shù)和質(zhì)檢能力。在基礎(chǔ)測(cè)繪地理空間數(shù)據(jù)庫(kù)建設(shè)中，海量地貌數(shù)據(jù)的質(zhì)檢是重點(diǎn)也是難點(diǎn)。已有研究提出了針對(duì)等高線異常鄰接、等高線高程錯(cuò)誤、高曲矛盾等地貌質(zhì)量問題的自動(dòng)化檢查算法[2]，并基于GIS軟件開發(fā)了相應(yīng)的質(zhì)檢工具。為充分降低人工質(zhì)檢負(fù)荷，滿足海量數(shù)據(jù)自動(dòng)化快速質(zhì)檢需求，地貌數(shù)據(jù)的自動(dòng)化質(zhì)檢算法和質(zhì)檢模式應(yīng)具備檢查全面、誤報(bào)率低、穩(wěn)定性好和運(yùn)行速度快等關(guān)鍵性能，因此仍需在質(zhì)檢算法的優(yōu)化和質(zhì)檢模式的改進(jìn)方面展開深入研究。

本文在梳理地貌數(shù)據(jù)整體質(zhì)檢規(guī)則的基礎(chǔ)上，以高曲矛盾、水曲矛盾、坎曲矛盾等隱蔽復(fù)雜問題的自動(dòng)化檢查算法為重點(diǎn)展開研究，借助一款與GIS 格式無(wú)關(guān)的ETL工具（FME）進(jìn)行自動(dòng)化檢查算法的二次開發(fā)，并依托FME Server和FME Intergration 實(shí)現(xiàn)了海量地貌數(shù)據(jù)的在線自動(dòng)化集成質(zhì)檢。

1 地貌數(shù)據(jù)質(zhì)檢概述

1.1 地貌數(shù)據(jù)特征分析

地理空間數(shù)據(jù)庫(kù)中的地貌數(shù)據(jù)主要包括等高線、高程注記點(diǎn)以及示坡線、獨(dú)立石、沖溝、陡崖陡坎、斜坡、梯田坎等用符號(hào)標(biāo)示的地貌元素，按幾何特征可分為點(diǎn)、有向點(diǎn)、線、有向線、面和注記6 類。地貌數(shù)據(jù)中以節(jié)點(diǎn)密集的等高線的數(shù)據(jù)量居多，以單個(gè)普通縣級(jí)區(qū)域的新型基礎(chǔ)測(cè)繪資源庫(kù)為例，等高線要素?cái)?shù)據(jù)量可達(dá)百萬(wàn)條。等高線表達(dá)了地勢(shì)的漸變，具有無(wú)向性、不相交性、連通性和高程遞變性等特點(diǎn)[3]，與斜坡、梯田坎、陡坎等具有朝向意義的有向線和具有流向意義的水系線等地性線在圖形表達(dá)上應(yīng)滿足一定的空間邏輯關(guān)系[4]。

1.2 地貌數(shù)據(jù)的質(zhì)檢內(nèi)容

地貌數(shù)據(jù)質(zhì)檢的目標(biāo)是準(zhǔn)確找出錯(cuò)誤，發(fā)現(xiàn)造成矛盾的非地貌數(shù)據(jù)的質(zhì)量問題，進(jìn)而修改完善。地貌數(shù)據(jù)的質(zhì)檢內(nèi)容大致包括3類：

1）圖形表達(dá)的檢查，包括等高線相交、等高線斷裂、等高線落水、等高線高程值跳躍（出現(xiàn)相鄰的兩條等高線的高差大于基本等高距）等問題。

2）屬性的檢查，包括等高線中首曲線、計(jì)曲線分類代碼與高程不匹配，空間相連的等高線高程和代碼不一致，高程注記點(diǎn)的高程屬性不合理或與注記不匹配等問題。

3）要素空間邏輯關(guān)系的檢查：①若高程注記點(diǎn)高程值等于最鄰近的等高線高程值、與最鄰近的等高線高程值之差大于基本等高距、超出了空間鄰近等高線構(gòu)成的高程值區(qū)間，統(tǒng)稱為高曲矛盾；②水系應(yīng)由地勢(shì)高處流向地勢(shì)低處，若水系流經(jīng)的等高線高程序列未呈現(xiàn)遞減規(guī)律，則構(gòu)成了水曲矛盾；③斜坡、陡坎等地貌線應(yīng)朝向地勢(shì)低處，若要素符號(hào)化后其齒線指向的空間相鄰等高線為地勢(shì)高處則構(gòu)成了坎曲矛盾。

2 質(zhì)檢技術(shù)分析

2.1 質(zhì)檢難點(diǎn)

在地貌數(shù)據(jù)的質(zhì)檢中，對(duì)于圖形空間邏輯矛盾的檢查是難點(diǎn)[5]。水曲矛盾和坎曲矛盾問題隱蔽，并未直接通過外在表現(xiàn)出來(lái)，實(shí)際工作中常通過圖面配置符號(hào)、顯示線方向、標(biāo)注屬性等處理進(jìn)行人工圖面巡視或要素遍歷來(lái)完成檢查。在高曲矛盾自動(dòng)化檢查算法研究方面，常見的是引入相鄰最近的4 條等高線以檢查高曲矛盾的算法[6]、基于改變步長(zhǎng)和角度的高曲矛盾檢查方法[7]以及通過構(gòu)建TIN內(nèi)插比較法和放射線法以檢查高曲矛盾的算法[8]。上述算法多次循環(huán)過程復(fù)雜，且檢查對(duì)象數(shù)據(jù)量有限。基于鄰近分析的高曲矛盾自動(dòng)化檢查算法在遇到如圖1 所示的情況時(shí)，通常需調(diào)整搜索步長(zhǎng)或放射角度以降低誤判率，算法復(fù)雜度較高，因此開發(fā)更嚴(yán)謹(jǐn)和高效的自動(dòng)化檢查算法是本文研究的重點(diǎn)。

圖1 高曲矛盾示例

2.2 質(zhì)檢模式分析

基于檢查算法開發(fā)檢查工具是實(shí)現(xiàn)自動(dòng)化質(zhì)檢的重要過程。目前國(guó)內(nèi)外常見的質(zhì)檢軟件多為桌面端的工具或平臺(tái)，包括基于CAD二次開發(fā)設(shè)計(jì)的高曲矛盾質(zhì)檢程序[7]，基于 ArcEngine、Arc/Info、Visual Studio、FME 以及SQL Server 數(shù)據(jù)庫(kù)技術(shù)設(shè)計(jì)與開發(fā)的ArcGIS質(zhì)檢插件或平臺(tái)，可用于地貌數(shù)據(jù)的質(zhì)檢[9-11]。該類桌面端軟件的質(zhì)檢模式為本地離線質(zhì)檢，雖在一定程度上擺脫了人工質(zhì)檢模式，提高了質(zhì)檢效率，但仍存在一些不足：①嚴(yán)重依賴具體的GIS 平臺(tái)，專用性強(qiáng)、可遷移性弱；②難以實(shí)現(xiàn)軟件的快速更新，需要多個(gè)桌面端的繁瑣安裝；③耗費(fèi)大量本地計(jì)算內(nèi)存，不能穩(wěn)定支撐海量數(shù)據(jù)的質(zhì)檢。

3 海量地貌數(shù)據(jù)的在線自動(dòng)化質(zhì)檢

3.1 技術(shù)路線

鑒于常見的質(zhì)檢軟件和模式已不能滿足海量地貌數(shù)據(jù)的高效質(zhì)檢，且質(zhì)檢算法仍有待改進(jìn)和完善，本文從質(zhì)檢算法和自動(dòng)化質(zhì)檢軟件開發(fā)兩個(gè)方面著手研究。在質(zhì)檢算法方面主要研究高曲矛盾、水曲矛盾、坎曲矛盾自動(dòng)化檢查算法；而在質(zhì)檢軟件開發(fā)中引入不依賴于具體GIS平臺(tái)且支持在線并行質(zhì)檢的FME軟件平臺(tái)，并結(jié)合FME Workbench和Python的集成開發(fā)設(shè)計(jì)地貌數(shù)據(jù)的質(zhì)檢模板，基于Web 的空間數(shù)據(jù)訪問、在線數(shù)據(jù)處理和基于Server 的空間數(shù)據(jù)轉(zhuǎn)化等技術(shù)實(shí)現(xiàn)地貌數(shù)據(jù)的在線集成質(zhì)檢。

3.2 自動(dòng)化檢查算法

3.2.1 基于封閉區(qū)間的高曲矛盾檢查算法

地貌數(shù)據(jù)中高程注記點(diǎn)與等高線的空間位置關(guān)系多種多樣，為能有效檢查如圖1 所示的4 種情況下的高曲矛盾，本文提出了一種基于封閉區(qū)間的高曲矛盾檢查算法。其核心思想是利用等高線和網(wǎng)格構(gòu)建封閉區(qū)間面，并形成封閉區(qū)間面的高程值列表，再通過面與點(diǎn)的空間包含分析，判斷位于該封閉區(qū)間的高程注記點(diǎn)的高程值是否處于高程值列表最大、最小值范圍內(nèi)，若超出高程范圍則提示該高程注記點(diǎn)處構(gòu)成了高曲矛盾。算法流程如圖2所示。

圖2 高曲矛盾自動(dòng)化檢查算法流程圖

3.2.2 基于法向量的坎曲矛盾檢查算法

坎曲矛盾自動(dòng)化檢查算法的核心思想是通過構(gòu)建地貌數(shù)據(jù)中的田坎等有向線要素的法向量，獲取法向和反法向上的最鄰近等高線的高程值，再識(shí)別該要素的下游高程和上游高程，若下游高程不小于上游高程，則提示該要素構(gòu)成了坎曲矛盾。算法具體步驟為：

1）篩選地貌數(shù)據(jù)中的田坎、陡坎、陡岸、陡崖等有向線要素，通過Snipper轉(zhuǎn)換器截取各要素長(zhǎng)度為0.1 m的中間線段。

2）根據(jù)有向線要素的中間線段獲取中點(diǎn)P，并根據(jù)起點(diǎn)坐標(biāo)和終點(diǎn)坐標(biāo)計(jì)算線段的線方向A，計(jì)算法線方向B=A+90。

3）利用NeiborPairFinder 轉(zhuǎn)換器查找距離中點(diǎn)P最鄰近的兩條等高線，并構(gòu)建以點(diǎn)P 為端點(diǎn)的兩個(gè)矢量線段（圖3a、3b），其中CloseVector 為藍(lán)色矢量，SecondClosedVector為黃色矢量，同時(shí)計(jì)算兩個(gè)矢量線段的線方向V_A1和V_A2。

4）從兩個(gè)矢量線段中找出與法線方向一致的矢量，并通過LineExtender 延伸0.05 m；再與等高線進(jìn)行空間相交分析，獲取高程值，并記為下游高程Low_Elevation，同時(shí)將另一矢量延伸相交獲取的等高線高程值記為上游高程High_Elevation。

5）對(duì)比分析各有向線要素中間線段的下游高程Low_Elevation和上游高程High_Elevation，若下游高程不小于上游高程則為坎曲矛盾，如圖3c所示。

圖3 坎曲矛盾檢查示例

3.2.3 基于高程序列的水曲矛盾檢查算法

首先獲取各水系要素流經(jīng)的等高線的高程值列表，然后判斷該列表中的高程是否逐次遞增或遞減，若存在異常要素則提示該處為水曲矛盾點(diǎn)。算法具體步驟為：

1）通過轉(zhuǎn)換器LineOnLineOverLayer 將單線水系線（地面河流、地面支渠、地面干渠）與等高線進(jìn)行疊蓋打斷，形成無(wú)相交的散線，如圖4a所示。

2）通過轉(zhuǎn)換器LineExtender將打斷后的單線水系線散線在首尾端點(diǎn)處延伸0.05 m；再與等高線散線進(jìn)行相交分析，獲取高程值列表；最后將高程最大值max_Elevation掛接至原始單線水系線散線。

3）通過轉(zhuǎn)換器LineCombiner 將原始單線水系線散線復(fù)原為原始單線水系，同時(shí)利用ListConcatenator將各散線要素中的高程最大值max_Elecation合并為高程最大值列表List_max_Elevation。

4）調(diào)用Python判斷各單線水系線List_max_Eleva?tion 中各元素是否全部遞增或遞減，若不符合規(guī)則，則輸出要素。

5）根據(jù)不符合規(guī)則元素的索引查找得到單線水系線散線要素，即定位到水系爬坡處，如圖4b所示。

圖4 水曲矛盾檢查示例

3.3 在線質(zhì)檢技術(shù)

基于ETL工具FME軟件進(jìn)行二次開發(fā)，形成包含高曲矛盾、水曲矛盾、坎曲矛盾檢查在內(nèi)的9項(xiàng)地貌數(shù)據(jù)質(zhì)檢模板倉(cāng)；以SQLite3為數(shù)據(jù)庫(kù)來(lái)創(chuàng)建用戶表、設(shè)置表、模板設(shè)置表；利用Bootstrap4、Django3.1 與Py?thon3.8，并聯(lián)合 FME SERVER 和 FME Integration 提供的API接口進(jìn)行二次開發(fā)，實(shí)現(xiàn)集用戶管理、質(zhì)檢任務(wù)管理等功能于一體的多節(jié)點(diǎn)并行計(jì)算在線質(zhì)檢平臺(tái)。

4 實(shí)例分析

質(zhì)檢的效率和正確性是評(píng)價(jià)質(zhì)檢模式和方法的核心因素，因此本文選取浙江省某區(qū)縣的資源庫(kù)數(shù)據(jù)進(jìn)行在線質(zhì)檢平臺(tái)測(cè)試。該數(shù)據(jù)面積為862.5 km2，等高距為2 m 的等高線共88 138 個(gè)要素。利用GIS 軟件的質(zhì)檢工具進(jìn)行檢查時(shí)，會(huì)超出計(jì)算內(nèi)存，導(dǎo)致軟件崩潰，但本文研發(fā)的平臺(tái)能穩(wěn)定支撐質(zhì)檢任務(wù)的運(yùn)行。部分質(zhì)檢效率統(tǒng)計(jì)結(jié)果如表1 所示，可以看出，地貌數(shù)據(jù)質(zhì)檢的效率與要素?cái)?shù)量正相關(guān)，基于封閉區(qū)間的高曲矛盾檢查算法在等高線離散、斷裂、稀疏區(qū)域的檢查完整性有待提高。

表1 質(zhì)檢效率統(tǒng)計(jì)

5 結(jié) 語(yǔ)

本文提出了基于高程序列的水曲矛盾檢查算法、基于法向量的坎曲矛盾檢查算法和基于封閉區(qū)間的高曲矛盾檢查算法；同時(shí)采用基于FME和Python的技術(shù)方法，設(shè)計(jì)研發(fā)了較完整的地貌數(shù)據(jù)質(zhì)檢方案，并依托FME Integration 和FME Server 實(shí)現(xiàn)了地貌數(shù)據(jù)的在線自動(dòng)化質(zhì)檢。本文提出的技術(shù)方法具備以下優(yōu)勢(shì)：

1）水曲矛盾、坎曲矛盾檢查算法減少了人工檢查的工作量，確保了檢查的全面性；高曲矛盾檢查算法提高了檢查的正確性，降低了質(zhì)檢誤判率。

2）實(shí)現(xiàn)了質(zhì)檢軟件部署模式由C/S 向B/S 的轉(zhuǎn)變，改變了傳統(tǒng)多桌面端發(fā)布和安裝的更新模式。

3）將質(zhì)檢過程占用的資源轉(zhuǎn)移至網(wǎng)絡(luò)服務(wù)器，可穩(wěn)定支撐海量數(shù)據(jù)的批量并行質(zhì)檢，避免了對(duì)本地作業(yè)的干擾。

通過在日常生產(chǎn)質(zhì)檢一線的推廣應(yīng)用，面向海量地貌數(shù)據(jù)的在線質(zhì)檢平臺(tái)證實(shí)了本文提出的質(zhì)檢算法和質(zhì)檢模式的穩(wěn)定性和高效性，為測(cè)繪地理空間數(shù)據(jù)庫(kù)的質(zhì)檢提供了新的解決方法。