基于FME的排水管網隱患數據質量檢查技術研究

陳莎，譚仁春，陳子凡，石淼，江威

(1.武漢市測繪研究院，湖北 武漢 430022； 2.武漢市勘察設計有限公司，湖北 武漢 430022)

1 引 言

城市排水管網隱患排查工作的開展，旨在探明市政排水管網空間分布與屬性信息，通過查明各污水系統內雨污管道混接、錯接狀況、查明混接點(源)準確位置信息；采用各種設備對排水管道及設施內部進行功能性、結構性缺陷監測評估，可以為混錯接點整改、管道缺陷修復提供依據[1]。

由于城市排水管網隱患成果往往具有數據量龐大、屬性項豐富、錯誤隱蔽性高等特點，質量控制成為隱患排查工作中的關鍵環節。本文以武漢市中心城區排水管網隱患排查項目為例，探討利用FME平臺研發排水管網隱患數據質量檢查模塊的技術方法與內容。

2 排水管網隱患質檢內容

2.1 質檢數據源

排水管網隱患外業調查成果為Microsoft Access數據庫的mdb格式文件，包含排水管網數據兩項，隱患數據兩項，以此四項數據表作為排水管網隱患質量檢查的數據源。

(1)排水管網數據

主要為排水管點與排水管段兩類數據表，包含排水(雨、污、合)管道名稱、管徑、管內底高程、材質、長度、排水性質、流向、權屬，井深、井內狀況等空間及屬性信息，表達排水管網的分布及連接關系。

(2)隱患數據

采用管道潛望鏡(QV)檢測、閉路電視(CCTV)檢測等現代化管道檢測手段，調查排水管網的雨污混錯接，查明雨水和污水管道混接情況、沿途社區商鋪污水私接情況等，形成混接點數據表。

通過管道潛望鏡(QV)檢測、閉路電視(CCTV)檢測、全地形機器人、聲吶檢測等現代化排查手段，調查排水管網存在的功能性缺陷(沉積、結垢、障礙物、殘墻壩根、樹根、浮渣)及結構性缺陷(破裂、變形、腐蝕、錯口、起伏、脫節、接口材料脫落、支管暗接、異物穿入、滲漏)，形成缺陷檢測信息表。

2.2 質量控制流程

排水管網隱患數據的質量控制環節主要由FME質量檢查模塊、人機交互質量檢查以及外業核查等工作結合而成，其中FME質量檢查模塊包含數據結構檢查、屬性檢查、空間檢查與邏輯一致性檢查4個子模塊，從各個方面對排水管網隱患外業調查成果進行檢核，具體流程如圖1所示。

圖1 質量控制流程圖

3 質量檢查關鍵技術

3.1 質檢規則設計

質檢規則主要依據《測繪成果質量檢查與驗收》(GBT 24356-2009)[2]和《武漢市排水管網隱患數據庫標準》(DB4201/T 650-2021)[3]，深入挖掘排水管網隱患數據的特性，科學分析排水管網隱患數據的現狀，對檢查內容進行歸納與提取，設計詳盡完備的檢查規則，并制定切實有效的檢查方法。檢查規則項如圖2所示。

圖2 質檢規則項設計圖

(1)數據結構檢查

數據結構檢查模塊主要對數據庫各表是否符合規范要求進行檢查，主要包括①檢查數據庫各表使用的坐標系統是否正確；②檢查數據庫各表是否缺失或多余，命名是否符合規范；③檢查數據庫各表屬性字段是否缺失或多余，命名是否符合規范。

(2)屬性檢查

屬性檢查是對數據庫各表的屬性值填寫內容進行檢查，主要包括①字段內容是否在值域范圍內；②必填字段是否為空；③排水管點外業點號是否唯一；④排水管段編碼是否唯一；⑤排水管點地面高程超出[10，50]范圍內時生成復核提示；⑥排水管段的管段長度與計算幾何長度是否一致。

(3)空間檢查

空間檢查是對數據庫各表轉換為空間表達形式后進行檢查，主要包括①排水管點在空間上是否不與任一管段相連；②排水管點(非混接管點)存在空間重疊時生成復核提示；③排水管點為所有與其相連管段的終點(2段及以上)時生成復核提示。

(4)邏輯一致性檢查

邏輯一致性檢查是對數據庫各表在空間表達與語義化表達方面在邏輯上的一致性檢查，主要包括①排水管點點號是否存在對應管段；②排水管段管段編碼是否為起始外業點號與終止外業點號構成；③混接點是否存在對應排水管點；④檢測管段是否存在對應排水管線；⑤缺陷檢測信息同一檢測管段的是否存在相同缺陷記錄；⑥缺陷檢測信息缺陷類型、名稱、代碼、等級、分值和評價是否一致，是否符合相關規定。

3.2 質檢模塊研發

排水管網隱患數據的質量檢查工作即是依據以上質檢規則，利用FME平臺進行質檢模塊制作，并將質檢結果分類輸出。質檢模塊的研發主要包括以下內容。

(1)配置信息數據庫建立

配置信息數據庫的建立主要包含以下三個部分。

①根據《武漢市排水管網隱患數據庫標準》(DB4201/T 650-2021)規定的數據庫結構、數據表結構、編碼結構、填寫規范及相關要求，制作標準數據庫模板；

②基于《城鎮排水管道檢測評估與技術規程》(CJJ 181-2012)[4]中對結構性缺陷與功能性缺陷的名稱、代碼、等級劃分及分值的相關規定，制作缺陷信息表；

③考慮到測區地理狀況與排水管網的實際現狀，設置合理的檢查條件，如排水管點的高程值超出[10，50]則生成復核提示，因此需制作特定屬性項值域范圍表；

這三部分作為配置信息數據庫，用于FME質檢模塊的調用與參考。

(2)FME質檢模板制作

①空間數據構造

排水管網隱患數據在mdb數據表中以表格數據項的形式存儲，是一種非空間數據庫格式，以排水管點的外業點號作為關聯屬性，由排水管點的X、Y坐標值作為基礎定位信息，分別構建排水管點、排水管段、混接點與缺陷點的空間圖形，為質檢項中涉及空間關系檢查的內容提供支撐。

排水管點的構建采用VertexCreator轉換器，其中Mode為Add Point，將X Y Z Value直接對應為X坐標、Y坐標、地面高程即可。

通過AttributerKeeper轉換器，將排水管段保留管段編碼、起始外業點號、管底高程屬性為A，保留管段編碼、終止外業點號、管尾高程屬性為B，保留排水管點的外業點號、X坐標、Y坐標，A、B分別通過FeatureMerger轉換器與管點進行關聯，并通過AttributeCreater轉換器為A、B建立標識參數flag分別賦值為1與2，并保留管底高程與管尾高程為Z值，采用VertexCreator轉換器構造點，利用Sorter轉換器分別對管段編碼(Alphabetic/Ascending)與flag(Numberic/Ascending)進行排序，再通過LineBuilder轉換器兩點連線，其中Connection Break Attributes為管段編碼，構建排水管段。

混接點通過外業點號通過FeatureMerger轉換器關聯對應排水管點生成。

缺陷檢測信息表中的記錄項是針對排水管段的檢測記錄，因此構造缺陷點需要通過排水管段的起止點坐標值與缺陷距離來共同生成。缺陷信息表中檢測記錄的坐標值可以參考排水管段的構建方式獲取，將起始點坐標設置為X1、Y1、Z1，終止點坐標設置為X2、Y2、Z2，則先利用這些坐標值利用Expression Evaluator轉換器計算排水管段的管段長度D，規定缺陷點的坐標值X0、Y0、Z0：若缺陷距離為0，則X0=X1，Y0=Y1，Z0=Z1；若缺陷距離與管段長度相等，則X0=X2，Y0=Y2，Z0=Z2；否則通過Attribute Creator轉換器生成缺陷點的坐標值X0、Y0、Z0，再采用Vertex Creator轉換器構造缺陷點。

②數據結構檢查

以SCHEMA方式將質檢數據源與配置信息數據庫的標準數據庫模板分別輸入，利用FeatureMerger轉換器，將FME_FEATURE_TYPE_NAME作為關聯字段，判斷未成功匹配的數據結構并輸出。

③屬性檢查

屬性值域檢查

通過FeatureMerger轉換器將目標數據庫與配置信息數據庫的標準數據庫模板關聯，利用AttributeCreater轉換器的Parameter Condition Definition進行條件判斷生成并輸出質檢記錄。

屬性唯一性檢查

通過Matcher轉換器檢查排水管段的管段編碼與排水管點的外業點號，輸出存在重復的數據項。

屬性正確性檢查

通過Tester轉換器判斷相應數據表的屬性項內容是否滿足相應條件，不符合即輸出相應記錄。

④空間檢查

孤立管點檢查

將管段通過AttributerKeeper轉換器分別保留“起始外業點號”與“終止外業點號”，并經過GeometryRemover轉換器移除幾何信息，與管點的“外業點號”進行關聯查詢，并通過Tester轉換器排除管點附屬物為雨水篦、出水口、進水口的情形，即生成不與任何管段相接的孤立管點。

重復管點檢查

在剔除孤立管點后進行，利用PointOnPointOverLayer轉換器并篩選_overlaps>0的數據項為重疊項，再與混接點數據表進行比對排除，進行重疊檢查。

管段終點檢查

通過AttributeManager轉換器根據“流向”中的填值為0或1確定排水管段流向的“真實起點”與“真實終點”，再將無法匹配到“真實起點”的管段利用DuplicateFilter轉換器將“真實終點”重復的管段與管點利用FeatureMerger轉換器進行關聯，找到為所有與其相連管段(大于2根以上的管段)終點的排水管點。

⑤邏輯一致性檢查

邏輯關聯關系檢查

排水管點、排水管段、缺陷檢測信息、混接點之間的邏輯關聯關系主要通過外業點號、起始外業點號、終止外業點號等字段利用AttributeManager轉換器進行關聯，通過對UnmergedRequestor、UnusedSupplier等輸出端的結果進行分析，輸出空間邏輯不一致的數據項列表。

邏輯約束關系檢查

同一條記錄中不同屬性項之間邏輯約束關系檢查，主要通過AttributeCreater轉換器，設置相應的判斷因子Test Condition與描述值AttributeValue，將存在多屬性邏輯不一致的數據項進行詳細錯誤描述并輸出。

邏輯一致性檢查

缺陷檢測信息缺陷類型、名稱、代碼、等級、分值、距離、分布時鐘和評價的一致性檢查，先通過Tester轉換器過濾掉缺陷名稱為正常的數據項，再通過FeatureMerger轉換器與配置信息數據庫的缺陷信息表關聯，關聯字段設置包含缺陷名稱、缺陷代碼、缺陷等級，未關聯上的表明缺陷名稱、代碼與等級不符合標準規定。部分FME質量檢查模板示意圖如圖3所示。

圖3 部分FME質量檢查模板示意圖

(3)質檢結果樣式制定

數據質檢的意義在于檢查出數據錯誤并反饋至數據生產側，及時對數據缺陷進行完善。質檢結果需保留數據源的數據表名以及相關標識屬性，便于定位查找，且應以相對通俗、科學、合理的語言文字詳細描述質量問題，易于理解核查，以包含上述兩類信息的Excel表格按記錄項來表達質檢成果，如圖4所示。

4 基于FME質量檢查的優勢

4.1 過程可視性

FME質量檢查模塊的運行過程中，在平臺上實時顯示數據的流動軌跡、當前轉換器節點與對應轉換器各端口輸入輸出數據個數，直觀地反映每一步的處理情況，可以發現數據中存在的問題，易于及時更新質檢策略。

4.2 定制便捷性

根據不同批次、不同地理位置、不同作業單位提交數據源的實際質量情況，可新增、禁用或激活部分質檢轉換器與質檢子流程，或在相關轉換器中直接對參數進行重新填寫(如合理調整容差等)，實現質檢程序的高效快捷定制。用戶在可視化的工作空間內，按照實際需求對轉換器進行“組裝”，以此來實現對GIS數據的特定化處理[5]。

4.3 配置靈活性

用于FME模塊調用與參考的配置信息數據庫設置為Excel格式，針對不同的數據標準與數據要求，對Excel進行靈活配置與編輯更新。例如可通過修改Excel表格隨時重置特定屬性項的值域范圍，不需調整FME程序即實現了適配新標準，服務新需求。

5 結 語

排水管網隱患排查為后續雨污分流改造、管網修復改造工程、清淤減污、提質增效等行動提供了有力數據支撐，排水管網隱患數據成果的質量關乎河湖流域水環境治理的成敗。本文基于FME的自動化、批量化質檢模塊的研發，嘗試構建了科學、合理的質檢規則。本文中提到的FME實踐成果為武漢市中心城區排水管網隱患排查項目提供了高效實用的質量控制解決方案，為項目順利驗收及下一步工作的開展提供保障。