市政地下管網運維大數據預處理技術的研究與應用

郭興根 劉 帥 趙 威

河北天元地理信息科技工程有限公司河北省市政管網智能監控技術創新中心 河北 廊坊 065201

市政是規劃和管理重要組成部分，隨著市政建設不斷發展，市政建設中出現越來越多信息，這就要求市政地下管網建設中大數據和安全控制。同時，要對地下管網進行更新改造，提高維護效率，降低失效概率，減少間接傷害，對市政發展有著重大的現實意義。隨著城鎮化進程加快，地下管網鋪裝量也在不斷增加，各個市政發展進程中，在市政道路和建筑周圍，會出現大量地下管網，增加地下管網的挖掘和維修困難，并且由于支護困難，可能造成周圍土壤沉降開裂，路面圍護占用路面，影響交通流量，造成重大經濟和社會損失。在此基礎上，結合我國實際情況，提出一種基于大數據的市政地下管網預處理技術方法。

1 市政地下管網概述

作為現代化市政基本設施的一個重要組成部分，地下管網包括給水、排水、燃氣、熱力等多種類型，具有種類繁多、分布廣泛周期長等特點，而且隨著市政規劃和建設發展，數量也在增加，而且還在持續地進行著升級。在市政建設、規劃、設計、施工、管理、決策等方面，市政地下管網是市政建設和管理基本依據。由于對地下管網了解程度較低。因此，對其進行全面、準確監測不僅會對市政生活產生諸多影響，而且還會對社會、經濟產生巨大影響。而市政地下管網又是人類身體中的“血管”與“神經”，隨時承擔著與之有關信息與能源傳輸任務，是一個城市長久存在與高速發展重要物質支撐，也是其“生命線”。所以，對市政地下管網進行數字信息管理，就成為對地下管網進行建設和管理一個關鍵步驟。另外，在我國市政快速發展、人口高度集中背景下，我國城市快速發展，負荷日益加重，對地下管網依賴與日俱增。市政危害越來越明顯，特別是在快速擴張和發展的市政，其自然災害、環境災害和人類活動災害都非常嚴重。一座現代城市要實現可持續發展，需要具備安全保障，尤其是在遇到緊急情況和災難時，可以迅速作出正確決定，并進行高效救助。因此，站在城市發展戰略高度，對地下管網在市政規劃、建設和管理中的角色與地位進行全面理解。

2 地下管網的特點

市政地下管網主要是在地表之下的一個區域內，形成一個錯綜復雜、非常混亂網絡結構。它具有4個最重要特征：不可見，因市政綜合網絡基本都是布置在地下的，所以一個顯著特征就是看不見的，這使得人們很難得到精確空間定位和有關屬性信息；復雜多樣，因市政地下管網在地下分布極為復雜，并且彼此交叉，類型繁多，雜亂無章；整體統一，因市政地下管網在其功能上是一個體系的，是一個完整的，相同管網、不同區段可以互相連接起來，共同發揮各自功能與效果；狀態變化，隨著現代社會快速發展，每一座大、中型市政規模都在發生著改變，這就導致網絡狀況發生很大改變[1]。

3 地下管網的分類

對于地下管網，可以有多種類型：根據使用對象，可以分為給水、燃氣、雨水、污水、強電、弱電等；按照其服務范圍，還可以將其劃分為：市政公用地下管網、小區地下管網、施工場地地下管網、專業地下管網等。我國市政地下管網工程設計中，以市政地下管網設計為主，滿足市政地下管網設計需要。與此同時，也可以便利政府各職能部門之間監督和高效管理。數字地下管網是為專門地下管網設計、規劃、施工和管理服務，而在地下管網部分運行則是為了在地下管網的一些特性很難被詳細展示出來，通過將這些特性進行部分放大處理，這樣就能更好展示出與當地地下管網有關信息。

4 市政地下管網運維大數據預處理技術概述

4.1 技術背景

伴隨著市政進程的持續加速，當前，市政綜合地下管網建造品質持續提高，各類市政管線覆蓋程度提高，不僅保障社會發展，同時也促進經濟發展和建設。然而，在運行幾年之后，地下管網經常會發生一些故障，比如地下管網磨損，這時又要面臨頻繁維修，交通管理，造成資金壓力一年比一年大。其中，“先地上后地下”的市政規劃方式會造成地下管網無序運行，從而加大地下管網運營費用，并對社會經濟發展造成極大阻礙。本項目研究成果將為新市政和新城區的發展提供理論依據和技術支持，為市政道路和建筑等地區地下管網提供智慧運行管理平臺，不僅能夠從某種角度上緩解市政地下管網過密問題，還能夠提高市政地下管網運行效率，緩解道路的擁堵狀況，從而推動社會發展和進步。

4.2 技術定義

市政地下管網運維大數據預處理技術屬于一種在大數據背景下所產生的安全控制技術，它可以很好地滿足地下管線、道路橋梁安全運營實際情況。一般而言，市政基礎建設、安全生產等多個方面的數據處理技術都是由多個方面管線信息進行匯總和分析，從而能夠建立一個更加完備智能化服務平臺。

4.3 技術內涵

市政地下管網運維大數據預處理技術在現代發展中有著廣泛應用，是建立智慧市政不可或缺的一部分。在對地下管網進行數據跟蹤和監控過程中，可以對地下管網的復雜性和特點有更深一層認識，在此過程中，還可以對數據進行一些難度分析和總體調整。同時，利用二階差對彩色圖象進行實時可逆向遮蔽，實現對故障定位擴展，從而滿足對現場分析和檢測需要。同時，在本次研究中，主要通過分段差值擴展技術與非線性誤差技術來進行技術處理，可以在成本可控情況下，達到可逆數據隱藏和彩色圖像擴展管理目的，從而進一步提高智能監控系統數據效率，同時也符合技術發展客觀需求。

5 數據庫技術

5.1 系統數據存儲

GIS與 ORACLE之間聯系是利用空間數據庫引擎 ArcSDE來實現，該系統有關數據儲存模式都是以 GeoDatabase模式為基礎的，同時還可以根據工業數據做合適擴充。其中，地理信息系統以元素類、關聯類、柵格目錄、Terrain、屬性表等為基礎，以地理信息系統中地理信息系統（GeometryNetwork）、規則（Rule）、子類（子類）、域（Domain）等為基礎進行地理信息系統擴充。

5.2 系統功能介紹

系統在查詢統計、決策分析等功能上有很大優點：視圖顯示，為了便于對系統中地圖展示區域進行調整，系統還提供放大、縮小、前后視圖和漫游等功能，以便于對系統地圖視野進行調整；查詢功能，為了便于對地下管網信息進行查詢，該系統還提供一個查詢功能，可以采用兩種方法進行查詢，第一種方法是利用管線圖形信息來對屬性信息進行查詢，第二種方法是利用屬性信息來對管線進行查詢，也就是一種方法是以管線圖形為依據，對地下管網特定起始點號、終止點號、埋深等進行查詢。第三種可以按照諸如材料、管徑等所設定管道屬性信息，將地下管網特定位置定位到所設定位置；定位功能，利用諸如地名、道路、圖幅等指標數據，可以迅速發現所要查找管道，還可以根據所需坐標來確定地下管網位置；輔助工具，利用標尺測量儀器可以測量距離、角度、面積等，并可以用標記法把地下管網特性信息標記在地圖上；決策分析，通過橫剖面和縱剖面分析，為工程規劃和建設提供依據。同時，通過橫向和縱向凈距和覆蓋深度計算，檢查地下管網布置情況，確保地下管網的布置與國家標準的一致，并通過火災救援等功能，為人民的生產生活服務，盡量降低經濟損失[2]。

6 非線性DELTA誤差技術地下管網數據壓縮算法

6.1 管線監控類數據字典

為了加快地下管網采集速度，監測站點數據字典，采用變量壓縮比處理方法，對地下管網的監測資料。同時，在預警線下的數據上。在預警線下的數據變化較小、數據量大、壓縮率高。其中，超過預警值數據超過預警值是監測重要數據，所以數據量小、用無損壓縮，可以減少數據冗余，從而提升數據存儲率。

6.2 實時變化數據壓縮描述

在對地下管網資料進行監視時，因地下管網資料變動幅度很小，因此可以說，地下管網情況比較平穩，而一旦數值變動很大，說明有意外情況出現。因此，在監視時，大部分資料都是變動幅度很小資料，應著重對其進行壓制。其中，一些數據是在最大與最小之間數據，它們占很大比重，因此在對它們進行壓縮同時，也要對它們進行無損壓縮。另外，在項目中，非報警值數據屬于第一類數據，這種數據是比較穩定，數據間差異很少。因此，對于這種數據處理，只有當前后數據的 Delta差值超過某一條預警線Φ1時，才會將這種數據記錄在數據庫中。此資料為目前資料尺寸與之前資料尺寸之對比，若二資料間之錯誤超過 phi;時，將該數據記入數據庫。

7 面向市政地下管網運維的數據預處理技術

如果能夠正確運用市政地下管網運維大數據預處理技術，能夠很好地解決地下管網系統建設不科學問題，在降低后期運營成本，提高運營效率方面都有著無可取代的影響，現就技術實現過程進行討論，具體內容如下。

7.1 樹立專業人才全員參與意識

在大數據下，以工程項目為主傳統監理方式走向以信息化為主的新型監理方式，其首要任務是加強對施工項目監理人員培訓。借助全國指導方針，加強對當前監管工作宣傳與交流，從觀念到行動，全方位提高管理工作信息化水平與行動意識；引入技術性人才，并逐漸降低監理人員選聘與考評標準，不僅要有較強工程知識，還要有較強信息技術應用能力；提升管理標準，引導相關工程、企業及管理者積極地提供相關信息，鼓勵企業采用以互聯網為基礎協同作業、建筑信息模型（BIM）、物聯網等信息化管理手段，為未來大規模信息互聯互通奠定基礎。同時，新時期市政行業監管部門，要建立起讓所有人都能夠參加觀念。工程技術專業人員也應要學會和掌握現代化信息技術，在觀念上要逐步擺脫傳統監管方式，在技術上要對科技設備和軟件系統操作技巧進行提升。

7.2 實現基礎信息數據互聯互通

由于市政基礎設施參與主體眾多，基礎信息重復率高，信息采集、傳遞和共享困難，而在施工階段，信息變化快，精度低，使管理部門難以對其進行實時監控。在傳統監督管理方式下，對已有問題進行現場檢查和糾正，往往要耗費大量資源和精力，從而導致巨大浪費。同時，構建數字監管系統，可以實現對工程項目從報監到竣工驗收、備案全過程質量、安全進行精細化、差別化監督，具有重大現實意義。其中，要保證信息互動便利，市政監管系統是管理中建筑產業的一個關鍵環節，僅僅依靠單位本身條件所獲得數據總是不夠全面，工程體系相互聯系，且體系結構復雜，具有較強專業性，較高重復頻率，快速變化和較高證據要求。因此，要想在保障信息安全，使數據互聯互通，最有效、最快速的方法就是利用一個國家統一數據大平臺來進行數據交換。

7.3 非線性誤差技術地下管網數據壓縮算法

在全覆蓋地下管網數據監控中，平臺需要不間斷的連續運轉，期間會生成大量的時間序列，不僅能夠反映出運營期內地下管網領域工作狀態和工作量變化，還能夠對其進行更深層次挖掘，提高數據密度，幫助決策者實現精確決策。在進行分析過程中，會牽扯到很多數據存儲與傳輸問題。在不損失重要有效數據基礎上，還要對信息合理性、科學性進行更多考量。在此基礎上，針對不同類型資料，對資料進行不同類型觀測，并對其進行相應分析。另外，管線監控數據集合。管線監測數據集合存在能夠提高管線信息獲得速度，并與可變壓縮率情況相聯系，對預警線數據進行處理，將那些數據量較少但起到預警作用信息，都要納入到分析序列中。如果超出警報范圍，必須對該區域數據進行特別監測。其中，對于非線性誤差壓縮算法實現過程。非線性誤差壓縮算法是一種從傳統壓縮算法中衍生出來一種先進算法，它種類很多，包括一級預警、多級預警等。在對算法實現進行分析的時候，要將報警的上下限設定等內容納入其中，將地下管網數據監測過程和數值范圍當作分布條件，對數據進行追蹤和監測，以達到對數據壓縮。有些資料是介于安全與警告性之間資料，必須加以調整，以達到科學化目的。

7.4 基于分段差值法地下管網數據解壓縮算法

在實現大數據預處理技術同時，利用分段差值法對數據進行解壓也有著諸多優點。因這種技術可以將學習和數據挖掘問題結合起來，將數據處理效率最大化，減少多余數據比重，因此，可以很好地適用于地下管網系統建設，從而可以避免數據短缺和填補不夠情況。同時，在市政中，為了處理工程具體問題，對資料進行研究大多都是使用分段差值法。因此，對測點資料進行6S一次采集，并對其進行適當儲存，在必要間隔序列中進行數據分析[3]。

8 結束語

總而言之，在未來市政地下管網建設和智慧城市規劃管理中，市政地下管網運維大數據預處理技術有著非常重要意義。運用數據解壓縮，數據偏差計算，數據挖掘存儲等方法，使地下管網設計與運行更加有效。因此，地下管網信息平臺需要更加穩定、可靠數據，從而滿足大規模市政管道數據需求，提升地下管網的數據分析能力，保證其總體工作效率。