大數據技術在綜合管廊環境監測中的應用

童麗閨+楊浩

摘 要：針對綜合管廊環境監測海量數據管理需求，該文運用大數據技術，提出綜合管廊監測大數據以及關鍵技術，建立管廊監測大數據中心，給出了大數據技術在管廊環境監測中的應用前景和方向，高效地獲取非結構化數據所蘊含的有效的管廊監測信息，對管廊健康狀況進行分析與預警，實現智慧的管廊監測分析和決策。該研究可為保證綜合管廊的正常運行和提高突發事件的處置能力提供借鑒。

關鍵詞：大數據 綜合管廊 環境監測

中圖分類號：TP27 文獻標識碼：A 文章編號：1672-3791（2017）03（a）-0028-02

近年來，隨著城市化進程的加快，我國市政工程的建設規模越來越大，綜合管廊通過集約化建設、統一運營管理的方式，解決城市快速發展對市政設施的負荷需求，是市政管線建設的趨勢和方向。綜合管廊整體建于地下，只有少量的投料口、人員出入口和通風口與外界相通，內部空間相對密封，易對綜合管廊內設施設備造成破壞、甚至還會造成人員傷亡等災難性后果[1]。

綜合管廊屬于地下密閉空間，一旦發生災害，甲烷、一氧化碳等危險氣體達到一定濃度時，將對搶修人員造成人身安全威脅。由于管廊監測點眾多且分布極廣，現有的基于物聯網技術的管廊環境監測系統，利用溫濕度傳感器、液位傳感器、氧氣傳感器、甲烷傳感器、硫化氫傳感器等，對管廊環境進行綜合監測、感知，產生了海量的由傳感器產生而又不適于關系模式的非結構化數據。如何有效地管理這些非結構化數據，迫切需要利用大數據技術，高效地獲取非結構化數據所蘊含的有效的管廊監測信息，實現智慧的管廊監測分析和決策，讓管理人員及時掌握管廊健康狀況，對即將出現問題進行處理，預防事故發生。該文提出了使用大數據技術建立管廊監測大數據中心的新概念，給出了大數據技術在管廊監測中的應用前景和方向，可對管廊健康狀況進行分析與預警。

1 管廊監測大數據

1.1 大數據定義

維基百科對“大數據”的定義是：“使用常用軟件工具獲取、管理和處理數據所耗時間超過可容忍時間的數據集”。[2]大數據通常被認為是PB（1024 terabytes）或EB（1EB=100萬TB）或更高數量級的數據，包括結構化的、半結構化的和非結構化的數據，其規模或復雜程度超出了常用傳統數據庫和軟件技術所能管理和處理的數據集范圍。[3]

1.2 非結構化數據

非結構化數據已逐漸成為大數據的主體。非結構化數據例如文本、圖形、圖像、音頻和視頻等，從內容上沒有統一的結構，數據是以原生態形式（raw data） 保存的，因此，計算機無法直接理解和處理，需要基于描述性信息實現對非結構化數據內容的管理和操作。[4]

1.3 管廊監測大數據

管廊監測大數據將包括：管廊范圍內所有的管廊本體數據（管廊本體空間位置、屬性信息），管廊內部附屬設施數據（消防栓、通風口、積水井等），以及管廊環境監測系統所產生的溫濕度傳感數據、液位傳感數據、氧氣傳感數據、甲烷傳感數據、硫化氫傳感數據等，見圖1。

2 關鍵技術

2.1 大數據管理技術

在應對海量的綜合管廊監測數據時，需要實現快速的數據儲存和讀取，并且管廊監測大數據中半結構化數據和非結構化數據所占比重越來越大，關系型數據庫已無法滿足需求，NoSQL非關系型數據庫技術將為管廊監測大數據管理提供可靠的保障。NoSQL技術簡單分為key-value存儲、文檔數據庫和圖數據庫等。

2.2 大數據分析技術

管廊監測大數據分析技術首先要解決如何將多源異構的數據正確解讀、綜合分析的問題，并從海量數據環境中，挖掘出數據中潛在的、事先未知的有用信息，為管廊健康狀況進行分析與預警。大數據分析技術將包括數據挖掘、信息聚合等技術。

2.3 大數據處理技術

海量增長的管廊監測大數據要從不同類型的數據里迅速獲取有價值的信息，需要處理大量、非結構化的數據，在處理環節中可以采用采用高性能、大規模并行的海量數據處理的算法模型與平臺來提高海量數據的處理能力。

2.4 大數據展示技術

大數據展示技術包括數據分析過程和結果的可視化顯示、歷史數據的可視化、信息流展示，將大數據復雜的分析，用直觀的形式進行展現出來，進而提高管廊監測大數據的利用效率。

3 管廊監測大數據中心

圍繞管廊監測領域業務流、數據流，以地理空間數據、具有時空標識的傳感監測數據為基礎，結合管廊監測領域空間數據和屬性數據，利用計算機技術、3S技術、圖形處理技術，建設一個現勢性強、真實準確的、集管廊監測數據和電子地圖數據、空間信息和屬性信息為一體的管廊監測大數據中心，使之成為“智慧管廊”建設的數據基礎，全面實現城市地下、地上數據共享應用。

4 結語

該文簡要分析了大數據及管廊監測大數據的定義，研究討論了大數據關鍵技術，面向綜合管廊監測領域開展大數據管理、大數據分析、大數據處理和大數據展示等技術研究，基于對大數據技術的理解，提出管廊監測大數據中心，對提高綜合管廊環境監測的智能化水平具有重要的現實意義，促進城鎮化發展質量和水平全面提升。

參考文獻

[1] 鄭立寧，王建，羅春燕，等.城市綜合管廊運營管理系統構建[J].建筑經濟，2016（10）：92-98.

[2] 林文敏.云環境下大數據服務及其關鍵技術研究[D].南京大學，2015.

[3] 申德榮，于戈，王習特，等.支持大數據管理的NoSQL系統研究綜述[J].軟件學報，2013（5）：1786-1803.

[4] 郎波，張博宇.面向大數據的非結構化數據管理平臺關鍵技術[J].信息技術與標準化，2013（10）：53-56.