大數據融合技術在城市澇情監管預警中的應用

吳志成 紀綱 吳艷林

[摘 要]利用大數據技術獲取城市澇情信息，融合城市的降雨、防澇標準、歷史澇情等數據，建立城市澇情預警機制，是促進排水防澇工作的重要手段。文章利用信息爬取與語義識別、預警預測、數據可視化等技術，提出了大數據融合技術在城市澇情監管預警中的應用方案。

[關鍵詞] 排水防澇;數據融合;澇情預警;數據可視化

[DOI]10.13939/j.cnki.zgsc.2021.12.183

1 引言

近年來，暴雨等極端天氣給社會管理、城市運行和人民群眾生產生活造成了巨大影響，加之部分城市排水防澇等基礎設施建設滯后、調蓄雨洪和應急管理能力不足，出現了嚴重的暴雨內澇災害。《全國城市市政基礎設施規劃建設“十三五”規劃》提出“加快對城市易澇點整治”“建設暴雨內澇監測體系，提高內澇預報預警能力?！比绾渭皶r、準確、完整地掌握各個城市排水防澇工作進展，對城市排水防澇工作進行科學、有效的監督指導，成為住建部、省、市城建管理部門的迫切需求。大數據技術在海量異構數據融合、分布式數據處理與計算、數據可視化等方面具有優勢，[1]融合大數據技術與城市澇情監管預警業務，成為客觀分析排水防澇效果，科學指導城市安全度汛的有效方法。[2]

2 應用需求

基于大數據技術，通過數據集成、互聯網信息爬取、傳感器采集等方式收集城市易澇點信息、城市降雨信息、城市澇情信息，為用戶提供綜合數據分析、可視化展現等服務，為城建管理部門監督、指導城市開展排水防澇工作提供支撐平臺。系統主要需求包括以下三方面：①準確、及時掌握城市降雨及澇情信息。能夠從氣象網站獲取全國主要城市的逐小時降雨信息。從門戶網站、微博等渠道爬取城市澇情相關信息，及時掌握全國各地澇情程度和影響;②城市澇情信息預警預測。綜合降雨量、城市防澇標準、易澇點治理進展、歷史澇情等信息，建立城市澇情預警分析模型，對全國城市未來澇情情況進行預警，指導城市排水防澇工作;③對降雨、積水、澇情等信息進行綜合利用，提供每日澇情情況匯總報告、澇情周報、澇情預警情況報告。輔助領導決策，滿足監督、指導各地開展排水防澇工作的需要。

3 系統建設方案

3.1 數據架構

排水防澇信息系統融合易澇點基礎信息、補短板項目進展信息、易澇點實時監測信息、城市澇情信息、城市降雨信息，形成排水防澇綜合數據庫，支撐排水防澇業務處理及科學決策需要。排水防澇數據體系包括：基礎數據、業務數據、決策分析數據三類：①排水防澇基礎數據：基礎數據包括代碼數據、基礎數據、空間數據?；A數據在排水防澇系統各模塊共享使用;②排水防澇業務數據：包括補短板項目業務進展數據、易澇點實時監控數據以及從互聯網、第三方采集的降雨數據、澇情數據、統計年鑒等排水防澇相關數據，為排水防澇分析決策提供支撐;③排水防澇決策分析數據：決策分析數據是依據數據分析與綜合決策要求，對排水防澇業務數據進行加工處理形成的數據，包括排水防澇統計數據、治理系統評價數據、澇情分析預測等數據。

3.2 技術架構

排水防澇信息系統利用大數據平臺的數據采集、存儲、計算、分析能力構建，由基礎設施層、綜合數據庫層、大數據技術支撐層、排水防澇應用層以及信息安全體系、數據指標體系組成，構建科學合理的數據分析、澇情預測模型，通過豐富、形象、易用的數據可視化技術，滿足排水防澇業務的數據應用需求。①基礎設施層：通過云計算技術，將網絡、計算、存儲、安全等基礎設施池化，為大數據支撐平臺、綜合數據庫、排水防澇應用提供穩定、可靠、高效的運行環境;②綜合數據庫層：將易澇點數據、澇情數據、降雨數據、監測數據等按照數據標準體系進行清理、轉換、加載等處理，形成滿足業務處理與分析決策的綜合數據庫;③大數據技術支撐層：滿足分布式環境下海量異構數據采集、存儲與資源管理、分布式計算框架、大數據分析與可視化展現等功能需求。主要的技術組件包括地理信息、信息爬取與搜索、數據挖掘、集成接入（ETL）、遙感遙測分析等;④信息安全體系：圍繞信息保密性、真實性、可用性（CAA）目標，參照涉密信息系統安全機制構建涵蓋物理安全、網絡安全、應用安全、數據安全、管理安全的數據安全服務體系，為排水防澇信息管理提供安全的數據服務;⑤數據指標體系：建立排水防澇信息的數據標準、技術標準和管理標準，確定數據采集、數據集成、數據共享的技術路線，推動數據互聯互通與信息共享，形成排水防澇頂層數據指標體系;⑥排水防澇應用層：梳理排水防澇信息管理業務流程，按照數據指標體系要求，提供易澇點管理、澇情信息管理、降雨信息管理、綜合數據分析、業務一張圖、澇情預測等服務，滿足排水防澇業務需求。

3.3 功能架構

排水防澇系統主要功能包括：城市降雨信息管理、澇情報告生成、綜合展現一張圖、統計分析、基礎信息管理等模塊。①城市澇情預警。融合降雨數據、防澇標準、歷史澇情數據，構建澇情預警模型，提供城市澇情預警預測服務;②澇情報告生成。利用網絡爬蟲及語義識別技術，從微博、門戶網站等渠道采集城市澇情信息。提供城市澇情周報、日報等報告生成功能;③綜合展現一張圖?；诙SGIS地圖展現城市降雨、澇情以及易澇點位置、積水、視頻等數據，實現相關數據的綜合展現;④統計分析。從行政區域、時間等維度提供澇情分布、澇情趨勢對比分析等功能，通過統計圖表方式，實現數據的直觀展現和應用;⑤基礎信息管理。對城市防澇標準、易澇點位置、監測設備等基礎信息進行管理，為規范城市澇情、降雨、積水等信息提供支持。

4 關鍵技術

4.1 澇情信息爬取與識別技術

4.1.1 澇情信息爬取

通過爬蟲采集數據主要包括三種方式：定向采集、擴展采集以及源搜索。定向采集是指限定站點或者頻道來搜索，實現精確的數據采集;擴展采集是指通過設定采集的起始點和采集的深度來實現比較精確的數據采集;源搜索是指利用搜索引擎（如百度、搜狗、360等），通過設置關鍵詞組來實現數據的非精確采集。本項目采用定向采集方式。

按照數據采集范圍、關鍵詞持續采集數據，并對重復數據進行去重，能夠根據語義過濾垃圾數據。分布式城市澇情信息爬蟲體系包括如下四部分：①系統管理控制臺：對爬蟲系統部署的軟硬件資源進行監控及動態管理，包括服務器資源及網絡狀況、爬蟲進程運行情況以及異常事件處理等;②爬取規則定義：能夠依據網絡爬蟲的運行狀況和信息爬取效果對爬取規則進行定義及優化。主要定義的爬取規則包括：爬取范圍、優先策略（深度、廣度）、分析詞策略（關鍵詞、剔除詞）、爬取頻率等;③功能中間件：主要包括爬取中間件、爬取防屏蔽中間件、數據存儲中間件等，提供數據采集、分析、避免反爬取策略、數據存儲及查詢服務;④分布式基礎設施：采用“主從”模式構建，主節點將爬取、分析任務在從服務器動態分配，并建立異常處理機制，實現爬蟲高效、穩定運行。

4.1.2 澇情信息識別

網絡爬蟲依據“大雨、內澇”等關鍵字采集的輿情數據不都是有效澇情信息，存在大量噪聲。為了提高爬蟲獲取澇情數據的準確率，構建了“正則關聯”與機器學習算法結合的澇情信息識別模型。通過機器學習算法進行語義理解，建立爬蟲抽取的數據類別庫，即判讀每一條數據是否與洪澇相關，從而將樣本庫分為兩類。通過卷積神經網絡（CNN）和循環神經網絡（RNN）提取文本上下文語義特征信息，依據屬性特征對其進行分類，判別爬取的內容是否屬于澇情相關的數據。該模型進一步提高了澇情數據的精準度。

4.2 城市澇情預警預測技術

以降雨預報、歷史降雨信息、歷史澇情信息、排水防澇標準、易澇點治理進展為主要因子構建城市澇情預測模型，將風險劃分為“最高”“高”“較高”“一般”“無”5種等級，并發布三天內各城市的風險預警，為指導城市內澇工作提供決策依據。

通過接入澇情城市、基于內澇點的降水實況及預報、覆蓋內澇城市的降水實況及預報等數據，通過滾動計算方法，將其與城市防澇標準做對比，通過制定風險預警策略，預判城市澇情風險和易澇點澇情風險，并實時發布澇情預警信息。

4.3 排水防澇數據可視化技術

通過大數據技術融合城市澇情輿情信息、城市降雨信息、城市澇情監控實時信息，利用專題一張圖、報告生成等方式實現多維度疊加式數據可視化，更好地服務綜合管廊建設管理部門的規劃和決策。①排水防澇專題一張圖。基于GIS的業務多圖層綜合展現，將全國易澇點、降雨和澇情信息集中在一張圖，關聯降雨對澇情的影響，科學評估易澇點治理效果;②排水防澇業務分析報告：面向不同用戶的業務需求，按照報告模板要求的格式、數據快速生成分析報告。報告采用文字、表格、統計圖等多種數據展現形式，內容包括降雨分布情況、澇情分布情況、降雨與澇情關系分析等。

5 結論

文章研究大數據在城市澇情監管預警領域的應用方案，充分發揮大數據在分布式、海量、異構數據采集、存儲、處理、分析方面的優勢，改變傳統信息采集方式，融合易澇點數據、降雨數據、澇情數據、補短板項目數據，實現“填報型”到“監控型”應用的轉變，構建城市排水防澇效果評價、澇情預測等數據分析應用模型，為促進排水防澇工作提供有力支撐。

參考文獻：

[1]孫敏，王琳.大數據時代下的數據可視化方法分析[J].軟件，2019，40（9）.

[2]張麗虹.大數據背景下城市排水防澇設施動態管理系統設計[J].工程管理與技術，2018（4）.

[3]薛祥光， 蔣世峰， 李萌，等. GIS在城市排水防澇中的應用趨勢[J].科技視界， 2016（1）：71-72.

[4]侯圣巒，劉磊，曹存根.基于語義文法的網絡輿情精準分析方法研究[J].計算機科學，2014（10）.

[5]郝瑩，陳靖，王元，等.基于高時空分辨率降水預報產品的城市內澇預警研究[J].暴雨災害，2019（3）.

[6]都伊林，馬興.大數據構建城市應急預測預警體系[J].信息化研究，2017，43（2）.

[基金項目]中華人民共和國科學技術部 2017年研究課題“城市地下綜合管廊安全防控技術研究及示范”（項目編號：2017YFC0805000）;中國航天科工集團有限公司2019年研究課題“城建大數據平臺建設及應用研制”（項目編號：2019-M-4）;中國航天科工集團有限公司2019年研究課題“城市治理基礎服務云平臺研究與典型業務應用”（項目編號：2020-M-4）。

[作者簡介]吳志成（1983—），男，漢族，江蘇泰州人，研究生，北京京航計算通訊研究所副部長，高級工程師，研究方向：大數據技術與應用。