基于Hadoop+BP神經(jīng)網(wǎng)絡(luò)的海綿城市大數(shù)據(jù)平臺(tái)設(shè)計(jì)研究

王潔瑜 楊婉寧 趙江峰 蘇 鋒 劉曉東 權(quán) 鋒

(1.中國電建集團(tuán)西北勘測(cè)設(shè)計(jì)研究院有限公司，陜西 西安 710065；2.陜西省禮泉縣水利管理站，陜西 禮泉 713200；3.中電建路橋集團(tuán)有限公司，北京 100048)

隨著城市化的快速發(fā)展，海綿城市建設(shè)逐步成為中國城市建設(shè)的一項(xiàng)基本國策和生態(tài)基礎(chǔ)設(shè)施的重要組成部分，在充分保護(hù)、修復(fù)和恢復(fù)城市水生態(tài)系統(tǒng)，統(tǒng)籌低影響開發(fā)雨水系統(tǒng)、城市雨水管渠系統(tǒng)、超標(biāo)雨水排放系統(tǒng)，實(shí)現(xiàn)雨水的自然積存、自然滲透、自然凈化和利用的同時(shí)，為更好地適應(yīng)環(huán)境變化和應(yīng)對(duì)自然災(zāi)害的城市開發(fā)建設(shè)，亟需運(yùn)用數(shù)字化、信息化手段支撐海綿城市的建設(shè)和運(yùn)營，借助大數(shù)據(jù)平臺(tái)存儲(chǔ)、處理及分析的能力，可視化呈現(xiàn)海綿城市建設(shè)效果和總體控制目標(biāo)，實(shí)現(xiàn)城市供水、排水和水環(huán)境的智慧化管控。

近年來，水環(huán)境領(lǐng)域均開展了大數(shù)據(jù)建設(shè)的研究工作。江蘇省基礎(chǔ)地理信息中心就江蘇水利信息化需求，搭建了水利地理信息平臺(tái)專題空間數(shù)據(jù)服務(wù)平臺(tái)，極大地推動(dòng)了當(dāng)?shù)厮畔⒒ㄔO(shè)進(jìn)程；劉凱等人基于成都市水環(huán)境的基本情況，進(jìn)行了成都市水環(huán)境信息化建設(shè)與研究[1]。王霣等人構(gòu)建了天津市生態(tài)環(huán)境信息化體系，并對(duì)大數(shù)據(jù)技術(shù)在未來生態(tài)環(huán)境治理中的重點(diǎn)應(yīng)用進(jìn)行了分析[2]。

由于海綿城市工程建設(shè)涉及植草溝、綠色屋頂、雨水花園等LID海綿設(shè)施的空間布局及相關(guān)參數(shù)、市政規(guī)劃管網(wǎng)及海綿地塊劃分等，具有海量、空間多源、異構(gòu)的數(shù)據(jù)特點(diǎn)，具體包括矢量數(shù)據(jù)、光柵數(shù)據(jù)、排水管網(wǎng)數(shù)據(jù)、土地利用數(shù)據(jù)、水文資料、氣象資料等，且數(shù)據(jù)存儲(chǔ)量最高達(dá)到PB級(jí)別，并且分布于總控中心、氣象局、水利局等多個(gè)監(jiān)管部門，傳統(tǒng)的數(shù)據(jù)平臺(tái)已無法滿足海綿城市工程建設(shè)的實(shí)際需求，本文依托西安小寨區(qū)域海綿城市工程建設(shè)現(xiàn)狀，構(gòu)建基于Hadoop+BP神經(jīng)網(wǎng)絡(luò)的海綿城市大數(shù)據(jù)平臺(tái)[3-5]，提高數(shù)據(jù)同時(shí)訪問效率、分布式處理及計(jì)算能力的同時(shí)，為工程項(xiàng)目提供了強(qiáng)有力的決策支撐。

1 海綿城市大數(shù)據(jù)平臺(tái)構(gòu)建關(guān)鍵技術(shù)

為了實(shí)現(xiàn)與海綿城市建設(shè)相關(guān)設(shè)施的空間、屬性、監(jiān)測(cè)信息及文檔資料的統(tǒng)一而有效地管理，建立一個(gè)高效率、低冗余的存儲(chǔ)機(jī)制是建立海綿城市大數(shù)據(jù)平臺(tái)庫首要考慮的問題。因此海綿城市大數(shù)據(jù)平臺(tái)的設(shè)計(jì)需遵循結(jié)構(gòu)可擴(kuò)充性設(shè)計(jì)、數(shù)據(jù)安全性設(shè)計(jì)、數(shù)據(jù)完整性設(shè)計(jì)、空間與屬性可關(guān)聯(lián)性設(shè)計(jì)、數(shù)據(jù)多源性設(shè)計(jì)、數(shù)據(jù)編輯并發(fā)性設(shè)計(jì)六個(gè)層面的設(shè)計(jì)原則，為高效精準(zhǔn)的存儲(chǔ)、處理及分析海綿城市工程建設(shè)大數(shù)據(jù)，該項(xiàng)目采用Hadoop框架作為基礎(chǔ)研究平臺(tái)[4,5]。

1.1 Hadoop基礎(chǔ)平臺(tái)

Hadoop是一個(gè)基于Java的分布式數(shù)據(jù)處理和數(shù)據(jù)分析的軟件框架，以分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)、Hbase和Map Reduce為核心，提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)框架。將Hadoop基礎(chǔ)平臺(tái)作為海綿城市大數(shù)據(jù)平臺(tái)的分布式計(jì)算平臺(tái)，Hadoop框架見圖1。

Hadoop通過Map Reduce算法模型將任務(wù)分布并行運(yùn)行在一個(gè)集群服務(wù)器中，實(shí)現(xiàn)大規(guī)模的海綿城市工程數(shù)據(jù)的并行計(jì)算，同時(shí)保證計(jì)算的準(zhǔn)確性和高效性。

HDFS是Hadoop的分布式文件系統(tǒng)，采用Master-slave結(jié)構(gòu)，HDFS由一個(gè)NameNode(master)和多個(gè)DataNode(slave)組成。

Hbase為典型非關(guān)系型數(shù)據(jù)庫，面向開源分布式的存儲(chǔ)模型，包括Master(master)，RegionServer(slave)和ClientLibrary組件。

1.2 基于Hadoop的BP神經(jīng)網(wǎng)絡(luò)算法

在海綿城市工程項(xiàng)目建設(shè)過程中，涉及多項(xiàng)考核指標(biāo)用于建設(shè)前后的海綿效果評(píng)價(jià)，本小節(jié)研究借助云的計(jì)算向數(shù)據(jù)遷移機(jī)制及MapReduce并行處理海量數(shù)據(jù)的優(yōu)勢(shì)，解決BP神經(jīng)網(wǎng)絡(luò)在處理大規(guī)模降雨樣本數(shù)據(jù)時(shí)計(jì)算量大、網(wǎng)絡(luò)訓(xùn)練時(shí)間長的瓶頸問題。構(gòu)建了海綿城市建設(shè)效果評(píng)價(jià)網(wǎng)絡(luò)模型,在Hadoop下應(yīng)用并行BP網(wǎng)絡(luò)算法，實(shí)現(xiàn)了對(duì)用于評(píng)價(jià)分析城市內(nèi)澇風(fēng)險(xiǎn)指標(biāo)數(shù)據(jù)及水質(zhì)風(fēng)險(xiǎn)指標(biāo)數(shù)據(jù)進(jìn)行分類挖掘，挖掘分析結(jié)果對(duì)海綿城市建設(shè)效果評(píng)估具有決策指導(dǎo)性意義[6]。

1.2.1海綿城市考核評(píng)價(jià)BP神經(jīng)網(wǎng)絡(luò)模型

海綿城市考核評(píng)價(jià)包含多個(gè)考核方向及考核內(nèi)容，本文以城市內(nèi)澇考核方向?yàn)槔Y(jié)合城市內(nèi)澇風(fēng)險(xiǎn)評(píng)價(jià)的國家標(biāo)準(zhǔn)和實(shí)際情況，采用BP神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)為雙極性S型函數(shù)：

(1)

輸出范圍為[-1,1]，具有雙極性(函數(shù)值可為正、負(fù)值),滿足輸出為負(fù)的要求，比單極性(僅為正值)函數(shù)更能減少收斂時(shí)間。

1.2.2網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的確定

1)輸入層和輸出層神經(jīng)元的確定。

輸入和輸出層的神經(jīng)元由輸入和輸出向量的維數(shù)決定。其中涉及內(nèi)澇風(fēng)險(xiǎn)的因素，包括降雨強(qiáng)度、徑流系數(shù)、下墊面不透水系數(shù)、下墊面洼蓄量、下墊面下滲系數(shù)、蒸發(fā)系數(shù)等作為城市內(nèi)澇神經(jīng)元輸入。

輸出層的神經(jīng)元為評(píng)估城市內(nèi)澇風(fēng)險(xiǎn)輸出等級(jí)，參照相關(guān)研究，結(jié)合西安當(dāng)?shù)貙?shí)際情況，內(nèi)澇風(fēng)險(xiǎn)等級(jí)輸出為5個(gè)等級(jí)，因此為5個(gè)輸出神經(jīng)元，進(jìn)行了西安城市內(nèi)澇等級(jí)劃分，如表1所示[7,8]。

表1 城市內(nèi)澇風(fēng)險(xiǎn)等級(jí)劃分標(biāo)準(zhǔn)

2)隱含層神經(jīng)元數(shù)的確定。

該項(xiàng)目的隱含層神經(jīng)元數(shù)由排水管網(wǎng)水量計(jì)算、暴雨計(jì)算公式及降雨時(shí)序等計(jì)算結(jié)果決定，因此，經(jīng)過多次調(diào)整隱含層的節(jié)點(diǎn)得到管網(wǎng)及地表漫流結(jié)果，節(jié)點(diǎn)應(yīng)取值12時(shí)，網(wǎng)絡(luò)模型可得到精準(zhǔn)輸出符合實(shí)際的內(nèi)澇風(fēng)險(xiǎn)等級(jí)。

2 海綿城市大數(shù)據(jù)平臺(tái)設(shè)計(jì)

2.1 海綿城市大數(shù)據(jù)平臺(tái)架構(gòu)

基于Hadoop+BP神經(jīng)網(wǎng)絡(luò)的海綿城市大數(shù)據(jù)平臺(tái)架構(gòu)圖如圖2所示，主要分為數(shù)據(jù)源、數(shù)據(jù)集成和加工、分布式存儲(chǔ)、大數(shù)據(jù)分析、應(yīng)用服務(wù)及用戶訪問[8]。

2.1.1數(shù)據(jù)源

數(shù)據(jù)源主要包括地理信息數(shù)據(jù)源、在線監(jiān)測(cè)數(shù)據(jù)源、運(yùn)行管理數(shù)據(jù)源以及文檔多媒體數(shù)據(jù)源。其中地理數(shù)據(jù)源指行政區(qū)劃、水系、植被、公路、河流岸線等基礎(chǔ)地形數(shù)據(jù)及海綿城市建設(shè)項(xiàng)目、設(shè)施、監(jiān)測(cè)設(shè)備的空間信息，管線、節(jié)點(diǎn)以及匯水區(qū)等雨水系統(tǒng)地理數(shù)據(jù)。運(yùn)行管理數(shù)據(jù)源指項(xiàng)目位置描述、工程規(guī)模、項(xiàng)目指標(biāo)值、設(shè)施設(shè)計(jì)參數(shù)、設(shè)施實(shí)際規(guī)模、設(shè)施維護(hù)信息等。在線監(jiān)測(cè)數(shù)據(jù)源指在線監(jiān)測(cè)儀器在排水分區(qū)、河道水系、市政排水管道、地塊中所采集得到的雨量、流量、液位、水質(zhì)、溫度、設(shè)備狀態(tài)等實(shí)時(shí)數(shù)據(jù)。文檔多媒體數(shù)據(jù)源指海綿城市建設(shè)相關(guān)的文檔資料、圖片數(shù)據(jù)、視頻數(shù)據(jù)等。

2.1.2數(shù)據(jù)集成和加工

數(shù)據(jù)集成和加工過程包括數(shù)據(jù)采集、數(shù)據(jù)加工清洗、數(shù)據(jù)變換以及數(shù)據(jù)整合，實(shí)現(xiàn)從數(shù)據(jù)源中抽取數(shù)據(jù)到Hadoop平臺(tái)進(jìn)行數(shù)據(jù)分析，將關(guān)系數(shù)據(jù)庫、非結(jié)構(gòu)化數(shù)據(jù)及非關(guān)系數(shù)據(jù)庫分別導(dǎo)入HDFS及Hase中，結(jié)構(gòu)化數(shù)據(jù)導(dǎo)入Hive中。

2.1.3大數(shù)據(jù)分析

應(yīng)用Hadoop的MapReduce框架，根據(jù)不同的應(yīng)用場景，提供的空間多維度水文數(shù)據(jù)模型服務(wù)并可按照模型結(jié)構(gòu)靈活性的高低支持算法設(shè)置和子過程選擇，同時(shí)模型計(jì)算分析將作為隱式算法嵌入該計(jì)算框架當(dāng)中，自動(dòng)對(duì)默認(rèn)參數(shù)進(jìn)行優(yōu)化，提高模型精度。由于各項(xiàng)監(jiān)測(cè)數(shù)據(jù)分布各個(gè)監(jiān)測(cè)點(diǎn)，因此該系統(tǒng)選擇分布式服務(wù)Hadoop框架的核心技術(shù)HDFS負(fù)責(zé)監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)和管理。

2.1.4平臺(tái)應(yīng)用服務(wù)

通過BP神經(jīng)網(wǎng)絡(luò)及回歸分析算法對(duì)海綿城市考核指標(biāo)進(jìn)行深層次的統(tǒng)計(jì)分析及智能預(yù)測(cè)，同時(shí)借助Cesium GIS工具，以一張圖的方式展示海綿監(jiān)測(cè)設(shè)施設(shè)備的空間位置、海綿地塊信息等，同時(shí)支持分層查看。此外，各項(xiàng)數(shù)據(jù)處理及分析預(yù)測(cè)的結(jié)果均可根據(jù)需求通過API接口方式接入市政監(jiān)管平臺(tái)等。

2.2 海綿城市大數(shù)據(jù)平臺(tái)應(yīng)用

2.2.1大數(shù)據(jù)一張圖展示

“大數(shù)據(jù)一張圖”展示全天候在線監(jiān)測(cè)海綿城市相關(guān)元素，全面、實(shí)時(shí)、準(zhǔn)確掌握區(qū)域內(nèi)的水環(huán)境、水生態(tài)、水安全、水資源等信息，涵蓋雨量、流量、液位、水質(zhì)等多項(xiàng)指標(biāo)的監(jiān)測(cè)儀表設(shè)備的建設(shè)，以及相關(guān)設(shè)施、設(shè)備的監(jiān)測(cè)數(shù)據(jù)和運(yùn)行狀態(tài)監(jiān)控。

2.2.2考核評(píng)估

統(tǒng)計(jì)對(duì)比展示西安小寨海綿城市建設(shè)考核指標(biāo)目標(biāo)值和實(shí)際建設(shè)情況值，從“水安全、水環(huán)境、水生態(tài)、水資源”四個(gè)方面分別進(jìn)行比較，考核指標(biāo)主要分為年徑流總量控制率、城市暴雨內(nèi)澇災(zāi)害防治、城市雨水管渠系統(tǒng)排水能力、水環(huán)境質(zhì)量、SS削減率、熱島效應(yīng)、雨水資源收集利用率及污水再生利用率。

2.2.3模型計(jì)算分析及預(yù)測(cè)展示可視化

該系統(tǒng)采用Hadoop框架的Map-Reduce分布式計(jì)算程序，結(jié)合數(shù)學(xué)模型計(jì)算結(jié)果，完成監(jiān)測(cè)數(shù)據(jù)的分布式處理，并根據(jù)不同的業(yè)務(wù)需求分別設(shè)計(jì)不同的并行計(jì)算方式及數(shù)據(jù)分析功能，包括水質(zhì)分析、水量分析等城市水環(huán)境評(píng)估及生態(tài)評(píng)估，同時(shí)在分析結(jié)果的基礎(chǔ)上，能夠預(yù)測(cè)洪水影響范圍、空間分布特征和時(shí)間動(dòng)態(tài)變化。為海綿城市工程建設(shè)提供有效的支持與保障[10]。

2.2.4大數(shù)據(jù)管理

大數(shù)據(jù)管理是考核評(píng)估的基礎(chǔ)支撐，支持多種類型格式于批量數(shù)據(jù)的導(dǎo)入、導(dǎo)出，提供數(shù)據(jù)表、趨勢(shì)線、分布圖等多種數(shù)據(jù)展示方式，同時(shí)提供數(shù)據(jù)統(tǒng)計(jì)分析功能，幫助管理者快速、準(zhǔn)確的分析工作的重難點(diǎn)問題。

3 結(jié)語

在小寨海綿城市建設(shè)中，涉及到了大量種類繁多且需實(shí)時(shí)更新的數(shù)據(jù)資料，小寨海綿城市大數(shù)據(jù)平臺(tái)的建立，可以將這些數(shù)據(jù)按照統(tǒng)一的設(shè)計(jì)原則及標(biāo)準(zhǔn)進(jìn)行整理匯總，并劃分到不同的框架當(dāng)中，為小寨海綿城市各級(jí)管控提供強(qiáng)有力的數(shù)據(jù)基礎(chǔ)，為小寨海綿城市建設(shè)提供了安全保障，同時(shí)為實(shí)現(xiàn)海綿城市試點(diǎn)建設(shè)成效的可視化展示及后續(xù)業(yè)務(wù)奠定了堅(jiān)實(shí)的基礎(chǔ)。