改進深度置信網絡在城市用水量預測中的應用

劉春柳 張征

摘要：城市用水量的準確預測可以為供水管網智能調度、異常報警提供支持，便于及時發現漏損、排查及檢修，具有極大的現實意義與經濟利益。針對現有用水量預測方法忽視用水量數據自身特征及不能模擬更復雜的數學運算的問題，提出一種改進深度置信網絡（DBN）的用水量預測方法。對有高斯分布的連續受限玻爾茲曼機（CRBM）引入稀疏正則項，解決特征同質化現象的同時也適用于用水量數據輸入。實驗結果表明，在實際用水量預測中，改進DBN模型相比傳統神經網絡和傳統DBN預測模型，預測準確率得到了較大的提高。

關鍵詞：水量預測;深度置信網絡;稀疏連續受限玻爾茲曼機

DOI：10. 11907/rjdk.191378

開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP301

文獻標識碼：A

文章編號：1672-7800（2020）001-0041-05

0 引言

城市用水量預測是供水管網系統計算和分析的基礎[1]。它可作為供水管網智能調度、異常報警的依據，便于及時發現漏損、排查及檢修，增加管網安全性和可靠性[2]，對自來水公司及民眾均具有極大的現實與經濟意義[3]。

現有城市用水量預測模型主要有3種：①多元線性回歸模型[4-5]，該模型結構簡單、計算量小，但預測精度低、模型泛化能力差;②時間序列模型，常見的有自回歸差分滑動平均模型（ Autoregressive Integrated Moving Average，ARI-MA）[6]，該模型只能捕捉線性關系，受隨機干擾因素影響大、預測成本高[7];③非參數統計預測模型，比如BP（backpropagation）神經網絡[8]、支持向量機及其改進[9-10]等。這些模型可以反映用水量變化規律，但它們均屬于淺層模型，在有限樣本和計算單元條件下，不能模擬更復雜的數學運算，并且大量樣本的數據特征是根據特定領域的先驗知識選擇而來的，忽視了對用水量數據自身特征的有效利用[11]。

深度學習可通過學習一種深層的非線性網絡結構實現復雜函數逼近，得到有效特征[12]。郭冠呈等[13]嘗試使用雙向長短時記憶循環神經網絡模型（ Bi-directional LongShort-Term Memory，Bi-LSTM）預測城市短時用水量，LSTM一般用于處理和預測時間序列中間隔和延遲相對較長的重要事件[14]。用水量雖然也存在時序，但語音識別單詞前后之間有很強的邏輯關系，用水量前后的邏輯關系并不是很明確。而在用水量預測領域，深度置信網絡（ Deep BeliefNetwork.DBN）已經成功應用于各種現實問題[15-17]。傳統DBN還存在一些問題，訓練特征存在大量共有特征，且需大量訓練數據才能很好地學習[18]，直接移植并不完全合適。DBN由多層受限玻爾茲曼機（Restricted Boltzmann Ma-chine，RBM）組成，經典RBM是一個包含一層可視層v和一層隱藏層h的無向概率圖模型，RBM是基于能量的模型，對所有可能的隱藏單元求和，可得到網絡分配給可視單元的概率分布p（y）[19]。RBM的學習目標是最大化P（v），利用極大似然法求解對數似然函數P（v）。為提升訓練效率，利用對比散度（ Contrastive Divergence，CD）算法進行參數更新。傳統的RBM模型可視層和隱藏層單元均為隨機二進制單元，對于用水量這種連續值來說不是特別合適[20-21]。

針對以上問題，本文提出一種改進的深度置信網絡，該模型對有高斯分布的連續受限玻爾茲曼機（ ContinuousRestricted Boltzmann Machine，CRBM）引入稀疏正則項，解決特征同質化現象的同時也適用于用水量數據的輸入。

1 深度置信網絡模型改進

通過使用堆疊的RBM可以創建分層處理的DBN。因此，DBN大部分改進源于RBM的改進。本部分首先對經典RBM的缺點進行改進優化，然后使用改進后的RBM組成適用于水量預測的新的深度置信網絡模型。

1.1 受限玻爾茲曼機改進

傳統隨機二進制單元RBM模型不適合處理水量預測問題，因此采用CRBM，在線性單元中加入獨立高斯噪聲使RBM可以處理連續輸入，CRBM具有實值可視單元和二值隱藏單元。CRBM訓練以及更新參數的過程與傳統RBM沒有明顯區別，均可運用CD算法對其參數進行調整。此時能量函數為：

為了實現深層結構中的稀疏特征，對CRBM可進一步改進——在CRBM的最大似然函數中添加稀疏正則項，可以學習有用的低級特征表示。它根據隱藏層節點激活概率與稀疏系數之間的差距而具有不同的行為，并且具有可以控制稀疏力度的位置參數;另外，本文算法在樣本較少時仍可以獲得數據的主要特征，并一定程度上抑制了訓練數據較少情況的過擬合現象。使用稀疏正則化的無監督預訓練優化模型定義如式（2）所示。

本文提出一種引入Laplace函數的稀疏正則化連續受限玻爾茲曼機（IS-CRBM），通過使用拉普拉斯函數懲罰誘導隱含層單元的稀疏狀態，而拉普拉斯函數具有重尾特征，根據隱含層單元激活概率與p的差距，顯示不同的稀疏程度。最終參數更新公式為：

1.2 LSC-DBN整體架構設計

經典DBN是由幾個RBM堆疊后附加一層BP神經網絡節點形成的。RBM采用無監督訓練機制進行訓練，BP神經網絡采用有監督的機制進行訓練。LSC-DBN利用預訓練和微調訓練兩個訓練過程訓練參數，區別主要在于對RBM的改進。本文提出一種基于Laplace函數的連續DBN （ISC-DBN），它由一個底層LSC-RBM及上層兩個LS-RBM層疊而成，將底層LSC-RBM訓練好的參數和輸出作為訓練模型中下一個LS-RBM的輸入，多次循環迭代后，可以學習到一個深層次的稀疏連續DBN模型。參數更新算法也有了變化——通過CD算法對似然函數項進行一次參數更新，在此基礎上使用正則化項的梯度進行一步梯度下降。LSC-DBN的算法流程如下：

預訓練：網絡參數初始化過程，通過逐層采用無監督貪心算法方式自底向上初始化各層間的連接權重值和偏置值。底層LS-CRBM的輸出作為高層LS-RBM的輸入，經過多次迭代訓練，得到無監督的DBN。

微調：以LSC-DBN最后一層LS-RBM的輸出作為BP神經網絡的輸入，計算出前向傳播的輸出結果與標簽數據的誤差，通過批量梯度下降法自頂向下地進行監督學習、微調整個網絡。

整體流程如圖1所示。

2 應用實例與結果分析

本文實驗在MAC操作系統上運行，計算機配置為In-tel Core i7，16G內存，編碼在PyCharm平臺上完成。將BP神經網絡、傳統DBN模型及本文改進后的DBN模型進行對比，并分析相應結果。

2.1 實驗數據與模型輸入

數據集來自某智慧水務公司，數據集包含有每隔Smin的用水流量。流量計覆蓋地較廣，因為地理位置及職能不同，呈現出不同的用水趨勢，根據用水趨勢、用水曲線形態等特征，作無監督聚類，水量聚類工作在之前的工作中已經完成。對流量曲線進行聚類之后的結果有6類典型用水模型。在每一類模型中隨機選取6條用水曲線數據，其中5條為輸入數據，1條為輸出數據。本文模型輸入層個數為10，具體模型的輸出為其中一條某時刻用水量的預測值Y（t），輸入為另外5條用水量曲線t-l、t-2時刻共10個歷史用水數據。表示如下：

其參數含義為：以X1（t -2）為例，表示第一條用水曲線t時刻之前兩個時刻的用水量。以此類推重復選取30次，得出一個特征和標簽數據集。數據集矩陣隨機劃分為訓練子集和測試子集以訓練模型，共訓練得到6類模型。

本文建立的LSC-DBN模型輸入層大小，隱藏層層數、每一層節點個數及各個參數的選擇需要大量測試及經驗值選定。最終確定隱藏層結構為[100，100，50]。

2.2 模型評價指標確定

為了能夠更好地分析預測效果，使用兩個最常見的用于回歸評價的指標，即均方誤差誤差（MSE）和R2決定系（R2Score）.定義如下：

均方誤差（MSE）是一種反映估計量與被估計量之間差異程度的度量，數值越大差異越大，理想的均方誤差越小越好，公式如下：

其中，m為序列的維度;yi為流量計流量預測值;yi為實際的流量計流量數值。

R2決定系數（R2）也稱為擬合優度，擬合優度越大，觀察點在回歸線附近越密集。決定系數R2數值范圍在[0，1]，R2越大即預測數據和真實數據越接近。

2.3 預測模式及實例結果分析

為預測一個流量計的用水量，首先根據其以往用水量數據與訓練好的聚類中心進行距離度量，把以往用水量曲線聚類到6類模型中，根據每類的數量進行概率預測。例如，選取某流量計用水量，該流量計此前有100天的數據，聚類到聚類模型中，其中有90條屬于第一類，7條屬于第二類，3條屬于第三類，其余類型為0條，則該流量計有90%的概率是第一類預測的結果，7%的概率為第二類預測的結果，少于5條數據的類型忽略不計。選取每類中的6條數據，其中5條作為輸入數據，輸入到各自的模型中進行預測，得到的數據為預測曲線，一個流量計可能存在不同模式的用水曲線，因此一個流量計最后得出的預測曲線可能有多個，區別在于概率不同。

本文選取3個流量計，其用水曲線見圖2 -圖4。

流量計1共有83條曲線，其中第一類流量波動較大的曲線有61條，第二類平穩低流量曲線有22條。流量計2、流量計3所有曲線屬于同類。從每類中任意選取6條曲線，其中5條用于預測，第6條用于驗證。

對流量計1而言，存在兩種用水模式，預測結果為73.5%的可能為高流量曲線，26.5%的概率為低流量曲線。除了極端尖點和谷點，兩種曲線模式擬合均較準確。

對流量計2而言，只有一種模式符合正常家庭用水模式。預測曲線整體擬合較好。但在7點時第一個峰值處稍低于實際值，在11點左右預測值有一個尖點，此處可能有異常情況，需結合閾值作進一步分析。

流量計3同樣是一種用水模式，整體值預測和趨勢都比較準確，對于高峰來臨及下降時刻也預測得比較準確，流量預警將更準確。

綜上，本文提出的預測模型的預測結果與實際用水量數據偏差很小，可以較好地反映出用水量隨時間變化的基本規律。

對訓練LSC-DBN模型的RBM訓練階段調優次數ep-ochs進行調整測試，發現大于15次之后模型RBM的error可以穩定下來，因此epochs設為15，以同樣方式對學習率、梯度下降的batch大小、微調階段BP過程迭代次數進行相關實驗，最終學習率為0.01' batch size為16，微調階段BP過程迭代次數為200。

為進一步驗證本文LSC-DBN預測模型的有效性，以預測第6條曲線全天用水量為目標，分別使用CA-BP神經網絡、傳統RBM-DBN與本文方法進行對比預測。3種算法的性能指標對比如表1-表4所示。

由表1可知，對流量計1的高流量曲線來說，LSC-DBN預測模型的均方誤差最小，擬合優度最高，說明預測曲線與實際曲線更接近，效果更好。3個模型的曲線走勢如圖9所示，BP神經網絡和傳統DBN在峰值和低谷處沒有LSC-DBN擬合得好，即其峰值不夠高，谷值不夠低，且BP神經網絡在流量高處抖動嚴重、不穩定，流量報警容易出現漏報及誤報。

流量計1的低流量曲線由于數值較小，均方誤差值也較小，LSC-DBN同樣最低，擬合優度最高。從圖10曲線對比可知，在凌晨2點左右，BP神經網絡出現了一個異常尖峰，而實際值沒有;15點左右，BP神經網絡和DBN流量趨勢均沒有LSC-DBN準確。

對流量計2來說，均方誤差值最小，擬合優度最高。從圖11可看出，BP神經網絡和DBN均沒有捕獲到第一個尖峰值特征，第二個峰值也不夠高，LSC-DBN更符合曲線特征。

同樣的，LSC-DBN在流量計3的曲線預測中，有更小的均方誤差和更高的擬合優度。在圖12的曲線走勢中均可準確預測高流量到來時刻，但是BP神經網絡在低流量時抖動嚴重，DBN在兩個高峰處趨勢沒有LSC-DBN準確。

綜上所述，從性能指標可以看出，LSC-DBN均方誤差小于另外兩種方法，擬合優度也更佳。從曲線對比圖中可以看出，另外兩種方法在低點和高點處都有不同程度的預測誤差，LSC-DBN在極值處雖然仍然存在誤差，但遠小于另外兩種方法。因此在實際用水量預測結果中，本文LSC-DBN模型預測曲線比RBM-DBN模型和BP神經網絡更接近實際用水流量曲線。

3 結語

本文提出了一種基于LSC-RBM及LS-RBM的改進DBN模型進行用水量預測。其中，針對RBM只能接受二進制輸入而導致數據丟失問題，使用帶有高斯分布的CRBM模型，并在此基礎上針對特征冗余問題提出LSC-RBM模型，結合CD算法及梯度下降更新參數。實驗結果表明，本文模型預測值與真實值基本吻合，預測精度高，是一種有效的用水量預測方法，但本文方法的時間復雜度較高，如何進行簡化是未來研究重點。另外可以結合CIS在地圖上對流量計進行數據可視化.實現監控及報警功能。

參考文獻：

[1]安明陽，付婉霞，韓偉，等.城市供水三種時用水量預測方法的比較[J].給水排水，2012，48（ S2）：229-231.

[2]QUEVEDO J，SALUDES J，PUIG V. et al. Short-term demand fore-casting for real-time operational control of the Barcelona water trans-port net，vork [Cl. The 22nd Mediterranean Conference on Control&Automation， 2014： 990-995.

[3]BAI Y， WANG P，LI C，et al.A multi-scale relevance vector regres-sion approach for daily urban water demand forecasting[J]. Journal ofHydrology， 2014， 517： 236-245.

[4]周晨，馮宇東，肖匡心，等.基于多元線性回歸模型的東北地區需水量分析[J].數學的實踐與認識，2014，44（01）：118-123.

[5]YASAR A， BILGILI M. SIMSEK E.Water demand forecasting basedon stepwise multiple nonlinear regression analysis[J]. Arabian Jour-nal for Science and Engineering， 2012， 37（8）：2333-2341.

[6]MOMBENI H A， REZAEI S，NADARAJAH S，et al. Estimation ofwater demand on SARIMA models [J]. Environmental Modeling andAssessment. 2013. 18（5）：559-565.

[7]成云，成孝剛，談苗苗，等.基于ARIMA和小波神經網絡組合模型的交通流預測[J].計算機技術與發展，2017，27（1）：169-172.

[8]JIANG X Q. CHEN W F.Comparison hetween BP neural network andCA-BP crop water demand forecasting model[J].Journal of Drainageand Irrigation Machinery Engine， 2018， 36（8）：762-766.

[9]CANDELIERI A， CIORDANI I， ARCHETTI F，et al. Tuning hyper-parameters of a SVM-based water demand forecasting system throughparallel global optimization [J]. Computers&Operations Research，2018，106（1）：202-209.

[10]仇軍，王景成.基于PSO-LSSVM的城市時用水量預測[J].控制工程，2014，21（ 02）：232-236.

[11]任瑋.基于深度信念網絡的網絡流量預測模型[J].山西電子技術.2016（1）：62-64+76.

[12]余凱，賈磊，陳雨強，等.深度學習的昨天、今天和明天[J].計算機研究與發展，2013，50（9）：1799 - 1804.

[13]郭冠呈，劉書明，李俊禹，等.基于雙向長短時神經網絡的水量預測方法研究[J].給水排水，2018，54（3）：123-126.

[14]HOCHREITER S，SCHMIDHUBER J. Long short-term memory [J].Neural Computation， 1997，9（8）：1735.

[15]CHASEMI F，FASSIHI A. PEREZ-sANCHEZ H， et al. The role ofdifferent sampling methods in improving biological activity predictionusing deep belief network[J].Journal of Computational Chemistry，2017， 38（4）：195.

[16] 劉方園，王水花，張煜東.深度置信網絡模型及應用研究綜述[J].計算機工程與應用，2018，54（1）：11-18+47.

[17]姚騰輝，李峰.基于深度信念網絡的建筑物用水流量預測[J].軟件導刊，2018，17（ 10）：36-40.

[18] HINTON G E.A practical guide to training restricted Boltzmann ma-chines[J]. Momentum， 2012，9（1）：599-619.

[19]HINTON G，OSINDERO S.A fast learning algorithm for deep beliefnets[J]. Neural Computation. 2006. 18（7）： 1527-1554.

[20]CHEN H，MURRAY A F.Continuous restricted Boltzmann machinewith an implementable training algorithm [J]. IEEE Proceedings ofVision， Image and Signal Processing， 2003， 150（3）：153-158.

[21]孫勁光，蔣金葉，孟祥福，等.一種數值屬性的深度置信網絡分類方法[J].計算機工程與應用，2014，50（2）：112-116.

（責任編輯：江艷）

作者簡介：劉春柳（1995-），女，華中科技大學人工智能與自動化學院碩士研究生，研究方向為城市智能化、數據可視化;張征（1976-），男，博士，華中科技大學人工智能與自動化學院副教授，研究方向為普適計算、物聯網與城市智能化、分子計算等。本文通訊作者：張征。