改進(jìn)深度置信網(wǎng)絡(luò)在城市用水量預(yù)測中的應(yīng)用

劉春柳 張征

摘要：城市用水量的準(zhǔn)確預(yù)測可以為供水管網(wǎng)智能調(diào)度、異常報警提供支持，便于及時發(fā)現(xiàn)漏損、排查及檢修，具有極大的現(xiàn)實意義與經(jīng)濟(jì)利益。針對現(xiàn)有用水量預(yù)測方法忽視用水量數(shù)據(jù)自身特征及不能模擬更復(fù)雜的數(shù)學(xué)運算的問題，提出一種改進(jìn)深度置信網(wǎng)絡(luò)（DBN）的用水量預(yù)測方法。對有高斯分布的連續(xù)受限玻爾茲曼機(jī)（CRBM）引入稀疏正則項，解決特征同質(zhì)化現(xiàn)象的同時也適用于用水量數(shù)據(jù)輸入。實驗結(jié)果表明，在實際用水量預(yù)測中，改進(jìn)DBN模型相比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)DBN預(yù)測模型，預(yù)測準(zhǔn)確率得到了較大的提高。

關(guān)鍵詞：水量預(yù)測;深度置信網(wǎng)絡(luò);稀疏連續(xù)受限玻爾茲曼機(jī)

DOI：10. 11907/rjdk.191378

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：TP301

文獻(xiàn)標(biāo)識碼：A

文章編號：1672-7800（2020）001-0041-05

0 引言

城市用水量預(yù)測是供水管網(wǎng)系統(tǒng)計算和分析的基礎(chǔ)[1]。它可作為供水管網(wǎng)智能調(diào)度、異常報警的依據(jù)，便于及時發(fā)現(xiàn)漏損、排查及檢修，增加管網(wǎng)安全性和可靠性[2]，對自來水公司及民眾均具有極大的現(xiàn)實與經(jīng)濟(jì)意義[3]。

現(xiàn)有城市用水量預(yù)測模型主要有3種：①多元線性回歸模型[4-5]，該模型結(jié)構(gòu)簡單、計算量小，但預(yù)測精度低、模型泛化能力差;②時間序列模型，常見的有自回歸差分滑動平均模型（ Autoregressive Integrated Moving Average，ARI-MA）[6]，該模型只能捕捉線性關(guān)系，受隨機(jī)干擾因素影響大、預(yù)測成本高[7];③非參數(shù)統(tǒng)計預(yù)測模型，比如BP（backpropagation）神經(jīng)網(wǎng)絡(luò)[8]、支持向量機(jī)及其改進(jìn)[9-10]等。這些模型可以反映用水量變化規(guī)律，但它們均屬于淺層模型，在有限樣本和計算單元條件下，不能模擬更復(fù)雜的數(shù)學(xué)運算，并且大量樣本的數(shù)據(jù)特征是根據(jù)特定領(lǐng)域的先驗知識選擇而來的，忽視了對用水量數(shù)據(jù)自身特征的有效利用[11]。

深度學(xué)習(xí)可通過學(xué)習(xí)一種深層的非線性網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)復(fù)雜函數(shù)逼近，得到有效特征[12]。郭冠呈等[13]嘗試使用雙向長短時記憶循環(huán)神經(jīng)網(wǎng)絡(luò)模型（ Bi-directional LongShort-Term Memory，Bi-LSTM）預(yù)測城市短時用水量，LSTM一般用于處理和預(yù)測時間序列中間隔和延遲相對較長的重要事件[14]。用水量雖然也存在時序，但語音識別單詞前后之間有很強(qiáng)的邏輯關(guān)系，用水量前后的邏輯關(guān)系并不是很明確。而在用水量預(yù)測領(lǐng)域，深度置信網(wǎng)絡(luò)（ Deep BeliefNetwork.DBN）已經(jīng)成功應(yīng)用于各種現(xiàn)實問題[15-17]。傳統(tǒng)DBN還存在一些問題，訓(xùn)練特征存在大量共有特征，且需大量訓(xùn)練數(shù)據(jù)才能很好地學(xué)習(xí)[18]，直接移植并不完全合適。DBN由多層受限玻爾茲曼機(jī)（Restricted Boltzmann Ma-chine，RBM）組成，經(jīng)典RBM是一個包含一層可視層v和一層隱藏層h的無向概率圖模型，RBM是基于能量的模型，對所有可能的隱藏單元求和，可得到網(wǎng)絡(luò)分配給可視單元的概率分布p（y）[19]。RBM的學(xué)習(xí)目標(biāo)是最大化P（v），利用極大似然法求解對數(shù)似然函數(shù)P（v）。為提升訓(xùn)練效率，利用對比散度（ Contrastive Divergence，CD）算法進(jìn)行參數(shù)更新。傳統(tǒng)的RBM模型可視層和隱藏層單元均為隨機(jī)二進(jìn)制單元，對于用水量這種連續(xù)值來說不是特別合適[20-21]。

針對以上問題，本文提出一種改進(jìn)的深度置信網(wǎng)絡(luò)，該模型對有高斯分布的連續(xù)受限玻爾茲曼機(jī)（ ContinuousRestricted Boltzmann Machine，CRBM）引入稀疏正則項，解決特征同質(zhì)化現(xiàn)象的同時也適用于用水量數(shù)據(jù)的輸入。

1 深度置信網(wǎng)絡(luò)模型改進(jìn)

通過使用堆疊的RBM可以創(chuàng)建分層處理的DBN。因此，DBN大部分改進(jìn)源于RBM的改進(jìn)。本部分首先對經(jīng)典RBM的缺點進(jìn)行改進(jìn)優(yōu)化，然后使用改進(jìn)后的RBM組成適用于水量預(yù)測的新的深度置信網(wǎng)絡(luò)模型。

1.1 受限玻爾茲曼機(jī)改進(jìn)

傳統(tǒng)隨機(jī)二進(jìn)制單元RBM模型不適合處理水量預(yù)測問題，因此采用CRBM，在線性單元中加入獨立高斯噪聲使RBM可以處理連續(xù)輸入，CRBM具有實值可視單元和二值隱藏單元。CRBM訓(xùn)練以及更新參數(shù)的過程與傳統(tǒng)RBM沒有明顯區(qū)別，均可運用CD算法對其參數(shù)進(jìn)行調(diào)整。此時能量函數(shù)為：

為了實現(xiàn)深層結(jié)構(gòu)中的稀疏特征，對CRBM可進(jìn)一步改進(jìn)——在CRBM的最大似然函數(shù)中添加稀疏正則項，可以學(xué)習(xí)有用的低級特征表示。它根據(jù)隱藏層節(jié)點激活概率與稀疏系數(shù)之間的差距而具有不同的行為，并且具有可以控制稀疏力度的位置參數(shù);另外，本文算法在樣本較少時仍可以獲得數(shù)據(jù)的主要特征，并一定程度上抑制了訓(xùn)練數(shù)據(jù)較少情況的過擬合現(xiàn)象。使用稀疏正則化的無監(jiān)督預(yù)訓(xùn)練優(yōu)化模型定義如式（2）所示。

本文提出一種引入Laplace函數(shù)的稀疏正則化連續(xù)受限玻爾茲曼機(jī)（IS-CRBM），通過使用拉普拉斯函數(shù)懲罰誘導(dǎo)隱含層單元的稀疏狀態(tài)，而拉普拉斯函數(shù)具有重尾特征，根據(jù)隱含層單元激活概率與p的差距，顯示不同的稀疏程度。最終參數(shù)更新公式為：

1.2 LSC-DBN整體架構(gòu)設(shè)計

經(jīng)典DBN是由幾個RBM堆疊后附加一層BP神經(jīng)網(wǎng)絡(luò)節(jié)點形成的。RBM采用無監(jiān)督訓(xùn)練機(jī)制進(jìn)行訓(xùn)練，BP神經(jīng)網(wǎng)絡(luò)采用有監(jiān)督的機(jī)制進(jìn)行訓(xùn)練。LSC-DBN利用預(yù)訓(xùn)練和微調(diào)訓(xùn)練兩個訓(xùn)練過程訓(xùn)練參數(shù)，區(qū)別主要在于對RBM的改進(jìn)。本文提出一種基于Laplace函數(shù)的連續(xù)DBN （ISC-DBN），它由一個底層LSC-RBM及上層兩個LS-RBM層疊而成，將底層LSC-RBM訓(xùn)練好的參數(shù)和輸出作為訓(xùn)練模型中下一個LS-RBM的輸入，多次循環(huán)迭代后，可以學(xué)習(xí)到一個深層次的稀疏連續(xù)DBN模型。參數(shù)更新算法也有了變化——通過CD算法對似然函數(shù)項進(jìn)行一次參數(shù)更新，在此基礎(chǔ)上使用正則化項的梯度進(jìn)行一步梯度下降。LSC-DBN的算法流程如下：

預(yù)訓(xùn)練：網(wǎng)絡(luò)參數(shù)初始化過程，通過逐層采用無監(jiān)督貪心算法方式自底向上初始化各層間的連接權(quán)重值和偏置值。底層LS-CRBM的輸出作為高層LS-RBM的輸入，經(jīng)過多次迭代訓(xùn)練，得到無監(jiān)督的DBN。

微調(diào)：以LSC-DBN最后一層LS-RBM的輸出作為BP神經(jīng)網(wǎng)絡(luò)的輸入，計算出前向傳播的輸出結(jié)果與標(biāo)簽數(shù)據(jù)的誤差，通過批量梯度下降法自頂向下地進(jìn)行監(jiān)督學(xué)習(xí)、微調(diào)整個網(wǎng)絡(luò)。

整體流程如圖1所示。

2 應(yīng)用實例與結(jié)果分析

本文實驗在MAC操作系統(tǒng)上運行，計算機(jī)配置為In-tel Core i7，16G內(nèi)存，編碼在PyCharm平臺上完成。將BP神經(jīng)網(wǎng)絡(luò)、傳統(tǒng)DBN模型及本文改進(jìn)后的DBN模型進(jìn)行對比，并分析相應(yīng)結(jié)果。

2.1 實驗數(shù)據(jù)與模型輸入

數(shù)據(jù)集來自某智慧水務(wù)公司，數(shù)據(jù)集包含有每隔Smin的用水流量。流量計覆蓋地較廣，因為地理位置及職能不同，呈現(xiàn)出不同的用水趨勢，根據(jù)用水趨勢、用水曲線形態(tài)等特征，作無監(jiān)督聚類，水量聚類工作在之前的工作中已經(jīng)完成。對流量曲線進(jìn)行聚類之后的結(jié)果有6類典型用水模型。在每一類模型中隨機(jī)選取6條用水曲線數(shù)據(jù)，其中5條為輸入數(shù)據(jù)，1條為輸出數(shù)據(jù)。本文模型輸入層個數(shù)為10，具體模型的輸出為其中一條某時刻用水量的預(yù)測值Y（t），輸入為另外5條用水量曲線t-l、t-2時刻共10個歷史用水?dāng)?shù)據(jù)。表示如下：

其參數(shù)含義為：以X1（t -2）為例，表示第一條用水曲線t時刻之前兩個時刻的用水量。以此類推重復(fù)選取30次，得出一個特征和標(biāo)簽數(shù)據(jù)集。數(shù)據(jù)集矩陣隨機(jī)劃分為訓(xùn)練子集和測試子集以訓(xùn)練模型，共訓(xùn)練得到6類模型。

本文建立的LSC-DBN模型輸入層大小，隱藏層層數(shù)、每一層節(jié)點個數(shù)及各個參數(shù)的選擇需要大量測試及經(jīng)驗值選定。最終確定隱藏層結(jié)構(gòu)為[100，100，50]。

2.2 模型評價指標(biāo)確定

為了能夠更好地分析預(yù)測效果，使用兩個最常見的用于回歸評價的指標(biāo)，即均方誤差誤差（MSE）和R2決定系（R2Score）.定義如下：

均方誤差（MSE）是一種反映估計量與被估計量之間差異程度的度量，數(shù)值越大差異越大，理想的均方誤差越小越好，公式如下：

其中，m為序列的維度;yi為流量計流量預(yù)測值;yi為實際的流量計流量數(shù)值。

R2決定系數(shù)（R2）也稱為擬合優(yōu)度，擬合優(yōu)度越大，觀察點在回歸線附近越密集。決定系數(shù)R2數(shù)值范圍在[0，1]，R2越大即預(yù)測數(shù)據(jù)和真實數(shù)據(jù)越接近。

2.3 預(yù)測模式及實例結(jié)果分析

為預(yù)測一個流量計的用水量，首先根據(jù)其以往用水量數(shù)據(jù)與訓(xùn)練好的聚類中心進(jìn)行距離度量，把以往用水量曲線聚類到6類模型中，根據(jù)每類的數(shù)量進(jìn)行概率預(yù)測。例如，選取某流量計用水量，該流量計此前有100天的數(shù)據(jù)，聚類到聚類模型中，其中有90條屬于第一類，7條屬于第二類，3條屬于第三類，其余類型為0條，則該流量計有90%的概率是第一類預(yù)測的結(jié)果，7%的概率為第二類預(yù)測的結(jié)果，少于5條數(shù)據(jù)的類型忽略不計。選取每類中的6條數(shù)據(jù)，其中5條作為輸入數(shù)據(jù)，輸入到各自的模型中進(jìn)行預(yù)測，得到的數(shù)據(jù)為預(yù)測曲線，一個流量計可能存在不同模式的用水曲線，因此一個流量計最后得出的預(yù)測曲線可能有多個，區(qū)別在于概率不同。

本文選取3個流量計，其用水曲線見圖2 -圖4。

流量計1共有83條曲線，其中第一類流量波動較大的曲線有61條，第二類平穩(wěn)低流量曲線有22條。流量計2、流量計3所有曲線屬于同類。從每類中任意選取6條曲線，其中5條用于預(yù)測，第6條用于驗證。

對流量計1而言，存在兩種用水模式，預(yù)測結(jié)果為73.5%的可能為高流量曲線，26.5%的概率為低流量曲線。除了極端尖點和谷點，兩種曲線模式擬合均較準(zhǔn)確。

對流量計2而言，只有一種模式符合正常家庭用水模式。預(yù)測曲線整體擬合較好。但在7點時第一個峰值處稍低于實際值，在11點左右預(yù)測值有一個尖點，此處可能有異常情況，需結(jié)合閾值作進(jìn)一步分析。

流量計3同樣是一種用水模式，整體值預(yù)測和趨勢都比較準(zhǔn)確，對于高峰來臨及下降時刻也預(yù)測得比較準(zhǔn)確，流量預(yù)警將更準(zhǔn)確。

綜上，本文提出的預(yù)測模型的預(yù)測結(jié)果與實際用水量數(shù)據(jù)偏差很小，可以較好地反映出用水量隨時間變化的基本規(guī)律。

對訓(xùn)練LSC-DBN模型的RBM訓(xùn)練階段調(diào)優(yōu)次數(shù)ep-ochs進(jìn)行調(diào)整測試，發(fā)現(xiàn)大于15次之后模型RBM的error可以穩(wěn)定下來，因此epochs設(shè)為15，以同樣方式對學(xué)習(xí)率、梯度下降的batch大小、微調(diào)階段BP過程迭代次數(shù)進(jìn)行相關(guān)實驗，最終學(xué)習(xí)率為0.01' batch size為16，微調(diào)階段BP過程迭代次數(shù)為200。

為進(jìn)一步驗證本文LSC-DBN預(yù)測模型的有效性，以預(yù)測第6條曲線全天用水量為目標(biāo)，分別使用CA-BP神經(jīng)網(wǎng)絡(luò)、傳統(tǒng)RBM-DBN與本文方法進(jìn)行對比預(yù)測。3種算法的性能指標(biāo)對比如表1-表4所示。

由表1可知，對流量計1的高流量曲線來說，LSC-DBN預(yù)測模型的均方誤差最小，擬合優(yōu)度最高，說明預(yù)測曲線與實際曲線更接近，效果更好。3個模型的曲線走勢如圖9所示，BP神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)DBN在峰值和低谷處沒有LSC-DBN擬合得好，即其峰值不夠高，谷值不夠低，且BP神經(jīng)網(wǎng)絡(luò)在流量高處抖動嚴(yán)重、不穩(wěn)定，流量報警容易出現(xiàn)漏報及誤報。

流量計1的低流量曲線由于數(shù)值較小，均方誤差值也較小，LSC-DBN同樣最低，擬合優(yōu)度最高。從圖10曲線對比可知，在凌晨2點左右，BP神經(jīng)網(wǎng)絡(luò)出現(xiàn)了一個異常尖峰，而實際值沒有;15點左右，BP神經(jīng)網(wǎng)絡(luò)和DBN流量趨勢均沒有LSC-DBN準(zhǔn)確。

對流量計2來說，均方誤差值最小，擬合優(yōu)度最高。從圖11可看出，BP神經(jīng)網(wǎng)絡(luò)和DBN均沒有捕獲到第一個尖峰值特征，第二個峰值也不夠高，LSC-DBN更符合曲線特征。

同樣的，LSC-DBN在流量計3的曲線預(yù)測中，有更小的均方誤差和更高的擬合優(yōu)度。在圖12的曲線走勢中均可準(zhǔn)確預(yù)測高流量到來時刻，但是BP神經(jīng)網(wǎng)絡(luò)在低流量時抖動嚴(yán)重，DBN在兩個高峰處趨勢沒有LSC-DBN準(zhǔn)確。

綜上所述，從性能指標(biāo)可以看出，LSC-DBN均方誤差小于另外兩種方法，擬合優(yōu)度也更佳。從曲線對比圖中可以看出，另外兩種方法在低點和高點處都有不同程度的預(yù)測誤差，LSC-DBN在極值處雖然仍然存在誤差，但遠(yuǎn)小于另外兩種方法。因此在實際用水量預(yù)測結(jié)果中，本文LSC-DBN模型預(yù)測曲線比RBM-DBN模型和BP神經(jīng)網(wǎng)絡(luò)更接近實際用水流量曲線。

3 結(jié)語

本文提出了一種基于LSC-RBM及LS-RBM的改進(jìn)DBN模型進(jìn)行用水量預(yù)測。其中，針對RBM只能接受二進(jìn)制輸入而導(dǎo)致數(shù)據(jù)丟失問題，使用帶有高斯分布的CRBM模型，并在此基礎(chǔ)上針對特征冗余問題提出LSC-RBM模型，結(jié)合CD算法及梯度下降更新參數(shù)。實驗結(jié)果表明，本文模型預(yù)測值與真實值基本吻合，預(yù)測精度高，是一種有效的用水量預(yù)測方法，但本文方法的時間復(fù)雜度較高，如何進(jìn)行簡化是未來研究重點。另外可以結(jié)合CIS在地圖上對流量計進(jìn)行數(shù)據(jù)可視化.實現(xiàn)監(jiān)控及報警功能。

參考文獻(xiàn)：

[1]安明陽，付婉霞，韓偉，等.城市供水三種時用水量預(yù)測方法的比較[J].給水排水，2012，48（ S2）：229-231.

[2]QUEVEDO J，SALUDES J，PUIG V. et al. Short-term demand fore-casting for real-time operational control of the Barcelona water trans-port net，vork [Cl. The 22nd Mediterranean Conference on Control&Automation， 2014： 990-995.

[3]BAI Y， WANG P，LI C，et al.A multi-scale relevance vector regres-sion approach for daily urban water demand forecasting[J]. Journal ofHydrology， 2014， 517： 236-245.

[4]周晨，馮宇東，肖匡心，等.基于多元線性回歸模型的東北地區(qū)需水量分析[J].數(shù)學(xué)的實踐與認(rèn)識，2014，44（01）：118-123.

[5]YASAR A， BILGILI M. SIMSEK E.Water demand forecasting basedon stepwise multiple nonlinear regression analysis[J]. Arabian Jour-nal for Science and Engineering， 2012， 37（8）：2333-2341.

[6]MOMBENI H A， REZAEI S，NADARAJAH S，et al. Estimation ofwater demand on SARIMA models [J]. Environmental Modeling andAssessment. 2013. 18（5）：559-565.

[7]成云，成孝剛，談苗苗，等.基于ARIMA和小波神經(jīng)網(wǎng)絡(luò)組合模型的交通流預(yù)測[J].計算機(jī)技術(shù)與發(fā)展，2017，27（1）：169-172.

[8]JIANG X Q. CHEN W F.Comparison hetween BP neural network andCA-BP crop water demand forecasting model[J].Journal of Drainageand Irrigation Machinery Engine， 2018， 36（8）：762-766.

[9]CANDELIERI A， CIORDANI I， ARCHETTI F，et al. Tuning hyper-parameters of a SVM-based water demand forecasting system throughparallel global optimization [J]. Computers&Operations Research，2018，106（1）：202-209.

[10]仇軍，王景成.基于PSO-LSSVM的城市時用水量預(yù)測[J].控制工程，2014，21（ 02）：232-236.

[11]任瑋.基于深度信念網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測模型[J].山西電子技術(shù).2016（1）：62-64+76.

[12]余凱，賈磊，陳雨強(qiáng)，等.深度學(xué)習(xí)的昨天、今天和明天[J].計算機(jī)研究與發(fā)展，2013，50（9）：1799 - 1804.

[13]郭冠呈，劉書明，李俊禹，等.基于雙向長短時神經(jīng)網(wǎng)絡(luò)的水量預(yù)測方法研究[J].給水排水，2018，54（3）：123-126.

[14]HOCHREITER S，SCHMIDHUBER J. Long short-term memory [J].Neural Computation， 1997，9（8）：1735.

[15]CHASEMI F，F(xiàn)ASSIHI A. PEREZ-sANCHEZ H， et al. The role ofdifferent sampling methods in improving biological activity predictionusing deep belief network[J].Journal of Computational Chemistry，2017， 38（4）：195.

[16] 劉方園，王水花，張煜東.深度置信網(wǎng)絡(luò)模型及應(yīng)用研究綜述[J].計算機(jī)工程與應(yīng)用，2018，54（1）：11-18+47.

[17]姚騰輝，李峰.基于深度信念網(wǎng)絡(luò)的建筑物用水流量預(yù)測[J].軟件導(dǎo)刊，2018，17（ 10）：36-40.

[18] HINTON G E.A practical guide to training restricted Boltzmann ma-chines[J]. Momentum， 2012，9（1）：599-619.

[19]HINTON G，OSINDERO S.A fast learning algorithm for deep beliefnets[J]. Neural Computation. 2006. 18（7）： 1527-1554.

[20]CHEN H，MURRAY A F.Continuous restricted Boltzmann machinewith an implementable training algorithm [J]. IEEE Proceedings ofVision， Image and Signal Processing， 2003， 150（3）：153-158.

[21]孫勁光，蔣金葉，孟祥福，等.一種數(shù)值屬性的深度置信網(wǎng)絡(luò)分類方法[J].計算機(jī)工程與應(yīng)用，2014，50（2）：112-116.

（責(zé)任編輯：江艷）

作者簡介：劉春柳（1995-），女，華中科技大學(xué)人工智能與自動化學(xué)院碩士研究生，研究方向為城市智能化、數(shù)據(jù)可視化;張征（1976-），男，博士，華中科技大學(xué)人工智能與自動化學(xué)院副教授，研究方向為普適計算、物聯(lián)網(wǎng)與城市智能化、分子計算等。本文通訊作者：張征。