水文變異對(duì)深度學(xué)習(xí)模型訓(xùn)練性能的影響研究

師小雨 黃強(qiáng)

關(guān)鍵詞：水文變異；深度學(xué)習(xí)模型；預(yù)測(cè)性能；交叉驗(yàn)證

０引言

隨著經(jīng)濟(jì)社會(huì)的快速發(fā)展和氣候變化，黃河流域極端氣象事件和水文事件頻發(fā)，由此引發(fā)水文序列變異，徑流時(shí)間序列呈現(xiàn)出強(qiáng)非線性、非平穩(wěn)性［１－２］。以往相關(guān)研究中采用統(tǒng)計(jì)模型預(yù)測(cè)長(zhǎng)期徑流時(shí)均對(duì)其進(jìn)行一致性、平穩(wěn)性假設(shè)［３］。然而，實(shí)際應(yīng)用中水文序列變異會(huì)嚴(yán)重降低統(tǒng)計(jì)模型的預(yù)測(cè)精度，大多數(shù)研究忽視了此問題。

近年來，隨著計(jì)算機(jī)硬件性能的顯著提升，深度學(xué)習(xí)作為新型的數(shù)據(jù)驅(qū)動(dòng)統(tǒng)計(jì)方法，可以從數(shù)據(jù)角度解析氣候水文變量間的非線性關(guān)系［４］。深度學(xué)習(xí)模型結(jié)構(gòu)為逐層堆疊，通過學(xué)習(xí)算法自動(dòng)學(xué)習(xí)深層、本質(zhì)的特征［５］。Ｇａｏ等［６］利用ＬＳＴＭ、ＧＲＵ、ＡＮＮ這３個(gè)神經(jīng)網(wǎng)絡(luò)模型，根據(jù)流量、降水量數(shù)據(jù)對(duì)福建省沙溪進(jìn)行了短期徑流預(yù)測(cè)，結(jié)果表明，ＧＲＵ、ＬＳＴＭ模型比ＡＮＮ模型的預(yù)測(cè)精度高，ＧＲＵ模型與ＬＳＴＭ模型的預(yù)測(cè)精度幾乎相同，ＧＲＵ模型具有結(jié)構(gòu)簡(jiǎn)單、參數(shù)少、訓(xùn)練時(shí)間短的優(yōu)點(diǎn)。Ｂａｉ等［７］采用級(jí)聯(lián)框架方法構(gòu)建Ｃ－ＬＳＴＭ模型，對(duì)盧布爾雅尼察河的逐日徑流進(jìn)行預(yù)測(cè)，結(jié)果表明，兩層ＬＳＴＭ模型較單層ＬＳＴＭ模型的預(yù)測(cè)精度高。然而，深度學(xué)習(xí)在水文預(yù)測(cè)中通常對(duì)時(shí)間序列做出平穩(wěn)性假設(shè)，缺乏考慮變化環(huán)境下的水文過程物理機(jī)制，難以獲取更加精準(zhǔn)的水文預(yù)測(cè)結(jié)果。

針對(duì)上述研究瓶頸，本文對(duì)長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（ＬＳＴＭ）模型的ｋ－ｆｏｌｄ交叉驗(yàn)證方法進(jìn)行改進(jìn)，提出考慮變異點(diǎn)的ｋ－ｆｏｌｄ交叉驗(yàn)證方法。選取黃河支流渭河華縣站和黑河祁連山站為研究對(duì)象，對(duì)比不同變異程度的中長(zhǎng)期水文序列的預(yù)測(cè)結(jié)果，明晰水文變異對(duì)深度學(xué)習(xí)模型訓(xùn)練性能的影響。

１研究區(qū)概況

選取黃河支流渭河流域和黑河流域?yàn)檠芯繀^(qū)。渭河是黃河最大支流，屬大陸性季風(fēng)氣候區(qū)，冬冷夏熱，夏季降雨充沛，年降水量約５００～８００ｍｍ，汛期（６—９月）降水量約占年降水量的６０％［８］。黑河流域是中國(guó)西北地區(qū)的第二大內(nèi)陸流域，流經(jīng)青海省、甘肅省、內(nèi)蒙古自治區(qū)，干旱少雨，年降水量約４００ｍｍ，多年平均水面蒸發(fā)量約１６００ｍｍ［９－１０］。兩流域的氣溫、降水量、徑流量和水面蒸發(fā)量在時(shí)間維度和空間維度上都有顯著變化。采用渭河華縣站和黑河祁連山站１９６０—２０１０年徑流資料進(jìn)行深度學(xué)習(xí)模型訓(xùn)練性能分析。

２方法介紹

２．１ＬＳＴＭ模型

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的新方法，與其他機(jī)器學(xué)習(xí)方法的不同之處在于其具有“學(xué)習(xí)特征”［１１］，通過逐層堆疊多個(gè)隱藏層增加模型深度，能夠?qū)Ω呔S稀疏的數(shù)據(jù)進(jìn)行處理，具有更高的預(yù)測(cè)精度［１２］。循環(huán)神經(jīng)網(wǎng)絡(luò)（ＲＮＮ）是專門用于處理時(shí)序數(shù)據(jù)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，具有自循環(huán)反饋的全連接神經(jīng)網(wǎng)絡(luò)，可以處理任意長(zhǎng)度的時(shí)序數(shù)據(jù)［１３］。ＬＳＴＭ模型屬ＲＮＮ的變種，最早由ＪｕｅｒｇｅｎＳｃｈｍｉｄｈｕｂｅｒ提出。ＬＳＴＭ模型的特點(diǎn)是在ＲＮＮ的內(nèi)部神經(jīng)元結(jié)構(gòu)的基礎(chǔ)上添加閥門節(jié)點(diǎn)，閥門包括遺忘閥門、輸入閥門和輸出閥門［１４－１５］。通過閥門的開啟判斷該模型網(wǎng)絡(luò)的記憶態(tài)在當(dāng)前層輸出的結(jié)果是否達(dá)到閾值，再將輸出結(jié)果用于當(dāng)前層的計(jì)算。ＬＳＴＭ模型結(jié)構(gòu)見圖１（圖中：Ｃ代表記憶細(xì)胞，用來存儲(chǔ)數(shù)據(jù)序列的長(zhǎng)期記憶；Ｈ代表短期記憶）。

２．２Ｍａｎｎ－Ｋｅｎｄａｌｌ檢驗(yàn)方法

Ｍａｎｎ－Ｋｅｎｄａｌｌ（Ｍ－Ｋ）檢驗(yàn)方法是基于原始時(shí)間序列秩次的一種非參數(shù)統(tǒng)計(jì)檢驗(yàn)方法［１６］。采用Ｍ－Ｋ檢驗(yàn)方法對(duì)華縣站和祁連山站１９６０—２０１０年月徑流序列進(jìn)行變異診斷。

２．３考慮變異點(diǎn)的ｋ－ｆｏｌｄ交叉驗(yàn)證方法

ｋ－ｆｏｌｄ交叉驗(yàn)證方法是一種評(píng)估具有有限數(shù)據(jù)樣本的機(jī)器學(xué)習(xí)模型性能的重采樣方法。該方法將數(shù)據(jù)集隨機(jī)劃分為ｋ個(gè)訓(xùn)練集和測(cè)試集，其中：１個(gè)樣本用于測(cè)試，ｋ－１個(gè)樣本用于訓(xùn)練［１７］。模型檢驗(yàn)過程中每次更換訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，重復(fù)進(jìn)行ｋ次交叉驗(yàn)證，利用誤差統(tǒng)計(jì)工具選擇最佳模型。在訓(xùn)練深度學(xué)習(xí)模型時(shí)，通常使用ｋ－ｆｏｌｄ交叉驗(yàn)證法增強(qiáng)模型擬合效果，提高模型性能。

為評(píng)價(jià)水文變異點(diǎn)對(duì)深度學(xué)習(xí)模型預(yù)測(cè)性能的影響，基于ｋ－ｆｏｌｄ交叉驗(yàn)證方法提出考慮變異點(diǎn)的ｋ－ｆｏｌｄ交叉驗(yàn)證方法，其流程見圖２。首先將徑流時(shí)間序列劃分為訓(xùn)練期和測(cè)試期，以２０００—２０１０年作為測(cè)試期；再采用Ｍ－Ｋ檢驗(yàn)方法對(duì)時(shí)間序列進(jìn)行變異診斷，得到時(shí)間序列的ｋ－１個(gè)變異點(diǎn)，將除去測(cè)試期外的數(shù)據(jù)序列劃分為ｋ個(gè)子集，每個(gè)子集作為一個(gè)訓(xùn)練期；之后在ｋ個(gè)訓(xùn)練期中分別擬合ＬＳＴＭ訓(xùn)練模型，并將擬合好的ＬＳＴＭ在測(cè)試期進(jìn)行預(yù)測(cè)；最后利用預(yù)測(cè)模型評(píng)價(jià)指標(biāo)對(duì)不同訓(xùn)練期的模型訓(xùn)練結(jié)果進(jìn)行分析對(duì)比，篩選得到最佳模型。

２．４泰勒?qǐng)D評(píng)估方法

ＫａｒｌＥ．Ｔａｙｌｏｒ于２００１年提出泰勒?qǐng)D，泰勒?qǐng)D主要用來比較幾個(gè)氣象模式的模擬能力，將模型的相關(guān)系數(shù)、中心均方根誤差和標(biāo)準(zhǔn)差３個(gè)評(píng)價(jià)指標(biāo)整合在一張極坐標(biāo)圖上。

３結(jié)果分析

３．１徑流時(shí)間序列變異點(diǎn)識(shí)別

運(yùn)用Ｍ－Ｋ檢驗(yàn)法對(duì)流域徑流進(jìn)行突變分析，通過繪制徑流前向統(tǒng)計(jì)ＵＦ曲線和反演統(tǒng)計(jì)ＵＢ曲線識(shí)別徑流時(shí)間序列變異點(diǎn)，結(jié)果見圖３。給定顯著性水平α＝０．０５，統(tǒng)計(jì)量ＵＦ和ＵＢ的臨界值為±１．９６，ＵＦ值或ＵＢ值大于０時(shí)序列呈上升趨勢(shì)，ＵＦ值或ＵＢ值小于０時(shí)序列呈下降趨勢(shì)，當(dāng)ＵＦ值或ＵＢ值超過臨界值時(shí)序列表現(xiàn)出明顯的上升或下降趨勢(shì)。由圖３可知，渭河華縣站徑流時(shí)間序列變異發(fā)生在１９８６年和２００８年，黑河祁連山站徑流時(shí)間序列變異發(fā)生在１９８８年。

３．２ｋ－ｆｏｌｄ交叉驗(yàn)證結(jié)果

采用考慮變異點(diǎn)的ｋ－ｆｏｌｄ交叉驗(yàn)證方法評(píng)價(jià)水文變異對(duì)深度學(xué)習(xí)模型預(yù)測(cè)性能的影響。上述變異點(diǎn)識(shí)別結(jié)果表明渭河華縣站的徑流在１９８６年發(fā)生突變，以ＬＳＴＭ模型為基底模型，根據(jù)訓(xùn)練期的不同分別建立Ｂ、Ｃ、Ｄ預(yù)測(cè)模型，其中：Ｂ模型選取徑流序列２０００—２０１０年作為驗(yàn)證期，選取變異點(diǎn)前的徑流序列１９６０—１９８５年作為訓(xùn)練期；Ｃ模型選取徑流序列２０００—２０１０年作為驗(yàn)證期，選取變異點(diǎn)后的徑流序列１９８５—１９９９年作為訓(xùn)練期；Ｄ模型選取徑流序列２０００—２０１０年作為驗(yàn)證期，選取徑流序列１９６０—２０００年作為訓(xùn)練期。

引入泰勒?qǐng)D對(duì)基于ＬＳＴＭ深度學(xué)習(xí)模型的以訓(xùn)練期為差異的Ｂ、Ｃ、Ｄ月徑流預(yù)測(cè)模型的預(yù)測(cè)結(jié)果進(jìn)行展示（見圖４），其中：Ａ點(diǎn)為實(shí)測(cè)值，藍(lán)色虛線代表相關(guān)系數(shù)，綠色虛線代表中心均方根誤差，縱坐標(biāo)代表標(biāo)準(zhǔn)差?？梢钥闯觯己尤A縣站和黑河祁連山站的Ｄ模型的相關(guān)系數(shù)、中心均方根誤差和標(biāo)準(zhǔn)差最大，說明該模型性能最佳；同時(shí)也反映出將未考慮徑流變異點(diǎn)的時(shí)間序列作為模型的訓(xùn)練期，所訓(xùn)練的ＬＳＴＭ模型在兩個(gè)水文站的數(shù)據(jù)測(cè)試中均表現(xiàn)良好。考慮變異點(diǎn)的Ｂ、Ｃ模型的訓(xùn)練期數(shù)據(jù)長(zhǎng)度較Ｄ模型短，所訓(xùn)練模型的預(yù)測(cè)性能較低，因此訓(xùn)練期數(shù)據(jù)長(zhǎng)度對(duì)模型性能的影響至關(guān)重要。此外，在兩個(gè)水文站的數(shù)據(jù)測(cè)試中Ｂ模型（將變異點(diǎn)前的時(shí)間序列作為模型訓(xùn)練期）的預(yù)測(cè)性能與Ｃ模型（將變異點(diǎn)后的時(shí)間序列作為模型訓(xùn)練期）的性能差異較小。

綜上所述，ＬＳＴＭ模型在中長(zhǎng)期徑流預(yù)測(cè)中的性能主要受時(shí)間序列長(zhǎng)度的影響，其次受水文變化趨勢(shì)及變異的影響。

４結(jié)論

針對(duì)黃河支流渭河、黑河的水文情勢(shì)，采用Ｍ－Ｋ檢驗(yàn)方法對(duì)月徑流水文序列進(jìn)行變異點(diǎn)識(shí)別，基于深度學(xué)習(xí)ＬＳＴＭ模型，提出考慮變異點(diǎn)的ｋ－ｆｏｌｄ交叉驗(yàn)證方法，探討水文變異對(duì)深度學(xué)習(xí)模型預(yù)測(cè)精度的影響。深度學(xué)習(xí)模型在中長(zhǎng)期徑流預(yù)測(cè)中的性能主要受時(shí)間序列長(zhǎng)度的影響，其次受水文變化趨勢(shì)及變異的影響。