陳愛青
摘? 要:合理的水文預測模型是水文水資源決策管理的基礎,如何充分挖掘既有水文數據中的信息成為當前水文預測領域的一大挑戰,深度學習方法的快速發展為水文預測提供了新的思路。針對國內外近期提出的水文預測深度學習模型進行歸納總結,從數據來源、方法模型、驗證討論等方面探討了深度學習在水文預測領域的應用進展,并進一步給出了數據獲取、模型遷移、實時預警等方面的思考。結果表明:充足的水文數據是精準預測的前提,合理的模型構建策略是考慮各種不確定因素的關鍵手段,模型的適用性和實時預警是未來進一步研究的方向。
關鍵詞:水文預測? 深度學習? 大數據? 長短時記憶神經網絡? 卷積神經網絡
中圖分類號:P338 ? ? ? ? ? 文獻標識碼:A? ? ? ? ? ? 文章編號:1674-098X(2021)04(c)-0252-05
Application Progress and Thinking of Deep Learning in the Field of Hydrological Prediction
CHEN Aiqing
(Shanghai Branch of Changjiang Survey Planning Design Research Co., Ltd., Shanghai, 200439? China)
Abstract: A reasonable hydrological prediction model is the foundation of hydrological and water resources decision-making and management. How to fully mining the information in existing hydrological data has become a major challenge in the current hydrological prediction field. The rapid development of deep learning methods provides new ideas for hydrological prediction. In view of the recent domestic and foreign hydrological prediction deep learning models, this paper discusses the application progress of deep learning in the field of hydrological prediction from the aspects of data sources, proposed models, verification and discussion, and further provides some suggestions on data acquisition, model migration, and real-time early warning. The results show that sufficient hydrological data is a prerequisite for accurate prediction, a reasonable model building strategy is a key means to consider various uncertain factors, and the applicability of the model and real-time early warning are the directions for further research in the future.
Key Words: Hydrological prediction model; Deep learning; Big data; LSTM; CNN
水文模型是水文水資源管理、防汛減災的基礎手段,傳統的概念性模型、物理模型和統計學模型已經在徑流、降水量預測等領域取得了長足進展,但隨著傳感手段的不斷發展,海量水文數據的積累導致傳統方法難以充分挖掘現有水文數據中的有效信息,近年來深度學習方法以其處理高維度、多特征海量數據方面取得了顯著成果,已經被廣泛應用于水文預測? ? ? 領域。
作為機器學習的一種,深度學習概念是Hinton 于2006年在《Science》發表的“深度信念網絡(Deep belief network,DBN)”,他將多層感知機(多層神經網絡)的學習方法稱為“深度學習”。簡單來說,深度神經網絡可以理解為具有2個或2個以上隱藏層的多層人工神經網絡,深度學習是相對于淺層學習而言的,深度學習通過更深的網絡結構來實現更好的特征表示。從具體的算法模型角度來看,長短期記憶神經網絡(Long-short term memeory,LSTM)和卷積神經網絡(Convolutional Neural Network,CNN)為代表的模型架構在時間序列處理和圖像識別領域取得了巨大成功。本文將從徑流預測、降雨量預測、地下水位分布及河湖冰川等方面介紹深度學習模型的應用進展,并探討深度學習水文預測方面數據獲取、模型遷移和實時預警方面的思考。
1? 深度學習在水文預測領域的應用進展
1.1 基于深度學習的徑流預測模型
徑流預測模型需要充分考慮時間效應的影響,所提出的模型要能夠響應環境變化等因素。Fu等人[1]利用LSTM,對徑流量在未來一段時間內的變化趨勢進行了預測。所采用的數據集是馬來西亞西北部的Kelantan 河,采用了1964—2004年50年的觀測數據進行研究,共14976個樣本。通過設置不同歷史數據(2000~6000d)作為訓練集,預測未來100~600d的徑流量,相比于傳統的BP神經網絡,采用LSTM的深度學習模型精度更高。Kao等人[2]利用基于LSTM的編碼器-解碼器結構,對中國臺灣地區石門地區的洪水發生進行了預測,該研究收集了23個臺風事件中的12216個水文數據,數據采樣間隔為1h,模型采用了每小時的入庫流量和降雨數據,時間步長考慮為8h,來預測未來1h~6h的入庫流量,對比前饋神經網絡模型,所提出的LSTM模型能夠更好地捕捉洪水發生的時間關聯性。Ren等人[3]針對級聯渠道水位的實時預測問題,提出了基于多層感知機和LSTM的深度學習預測模型,并通過時空窗口實現了水位數據的數據增強,在南水北調工程近5年的19704渠道水位數據中,可以實現未來2、4、6h的精準預測,精度可達90%。上述研究所采用數據量的時間跨度大,所蘊含的信息十分豐富,基于LSTM的模型架構能夠很好地捕捉歷史趨勢對當前和未來徑流變化的影響。
為解決含噪聲徑流數據的準確預測問題,Feng 等[4]提出了基于變分模態分解(variational mode decomposition,VMD)結合支持向量機的預測模型,并通過粒子群優化算法對支持向量機的參數進行優化,VMD將原始徑流時間序列分解為不同分量,然后用支持向量機對每個分量進行預測,在長江三峽和丹江口水庫的預測分析中,所提出的模型比傳統的神經網絡模型和極限學習機方法精度要高。李文武等人[5]提出了變分模態分解、相空間重構和深度門控網絡相結合的徑流組合預測模型,在白山水庫的數據集測試表明,分解-預測-重構的策略能有效分解非平穩性的徑流序列,充分學習內嵌的水文規律。基于分解的思路能夠去除數據的噪聲,在一定程度上也能提高預測精度,但在水文數據模態分解的過程中不可避免地使用了未來的信息,該方法僅能作為回歸模型來使用,無法實現在徑流時間序列預測問題。
針對洪水等極端水文數據獲取難題,Kabir等[6]提出了用于河流洪水泛濫的快速預測CNN模型,以二維數值(LISFLOOD-FP)仿真結果作為輸入,來預測洪水水深,以2005年1月和2015年12月英國卡萊爾的洪水案例作為數據集,制作了24個“合成”水文圖(三個上游邊界位置各8個),并具有不同的峰值和持續時間,以表示不同大小的洪水情況,所提出的CNN模型比SVR模型精度高且能捕捉防洪建設等地形變化對洪水動態的影響。Irrgang等[7]利用CNN來對陸地水儲量進行預測,首先通過地表流量模型計算南美地區2003—2018年的月均地表儲水量作為輸出,利用重力回溯及氣候實驗衛星的觀測數據作為輸入,訓練CNN模型來模擬衛星觀測輸入與數值仿真模型之間的關系,在損失函數中考慮到通過地面測高得到的亞馬遜流域地表水存儲異常數據,所得到的模型能夠對2019年南美地區的月均地表儲水量進行較好的預測。Nalley等[8]針對河川徑流數據不足的問題,采用了基于小波變換結合現有數據插值手段的數據增強算法,實現了加拿大67對水文站徑流數據的有效提升。
1.2 基于深度學習的降水量預測模型
降水是徑流變化的重要影響因素,由于氣候變化的偶然性,降水量的非平穩時間特征明顯。為解決極端天氣災害引起的洪水和干旱問題,Ali等[9]通過經驗模態分解對降水量進行了分解,然后利用隨機森林和嶺回歸等方法對降水量分解后的每個分量進行預測,在巴基斯坦巴爾蒂斯坦省的案例中得到驗證,所提出的模型精度可達0.95以上,比傳統的隨機森林和嶺回歸方法精度提高1倍左右,有效解決了非平穩降雨量時間序列的預測難題。Zhang等提出了基于動態深度前饋神經網絡的區域短期降雨量模型,利用主成分分析來將13類氣象、高程、水文數據進行降維,然后通過算法對深度前饋神經網絡的結構進行優化,在對某地短期降雨量進行預測時,Zhang等人的策略是在該地點(中心點)周圍區域的觀測數據建立多個預測模型,同時預測該地點短期降雨量,然后通過兩地直接的距離作為權重來衡量各個預測模型所得降雨量對中心點的貢獻,對比中國和日本官方預報采用的物理模型、傳統的MLP和DBN、ARIMA模型、傳統的機器學習模型(支持向量機等),所提出的模型精度最高,該方法一定程度上考慮了降雨量空間分布的特征。
為了更好地實現衛星觀測數據和地面雨量站觀測數據的有效融合,Wu等[10]提出了融合CNN和LSTM的深度學習模型來實現衛星和雨量站降水數據融合,CNN和LSMT分別提取空間相關性和時間依賴性來融合 TRMM 3B42 V7 降水數據,熱紅外數據以及雨量站數據,在中國796個雨量站數據上的實驗結果表明:所提出的融合模型優于其他單一組成的深度神經網絡模型(CNN,LSTM,MLP),對于TRMM數據的空間降水精度均方根誤差可以降低17%。
降雨會誘發滑坡等地質災害,Orland等[11]利用基于LSTM的深度學習模型,建立了滑坡水文響應的預測模型,模型采用監測到的土壤水分壓力、孔隙壓力和降雨量監測數據作為輸入,對俄勒岡州艾略特國家森林實測的土壤介質吸力對降雨響應的時間和幅度進行了高精度預測,可以實現36h時間間隔不同深度介質吸力預測,模型的計算效率和精度對比傳統經驗模型和物理模型均能較好地滿足滑坡預警的需求。
1.3 基于深度學習的地下水分布預測模型
地下水分布受降水、徑流、地質構造等因素的影響,空間特異性十分明顯,Panahi等[12]提出了基于CNN的地下水位空間分布模型,以韓國南部丹陽地區140個地下水數據集進行研究,模型用匯水面積、徑流、坡度等15個參量作為輸入,用地下水賦存潛力作為輸出,對比SVR模型,CNN模型的空間建模精度要高12.6%。Jeong等[13]針對地下水位實測數據中包含大量異常值和噪聲情況下的預測問題,在LSTM神經網絡基礎上提出了一種新的損失函數——具備非對稱加權的最小裁剪正方形方法,并結合惠塔克濾波,實現了韓國江津城段和浦項郡段地下水位的高魯棒性預測,模型采用了2010—2016約2500d的地下水位數據進行研究。如何考慮時間-空間影響下的地下水分布問題,值得通過LSTM-CNN耦合分析模型進一步探討。
1.4 基于深度學習的河湖冰川預測模型
為解決冰川數據重建問題,Bolibar等[14]利用深度學習手段實現了法國阿爾卑斯地區冰川物質平衡序列的重建,時間跨度從1967—2015年,重建模型采用的數據來自于物質平衡數據的直接觀測,遙感年數據估算、氣象再分析和地形數據,并與32個冰川實測數據進行對比,重建的精度可達75%。Wang等[15]針對海洋溶解氧濃度的預測問題,提出了基于決策樹理念的深度神經網絡模型,解決了既有深度神經網絡模型超參數調節難題,在World Ocean Database 2013(WOD13) 數據集上的仿真結果表明,所提出的樹調優深度神經網絡比Humbird, KD等人提出的深度聯合互饋神經網絡(deep jointly informed neural network (DJINN),均方誤差降低了17.6%。Zhang等[16]在海洋表面溫度的預測中,利用LSTM模型解決異常溫度預測和模型在線更新的難題,通過增加不同年份測得的海水表面溫度,模型更新策略能夠實現更好的預測精度,這表明深度學習模型可以充分挖掘歷史數據中隱含的信息進行預測。
在某些特定的應用場景,機器學習模型并不一定表現得更好。Zhu等[17]綜合對比了傳統物理模型和機器學習模型在湖水表面溫度的預測研究,通過對波蘭8個湖30年的表面日觀測溫度時間序列進行預測,對比多層感知機模型、基于小波變換的多層感知機、時間-溫度物理模型和非線性回歸模型,結果發現傳統的時間-溫度物理模型表現最好,非線性回歸模型表現最差,說明在海量時間序列預測方面,單純的多層感知機模型并不能夠很好地解決時間關聯性問題。
2? 深度學習在水文預測領域的展望
從近年來深度學習在徑流、降雨量和地下水等預測的研究進展來看,現有的深度學習模型能夠解決部分場景下的水文預測問題,但充足的訓練數據是模型取得良好預測結果的前提,徑流預測動輒需要跨度十幾年甚至幾十年的數據作為支撐,因此發展便捷高效的數據獲取手段是關鍵。水文數據體現強烈的時空特異性,空天地相結合的數據獲取方式是未來趨勢,如何通過深度學習來融合不同尺度上的時空數據值得進一步探討。以光纖傳感為代表的分布式感知方法因其經濟可靠,在地質災害監測等領域得到了廣泛應用,如何將光纖傳感應用到水文監測領域,并通過深度學習挖掘光纖傳感數據,需要進一步解決光纖表征參量與水文特征參量的關系。
現有的水文預報深度學習模型,以特定的場景為對象進行研究,無法實現模型的遷移。在新場景面臨較少訓練數據情況下,如何將已訓練好的模型通過遷移學習直接應用于新的場景,是值得進一步探討的方向。遷移過程中可以考慮地理信息的相似性和差異性來實現源模型(已訓練好的模型)到目標模型(新場景需要的模型)遷移。
從既有的深度學習水文預測模型來看,均以線下分析應用為主,對于水位實時預報的能力沒有進一步闡述。而面臨極端天氣等引發的防汛減災實時預警需求,拓展深度學習快速預警能力需要在軟件和硬件方面進一步研究。在軟件方面,所采用的算法能夠處理實時在線數據流;在硬件方面,傳感器的實時感知、傳輸與信息發布,仍需要進一步設計。
3? 結語
本文探討了深度學習在水文預報領域的相關研究進展,闡述了基于LSTM和CNN等方法的深度學習模型在徑流預測、降雨量預報、地下水分布、河湖冰川預報方面的應用進展,結果表明深度學習模型能夠挖掘海量水文數據中蘊含的信息,實現高精度的水文預報。從大數據獲取、模型遷移、實時預警等方面進一步探討了深度學習水文預報模型發展的相關方向,為提高防汛減災能力提供技術保障。
參考文獻
[1] FU M, FAN T, DING. Zet al. Deep learning data-intelligence model based on adjusted forecasting window scale: application in daily streamflow simulation[J]. IEEE Access, 2020(8):32632–32651.
[2] KAO I F, ZHOU Y, CHANG LC,et al. Exploring a Long Short-Term Memory based Encoder-Decoder framework for multi-step-ahead flood forecasting[J]. Journal of Hydrology, 2020(583):124631.
[3] REN T, LIU X, NIU J, et al. Real-time water level prediction of cascaded channels based on multilayer perception and recurrent neural network[J]. Journal of Hydrology, 2020(585):124783.
[4] FENG Z kai, NIU W jing, TANG Z yang,et al. Monthly runoff time series prediction by variational mode decomposition and support vector machine based on quantum-behaved particle swarm optimization[J]. Journal of Hydrology, 2020(583): 124627.
[5] 李文武, 石強, 王凱, 等. 基于變分模態分解和深度門控網絡的徑流預測[J]. 水力發電學報, 2020, 39(3): 34–44.
[6] KABIR S, PATIDAR S, XIA X,et al. A deep convolutional neural network model for rapid prediction of fluvial flood inundation[J]. Journal of Hydrology, 2020(590): 125481.
[7] IRRGANG C, SAYNISCH-WAGNER J, DILL R,et al. Self-Validating deep learning for recovering terrestrial water storage from gravity and altimetry measurements[J]. Geophysical Research Letters, 2020, 47(17).
[8] NALLEY D, ADAMOWSKI J, KHALIL B,et al. A comparison of conventional and wavelet transform based methods for streamflow record extension[J]. Journal of Hydrology, 2020(582):124503.
[9] ALI M, PRASAD R, XIANG Y,et al. Complete ensemble empirical mode decomposition hybridized with random forest and kernel ridge regression model for monthly rainfall forecasts[J]. Journal of Hydrology, 2020(584):124647.
[10] WU H, YANG Q, LIU J, et al. A spatiotemporal deep fusion model for merging satellite and gauge precipitation in China[J]. Journal of Hydrology, 2020, 584(2006): 124664.
[11] ORLAND E, ROERING J J, THOMAS M A,et al. Deep Learning as a tool to forecast hydrologic response for landslide-prone hillslopes[J]. Geophysical Research Letters, 2020, 47(16).
[12] PANAHI M, SADHASIVAM N, POURGHASEMI H R,et al. Spatial prediction of groundwater potential mapping based on convolutional neural network (CNN) and support vector regression (SVR)[J]. Journal of Hydrology, 2020(588):125033.
[13] JEONG J, PARK E, CHEN H,et al. Estimation of groundwater level based on the robust training of recurrent neural networks using corrupted data[J]. Journal of Hydrology, 2020(582):124512.
[14] BOLIBAR J, RABATEL A, GOUTTEVIN I,et al. A deep learning reconstruction of mass balance series for all glaciers in the French Alps: 1967-2015[J]. Earth System Science Data, 2020, 12(3): 1973–1983.
[15] WANG L, JIANG Y, QI H. Marine dissolved oxygen prediction with tree tuned deep neural network[J]. IEEE Access, 2020(8):182431–182440.
[16] ZHANG Q, WANG H, DONG J,et al. Prediction of sea surface temperature using long short-term memory[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(10): 1745–1749.
[17] ZHU S, PTAK M, YASEEN Z M,et al. Forecasting surface water temperature in lakes: A comparison of approaches[J]. Journal of Hydrology, 2020, 585: 124809.