基于深度學(xué)習(xí)模型及組合模型的沙漠面積預(yù)測(cè)研究

陳 省，張建杰

（新疆大學(xué)軟件學(xué)院，新疆烏魯木齊 830000）

0 引 言

中國(guó)是遭受荒漠化最嚴(yán)重的國(guó)家之一，據(jù)相關(guān)報(bào)道，我國(guó)每年因荒漠化造成的直接經(jīng)濟(jì)損失高達(dá)60 億美元以上。土地荒漠化問題是實(shí)現(xiàn)民族復(fù)興、建設(shè)美麗中國(guó)必須解決好的環(huán)境問題。新疆的沙漠面積很大，占中國(guó)沙漠面積2 3，新疆的土地中約1 4 被沙漠所占據(jù)。很長(zhǎng)時(shí)間以來，新疆地區(qū)的各族人民深受風(fēng)沙之害，他們強(qiáng)烈渴望治理好風(fēng)沙，早日擁有宜居的生態(tài)環(huán)境。

自本世紀(jì)初，國(guó)家對(duì)塔里木河流域的生態(tài)環(huán)境已經(jīng)投入107 億元資金進(jìn)行生態(tài)環(huán)境綜合治理[1]。塔里木河干流土地利用受到人類活動(dòng)的嚴(yán)重影響，自2000 年以來，耕地面積增加十分明顯，凈增土地面積2 229 km2，草地面積整體減小，萎縮面積達(dá)3 157 km2。

國(guó)內(nèi)沙漠面積或沙漠化趨勢(shì)預(yù)測(cè)常用的方法有地理信息系統(tǒng)（Geographic Information System, GIS）與層次分析（Analytic Hierarchy Process, AHP）法耦合技術(shù)的土地沙漠化模型、GIS 和元胞自動(dòng)機(jī)的預(yù)測(cè)模型、艾滋病傳染病預(yù)測(cè)模型、微分方程預(yù)測(cè)模型、馬爾可夫預(yù)測(cè)模型、指數(shù)平滑預(yù)測(cè)模型、CA-Markov 預(yù)測(cè)模型。雖然這些方法均可以對(duì)沙漠面積進(jìn)行預(yù)測(cè)，但都有不足之處。

GIS 與AHP 耦合技術(shù)預(yù)測(cè)結(jié)果受到數(shù)據(jù)質(zhì)量的限制以及決策者主觀因素的影響，同時(shí)也可能對(duì)不確定性因素的處理有限。GIS 和元胞自動(dòng)機(jī)在預(yù)測(cè)時(shí)可能存在精度問題，確定合適的參數(shù)設(shè)置可能是困難的，且可能會(huì)導(dǎo)致模型結(jié)果的不確定性。沙漠?dāng)U散預(yù)測(cè)微分方程模型受到空間尺度限制，無法完全解釋非線性行為，沙漠?dāng)U散過程受到人為干預(yù)的影響。馬爾可夫模型要求狀態(tài)空間必須是離散、有限且固定的，對(duì)于具有連續(xù)狀態(tài)空間或者動(dòng)態(tài)變化的狀態(tài)空間的問題，馬爾可夫模型可能不適用。沙漠預(yù)測(cè)數(shù)學(xué)模型在一定程度上可以提供參考，但其預(yù)測(cè)結(jié)果仍然受到數(shù)據(jù)不確定性、模型簡(jiǎn)化假設(shè)、主觀性參數(shù)選擇以及長(zhǎng)期趨勢(shì)預(yù)測(cè)能力等局限性的影響。沙漠?dāng)U散預(yù)測(cè)涉及到非線性過程，而微分方程模型通常基于線性假設(shè)，因此無法完全解釋非線性行為。CA-Markov 模型預(yù)測(cè)精度有限，受到時(shí)空尺度限制。

本文嘗試使用多種不同的沙漠面積預(yù)測(cè)模型對(duì)沙漠面積進(jìn)行預(yù)測(cè)，試圖找到更好的沙漠面積預(yù)測(cè)方法，幫助新疆若羌縣環(huán)保部門更加高效地做好沙漠防治工作。首先，使用統(tǒng)計(jì)學(xué)模型ARIMA 預(yù)測(cè)沙漠面積；其次，使用深度學(xué)習(xí)模型中的RNN、LSTM、GRU 預(yù)測(cè)沙漠面積；最后，使用3 個(gè)組合模型預(yù)測(cè)沙漠面積，企圖提高預(yù)測(cè)的準(zhǔn)確度和穩(wěn)定性。

組合模型是一種集成多個(gè)預(yù)測(cè)模型的方法，通過結(jié)合每個(gè)模型的預(yù)測(cè)結(jié)果來獲得更準(zhǔn)確的預(yù)測(cè)結(jié)果。組合模型的基本思想是：通過綜合多個(gè)模型的預(yù)測(cè)，可以彌補(bǔ)單個(gè)模型的不足，提高整體預(yù)測(cè)的準(zhǔn)確性。

組合模型有多種形式，常見的組合模型包括投票法、加權(quán)平均法和堆疊法等。投票法通過多數(shù)表決或加權(quán)表決的方式?jīng)Q定最終預(yù)測(cè)結(jié)果；加權(quán)平均法將各個(gè)模型的預(yù)測(cè)結(jié)果按一定權(quán)重進(jìn)行加權(quán)平均，得到最終預(yù)測(cè)結(jié)果；堆疊法則通過建立一個(gè)次級(jí)模型來結(jié)合各個(gè)基模型的預(yù)測(cè)結(jié)果，得到最終預(yù)測(cè)結(jié)果。本文組合模型使用加權(quán)平均法得到沙漠面積預(yù)測(cè)結(jié)果。

1 深度學(xué)習(xí)模型和組合模型

深度學(xué)習(xí)（Deep Learning, DL）是機(jī)器學(xué)習(xí)的一個(gè)分支，通過組合低層特征信息來形成抽象的高層表達(dá)[2]。實(shí)際上，深度學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，由深層神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)組成，它能學(xué)習(xí)到數(shù)據(jù)中深層次、本質(zhì)的特征，并且通過逐層訓(xùn)練降低訓(xùn)練難度。

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network, ANN）模擬人腦的神經(jīng)網(wǎng)絡(luò)產(chǎn)生，利用物理方法模擬生物神經(jīng)網(wǎng)絡(luò)的某些結(jié)構(gòu)和功能[3]，是一種基于數(shù)學(xué)和機(jī)器學(xué)習(xí)技術(shù)的計(jì)算機(jī)模型，它模擬了人腦的工作原理，具有自適應(yīng)、自組織和自學(xué)習(xí)的能力。1943 年，Mcculloch 和Pitts創(chuàng)造了神經(jīng)網(wǎng)絡(luò)計(jì)算模型。1949 年，心理學(xué)家Hebb 提出Hebb 型學(xué)習(xí)假說，解釋了神經(jīng)元組成聯(lián)接形成記憶印痕的內(nèi)部機(jī)理[4]。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）是一種深度神經(jīng)網(wǎng)絡(luò)，常用于處理具有類似網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)據(jù)。第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型Alexander Waibel是根據(jù)neocognitron 神經(jīng)網(wǎng)絡(luò)提出的[5]。自從Hinton 在2012 年提出AlexNet 之后，人們開始對(duì)CNN 加大了研究力度。ZFNet、VGG、GoogleNet、ResNet 相繼出現(xiàn)，逐步優(yōu)化了CNN 模型的性能。

CNN 在機(jī)器視覺、圖像分類等領(lǐng)域上都達(dá)到了目前研究最好的效果[6]。隨著新的網(wǎng)絡(luò)模型不斷發(fā)展，出現(xiàn)了VGGNet、GoogleNet、ResNet 等網(wǎng)絡(luò)。

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network, RNN）是一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)技術(shù)，它能夠處理序列數(shù)據(jù)，包括歷史信息和上下文信息。通過內(nèi)部的循環(huán)單元和其他隱藏層處理信息，使模型能夠預(yù)測(cè)下一時(shí)刻的輸入和輸出。RNN 模型包括三層：輸入層、隱藏層和輸出層[2]。

RNN 通常由多個(gè)前饋神經(jīng)網(wǎng)絡(luò)組成，每個(gè)前饋神經(jīng)網(wǎng)絡(luò)都包含一個(gè)時(shí)間向量和一個(gè)前向傳播算法。時(shí)間向量用于表示序列中的過去信息和現(xiàn)在信息，梯度下降用于更新模型的參數(shù)并預(yù)測(cè)未來的輸出。與普通的神經(jīng)網(wǎng)絡(luò)不同，RNN 不僅可以處理時(shí)間信息，還可以處理空間信息。因此，循環(huán)神經(jīng)網(wǎng)絡(luò)可以用于處理復(fù)雜的序列數(shù)據(jù)，如語音、文本、圖像等。

循環(huán)神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，循環(huán)神經(jīng)網(wǎng)絡(luò)除了層與層之間的全連接之外，神經(jīng)元之間也是相互連接的[3]。隨著RNN 不斷的發(fā)展，研究者們發(fā)現(xiàn)RNN 網(wǎng)絡(luò)存在梯度爆炸和梯度消失問題。Hochreiter &Schmidhuber 提出LSTM 網(wǎng)絡(luò)，它被主要用來處理RNN中存在的梯度消失問題。

長(zhǎng)短期記憶（Long Short-Term Memory, LSTM）網(wǎng)絡(luò)是一種用于時(shí)間序列預(yù)測(cè)的循環(huán)神經(jīng)網(wǎng)絡(luò)。LSTM 使用tanh 和Sigmoid 函數(shù)作為激活函數(shù)[3]，通過內(nèi)部的長(zhǎng)短期記憶單元來處理時(shí)間序列數(shù)據(jù)，從而實(shí)現(xiàn)了長(zhǎng)期記憶和短期記憶的功能。

LSTM 具有與RNN 相同的鏈?zhǔn)浇Y(jié)構(gòu)，能夠較好地體現(xiàn)時(shí)間序列的概念特征。與RNN 網(wǎng)絡(luò)相比，LSTM 不僅有一個(gè)短時(shí)記憶狀態(tài)控制單元，還增加了一個(gè)長(zhǎng)時(shí)記憶控制單元[4]。在訓(xùn)練過程中，將上一個(gè)時(shí)間節(jié)點(diǎn)完成的數(shù)據(jù)訓(xùn)練信息通過記憶保存到下一個(gè)時(shí)間節(jié)點(diǎn)，從而增加了訓(xùn)練過程前后時(shí)間節(jié)點(diǎn)的相關(guān)性，并且在傳遞過程中不斷放棄無效信息，使得模型訓(xùn)練更高效、精準(zhǔn)[7]。

門控循環(huán)單元（GRU）是由Kyunghyun Cho 等人于2014 年引入的[8]。GRU 通過Sigmoid 激活函數(shù)將上一個(gè)時(shí)刻和當(dāng)前時(shí)刻的信息拼接后形成一個(gè)限制，對(duì)信息加以限制，實(shí)現(xiàn)長(zhǎng)序列信息的傳遞。GRU 神經(jīng)網(wǎng)絡(luò)對(duì)LSTM 進(jìn)行了改進(jìn)，它能實(shí)現(xiàn)LSTM 相同的效果，而且內(nèi)部所需要訓(xùn)練的參數(shù)變少，提高了訓(xùn)練的速度，節(jié)約了計(jì)算資源[9]。

2 材料與方法

2.1 數(shù)據(jù)來源

新疆若羌縣沙漠面積數(shù)據(jù)從資源環(huán)境科學(xué)與數(shù)據(jù)中心下載并經(jīng)過應(yīng)用相關(guān)軟件進(jìn)行計(jì)算后統(tǒng)計(jì)得到，其網(wǎng)址為https://www.resdc.cn。下載并安裝ArcGIS 軟件，打開已下載好的遙感監(jiān)測(cè)數(shù)據(jù)，用該軟件計(jì)算柵格圖中沙地的面積。本文得到的沙漠面積數(shù)據(jù)經(jīng)使用軟件中面積計(jì)算工具人工劃分新疆地區(qū)衛(wèi)星遙感地圖和分塊測(cè)量并求和得到。

若羌縣歷史天氣數(shù)據(jù)來源于2345 天氣王網(wǎng)站公開的數(shù)據(jù)集。若羌縣GDP 數(shù)據(jù)、第一產(chǎn)業(yè)GDP、第二產(chǎn)業(yè)GDP、第三產(chǎn)業(yè)GDP 來源于若羌縣統(tǒng)計(jì)局。若羌縣糧食產(chǎn)量、谷物、小麥、玉米和棉花產(chǎn)量數(shù)據(jù)來源于新疆統(tǒng)計(jì)局。2020 年若羌縣東部地區(qū)衛(wèi)星圖像如圖1 所示。

圖1 2020 年若羌縣東部地區(qū)衛(wèi)星圖像

2.2 數(shù)據(jù)預(yù)處理

把每張圖中計(jì)算得到的沙漠面積匯總整理成Excel表，如表1～表5 所示。

表1 若羌縣東部地區(qū)沙地面積

表2 若羌縣歷史天氣記錄部分信息表℃

表3 若羌縣2011—2020 年糧食產(chǎn)量、谷物、小麥、玉米信息表t

表4 若羌縣2011—2020 年GDP、第一產(chǎn)業(yè)GDP、第二產(chǎn)業(yè)GDP、第三產(chǎn)業(yè)GDP 信息表億元

表5 若羌縣2011—2020 年棉花產(chǎn)量、果用瓜產(chǎn)量信息表t

2.3 數(shù)據(jù)集制作

沙漠面積原始數(shù)據(jù)太少，需要進(jìn)行數(shù)據(jù)擴(kuò)充，本文選擇等差數(shù)列填充法對(duì)缺失的數(shù)據(jù)進(jìn)行填充。用前后兩年的沙漠面積作差取絕對(duì)值后除以60 作為公差，依次遞加或遞減。類似地，對(duì)若羌縣2011—2020 年糧食產(chǎn)量、谷物產(chǎn)量、小麥產(chǎn)量、玉米產(chǎn)量、棉花產(chǎn)量、果用瓜產(chǎn)量、年度GDP、第一產(chǎn)業(yè)GDP、第二產(chǎn)業(yè)GDP、第三產(chǎn)業(yè)GDP 這些數(shù)據(jù)進(jìn)行擴(kuò)充加入數(shù)據(jù)集中。ARIMA 模型實(shí)驗(yàn)中，把1990—2015 年共6 組數(shù)據(jù)作為訓(xùn)練集，把2020 年數(shù)據(jù)作為測(cè)試集。神經(jīng)網(wǎng)絡(luò)模型實(shí)驗(yàn)中把數(shù)據(jù)集按照7∶3 比例劃分為訓(xùn)練集和測(cè)試集。

2.4 模型評(píng)價(jià)標(biāo)準(zhǔn)

采用MSE、RMSE、MAE 對(duì)各個(gè)模型進(jìn)行性能評(píng)估。

1）均方誤差

2）均方根誤差

3）平均絕對(duì)誤差

式中：yi是實(shí)際值是預(yù)測(cè)值；m是預(yù)測(cè)值的總數(shù)。MSE、RMSE、MAE 越小，說明預(yù)測(cè)模型的準(zhǔn)確度越高。

2.5 深度學(xué)習(xí)模型參數(shù)優(yōu)化

2.5.1 RNN 模型參數(shù)優(yōu)化

經(jīng)過多次實(shí)驗(yàn)最后確定RNN 模型參數(shù)如表6 所示。

表6 RNN 模型參數(shù)

2.5.2 LSTM 模型參數(shù)優(yōu)化

經(jīng)過多次實(shí)驗(yàn)最后確定LSTM 模型參數(shù)如表7所示。

表7 LSTM 模型參數(shù)

2.5.3 GRU 模型參數(shù)優(yōu)化

經(jīng)過多次實(shí)驗(yàn)最后確定GRU 模型參數(shù)如表8 所示。

表8 GRU 模型參數(shù)

3 模型預(yù)測(cè)

3.1 ARIMA 模型預(yù)測(cè)

用經(jīng)過數(shù)據(jù)訓(xùn)練的ARIMA 模型預(yù)測(cè)2020 年、2025 年、2030 年若羌縣東部地區(qū)沙漠面積。將預(yù)測(cè)的沙漠面積數(shù)據(jù)結(jié)合已有的若羌縣東部地區(qū)沙漠面積數(shù)據(jù)可以得到若羌縣東部地區(qū)1990—2030 年的沙漠面積變化趨勢(shì)圖，如圖2 所示。2020—2030 年沙漠面積保持平穩(wěn)緩慢增長(zhǎng)。因?yàn)橄噜彅?shù)據(jù)中間年和月份的數(shù)據(jù)收集不到，故使用折線圖大致描繪出沙漠面積變化趨勢(shì)。

圖2 若羌縣東部地區(qū)1990—2030 年的沙漠面積變化折線圖

3.2 RNN 模型預(yù)測(cè)

通過對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練后得到了實(shí)際值與預(yù)測(cè)值之間的關(guān)系，如圖3 所示。圖中，虛線表示原數(shù)據(jù)，實(shí)線表示預(yù)測(cè)的結(jié)果。圖4 中，訓(xùn)練集和驗(yàn)證集損失隨著訓(xùn)練迭代次數(shù)的增加不斷減小，可知模型訓(xùn)練效果良好。用RNN 模型對(duì)2020 年若羌縣東部地區(qū)流域沙漠面積預(yù)測(cè)值為15 249 km2。

圖3 實(shí)際沙漠面積和RNN 預(yù)測(cè)沙漠面積

圖4 RNN 訓(xùn)練集和驗(yàn)證集損失

3.3 LSTM 模型預(yù)測(cè)

通過對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練后得到了實(shí)際值與預(yù)測(cè)值之間的關(guān)系，如圖5 所示。圖中，虛線表示原數(shù)據(jù)，實(shí)線表示預(yù)測(cè)的結(jié)果。根據(jù)圖形可以看出模型的擬合還是比較好的。圖6 中，訓(xùn)練集和驗(yàn)證集損失隨著訓(xùn)練迭代次數(shù)的增加不斷減小，可知模型訓(xùn)練效果良好。用LSTM 模型可以預(yù)測(cè)2020 年若羌縣東部地區(qū)沙漠面積為15 481 km2。

圖5 真實(shí)值和LSTM 預(yù)測(cè)值趨勢(shì)圖

圖6 LSTM 訓(xùn)練集損失和驗(yàn)證集損失

3.4 GRU 模型預(yù)測(cè)

對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練后得到了實(shí)際值與預(yù)測(cè)值之間的關(guān)系，如圖7 所示。圖中，虛線表示原數(shù)據(jù)，實(shí)線表示預(yù)測(cè)的結(jié)果。圖8 中，訓(xùn)練集和驗(yàn)證集損失隨著訓(xùn)練迭代次數(shù)的增加不斷減小，可知模型訓(xùn)練效果良好。用GRU 模型對(duì)2020 年若羌縣東部地區(qū)沙漠面積預(yù)測(cè)值為15 687 km2。

圖7 實(shí)際沙漠面積和GRU 預(yù)測(cè)沙漠面積

圖8 GRU 訓(xùn)練集和驗(yàn)證集損失

3.5 組合模型預(yù)測(cè)

本文選擇誤差方差加權(quán)平均法確定組合模型中各個(gè)模型的權(quán)重。根據(jù)ARIMA模型和三個(gè)改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型，對(duì)2020 年沙漠面積的預(yù)測(cè)值及真實(shí)值采用誤差方差加權(quán)平均法確定每個(gè)組合模型中各個(gè)分塊模型的權(quán)重。

3.5.1 ARIMA-RNN 模型預(yù)測(cè)

計(jì)算得到ARIMA、RNN 權(quán)重分別約為0.108 4、0.891 6。結(jié)合各個(gè)模型的預(yù)測(cè)值即可計(jì)算出組合模型的預(yù)測(cè)值，如表9 所示。

表9 ARIMA-RNN 組合模型評(píng)估表

ARIMA-RNN 預(yù)測(cè)的2020 年若羌縣東部地區(qū)沙漠面積約為15 093.6 km2。

3.5.2 ARIMA-LSTM 模型預(yù)測(cè)

計(jì)算得到ARIMA、LSTM 權(quán)重分別約為0.066 6、0.933 4。結(jié)合各個(gè)模型的預(yù)測(cè)值即可計(jì)算出組合模型的預(yù)測(cè)值，如表10 所示。ARIMA-LSTM 預(yù)測(cè)的2020 年若羌縣東部地區(qū)沙漠面積約為15 306.89 km2。

表10 ARIMA-LSTM 組合模型評(píng)估表

3.5.3 ARIMA-GRU 模型預(yù)測(cè)

計(jì)算得到ARIMA、GRU 權(quán)重分別約為0.035 8、0.964 2。結(jié)合各個(gè)模型的預(yù)測(cè)值即可計(jì)算出組合模型的預(yù)測(cè)值，如表11 所示。ARIMA-GRU 預(yù)測(cè)的2020 年若羌縣東部地區(qū)沙漠面積約為15 632.34 km2。

表11 ARIMA-GRU 組合模型評(píng)估表

3.6 模型對(duì)比與分析討論

所有實(shí)驗(yàn)進(jìn)行對(duì)比，結(jié)果如表12 所示。從預(yù)測(cè)準(zhǔn)確度方面看，ARIMA 模型的預(yù)測(cè)準(zhǔn)確度最低約為82.95%，改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)準(zhǔn)確度均大于94%，GRU 模型預(yù)測(cè)準(zhǔn)確度最高，組合模型的預(yù)測(cè)準(zhǔn)確度均大于93.08%。其中ARIMA-GRU 組合模型的預(yù)測(cè)準(zhǔn)確度約為96.40%；從均方根誤差方面看，該模型最優(yōu)。

表12 模型實(shí)驗(yàn)對(duì)比

深度學(xué)習(xí)模型中RNN 模型的預(yù)測(cè)準(zhǔn)確度最低約為94%。深度學(xué)習(xí)模型同樣存在缺陷，如數(shù)據(jù)需求量大，可能出現(xiàn)誤差積累，對(duì)數(shù)據(jù)質(zhì)量敏感。ARIMA-GRU 組合模型的預(yù)測(cè)準(zhǔn)確度最高約為96.40%。組合模型能夠很好地結(jié)合各個(gè)單一模型的優(yōu)點(diǎn)，能夠提高單一預(yù)測(cè)模型預(yù)測(cè)的準(zhǔn)確度。每個(gè)模型都有適用的場(chǎng)景和范圍，因此在使用模型時(shí)需要認(rèn)真分析并用實(shí)驗(yàn)驗(yàn)證模型的可靠性。

4 結(jié) 語

本文對(duì)新疆若羌縣東部地區(qū)的沙漠面積進(jìn)行不同的模型預(yù)測(cè)對(duì)比，尋找到了更具有實(shí)用性和穩(wěn)定性的ARIMA-GRU 組合預(yù)測(cè)模型，其預(yù)測(cè)準(zhǔn)確度約為96.40%，均方根誤差約為192.628。實(shí)驗(yàn)證明，深度學(xué)習(xí)模型在沙漠面積預(yù)測(cè)中預(yù)測(cè)準(zhǔn)確度高且性能良好。組合模型能夠提高沙漠面積預(yù)測(cè)的準(zhǔn)確性和穩(wěn)定性，能避免單一模型預(yù)測(cè)的局限性和風(fēng)險(xiǎn)性，適用于沙漠面積預(yù)測(cè)領(lǐng)域。

注：本文通訊作者為張建杰。