基于CNN-Bi-LSTM模型的煤含水率預(yù)測(cè)研究

劉 強(qiáng)，李 娜，張 淼，李 昊，劉冠佑，張 帆

(1.國(guó)家能源投資集團(tuán)神華黃驊港務(wù)有限責(zé)任公司，河北省滄州市，061000；2.中國(guó)礦業(yè)大學(xué)〈北京〉人工智能學(xué)院，北京市海淀區(qū)，100083)

0 引言

2023年8月，國(guó)家發(fā)展改革委等部門(mén)發(fā)布了關(guān)于印發(fā)《綠色低碳先進(jìn)技術(shù)示范工程實(shí)施方案》的通知，對(duì)實(shí)施新發(fā)展階段的生態(tài)建設(shè)提出了新要求，作為我國(guó)最重要的化石能源之一，煤炭的清潔利用一直是一個(gè)熱點(diǎn)問(wèn)題[1]。在煤炭的開(kāi)采、運(yùn)輸、儲(chǔ)存中，水資源的利用對(duì)降低煤炭揚(yáng)塵起著重要的作用[2]。如何做到煤炭堆場(chǎng)含水率的動(dòng)態(tài)檢測(cè)，對(duì)合理利用水資源、降低煤炭堆場(chǎng)及周邊污染有著重要意義[3]。

煤炭水分監(jiān)測(cè)技術(shù)主要采用微波技術(shù)、核磁共振等非接觸式檢測(cè)技術(shù)[4]。王玉曼[5]利用最小二乘支持向量機(jī)算法對(duì)微波透射煤炭含水率檢測(cè)方法進(jìn)行了修正，進(jìn)一步提高了檢測(cè)精度，近年來(lái)深度學(xué)習(xí)在諸多領(lǐng)域都得到了廣泛應(yīng)用[6-7]，在水分動(dòng)態(tài)預(yù)測(cè)方面，深度學(xué)習(xí)方法多應(yīng)用于土壤、作物、木材等研究對(duì)象[8]。另?yè)?jù)研究表明，含水率在時(shí)間維度上是一個(gè)動(dòng)態(tài)的連續(xù)過(guò)程，相鄰時(shí)刻的含水率存在著相互影響，而煤炭露天堆場(chǎng)含水率的變化機(jī)理與土壤等物質(zhì)相似，易受到溫度和濕度等氣象因素的影響，在變化趨勢(shì)上表現(xiàn)出動(dòng)態(tài)連續(xù)性[9]。因此，通過(guò)獲取大量的煤炭含水率和氣象的時(shí)間序列數(shù)據(jù)，可以建立數(shù)據(jù)驅(qū)動(dòng)的煤炭含水率預(yù)測(cè)模型。

筆者在露天堆場(chǎng)儲(chǔ)運(yùn)煤含水率監(jiān)測(cè)研究的基礎(chǔ)上，提出了一種新的基于CNN-Bi-LSTM混合網(wǎng)絡(luò)的煤炭含水率預(yù)測(cè)模型[10]。該模型將基于殘差機(jī)制的一維CNN(卷積神經(jīng)網(wǎng)絡(luò))與基于注意力機(jī)制的雙向LSTM(長(zhǎng)短期神經(jīng)網(wǎng)絡(luò))網(wǎng)絡(luò)(Bi-LSTM)相結(jié)合，融合了CNN的特征提取能力和Bi-LSTM的時(shí)間序列特征記憶能力，通過(guò)特定區(qū)域氣象等多源數(shù)據(jù)融合分析實(shí)現(xiàn)對(duì)露天堆場(chǎng)煤炭的含水率趨勢(shì)預(yù)測(cè)，并通過(guò)對(duì)模型訓(xùn)練使其學(xué)習(xí)到氣象數(shù)據(jù)對(duì)煤炭含水率的影響，以實(shí)現(xiàn)對(duì)未來(lái)時(shí)刻煤炭含水率的動(dòng)態(tài)預(yù)測(cè)[11-12]。

1 模型構(gòu)建

為了使網(wǎng)絡(luò)模型能夠正確理解序列數(shù)據(jù)并提取其關(guān)鍵特征，需要構(gòu)建由氣象特征、煤炭含水率特征和時(shí)間特征這3部分組成的時(shí)間序列數(shù)據(jù)，并基于CNN的數(shù)據(jù)特征提取能力和LSTM的上下文關(guān)聯(lián)能力[13]，提出并建立了CNN-Bi-LSTM混合網(wǎng)絡(luò)結(jié)構(gòu)模型。該模型由殘差機(jī)制的一維CNN網(wǎng)絡(luò)、Bi-LSTM網(wǎng)絡(luò)以及注意力結(jié)構(gòu)融合構(gòu)成，由CNN網(wǎng)絡(luò)提取數(shù)據(jù)集關(guān)鍵特征并整理成序列交由Bi-LSTM網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，注意力機(jī)制對(duì)學(xué)習(xí)結(jié)果進(jìn)行附加的權(quán)重分配，以使預(yù)測(cè)輸出盡可能地接近觀測(cè)值，CNN-Bi-LSTM混合模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

1、2-恒等映射；3-Bi-LSTM層；4-注意力層；5-輸出層；6、7-一維殘差映射。圖1 CNN-Bi-LSTM混合模型的網(wǎng)絡(luò)結(jié)構(gòu)

基于殘差機(jī)制的CNN網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)殘差網(wǎng)絡(luò)在不同卷積層之間加入恒等映射，利用基本殘差塊實(shí)現(xiàn)殘差網(wǎng)絡(luò)的聚合與收斂，使CNN網(wǎng)絡(luò)中的數(shù)據(jù)可以跨層流動(dòng)以克服過(guò)度擬合問(wèn)題，殘差塊的輸出見(jiàn)式(1)：

xl+1=xl+F(xl，{Wl})

(1)

式中：xl+1——?dú)埐顗K的輸出；

xl——直接映射部分；

F(xl，{Wl})——要學(xué)習(xí)的殘差映射部分。

ht=ot×tanh(ct)

(2)

式中：ht——LSTM輸出值；

ot——輸出門(mén)輸出；

ct——新的記憶細(xì)胞。

其中，當(dāng)前單元狀態(tài)見(jiàn)式(3)：

(3)

式中：ft——遺忘門(mén)的概率向量；

ct-1——前置記憶細(xì)胞；

it——遺忘門(mén)的概率向量；

其中，遺忘門(mén)的輸出見(jiàn)式(4)：

ft=sigmoid(Wxfxt+Whfht-1+bf)

(4)

式中：Wxf——遺忘門(mén)賦予xt的權(quán)重；

Whf——遺忘門(mén)賦予ht-1的權(quán)重；

xt——當(dāng)前時(shí)間節(jié)點(diǎn)的輸入；

ht-1——上一個(gè)時(shí)間節(jié)點(diǎn)的輸出；

bf——遺忘門(mén)的偏置。

最后，注意力機(jī)制對(duì)LSTM單元的輸出[h1，h2，…，ht，…，ht]賦不同的權(quán)重，使該模型能夠?qū)π蛄兄械牟煌瑫r(shí)間步長(zhǎng)給予不同程度的關(guān)注，從而對(duì)當(dāng)前任務(wù)目標(biāo)選擇更關(guān)鍵的預(yù)測(cè)信息。

訓(xùn)練過(guò)程以最小化重建誤差為網(wǎng)絡(luò)參數(shù)優(yōu)化目標(biāo)，重建誤差的目標(biāo)損失函數(shù)見(jiàn)式(5)：

(5)

式中 ：Loss——目標(biāo)損失函數(shù)；

y——實(shí)際的含水率。

N——數(shù)據(jù)量。

2 實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)環(huán)境及模型參數(shù)

為了驗(yàn)證所提方法的有效性和可靠性，實(shí)驗(yàn)采用戴爾Precision 7920工作站平臺(tái)，GPU型號(hào)是Nvidia Quadro RTX4000，核心處理器型號(hào)為Intel Xeon 4210R×2，處理器主頻2.4 GHz，本地盤(pán)存儲(chǔ)大小1 TB，內(nèi)存64 GB，網(wǎng)絡(luò)帶寬是1 Gbps。網(wǎng)絡(luò)模型的訓(xùn)練使用Facebook深度學(xué)習(xí)框架pytorch，編程語(yǔ)言采用python3.7，以及基于多GPU并行訓(xùn)練實(shí)現(xiàn)完成。

CNN-Bi-LSTM混合模型的參數(shù)設(shè)置：卷積層尺寸為3；卷積層和池化層激活函數(shù)選擇ReLU激活函數(shù)；LSTM隱含層2層，激活函數(shù)選擇tanh；Dropout為0.3；時(shí)間步長(zhǎng)為5，批大小為2，初始學(xué)習(xí)率為0.01；優(yōu)化函數(shù)為Adam，損失函數(shù)為MSE Loss，訓(xùn)練量為10 000。

根據(jù)CNN-Bi-LSTM混合模型的參數(shù)設(shè)置，實(shí)驗(yàn)中對(duì)規(guī)范模型的構(gòu)造如下：輸入訓(xùn)練集數(shù)據(jù)為三維數(shù)據(jù)向量(2，5，5)，其中第2維度5為時(shí)間步長(zhǎng)大小，第3維度5為輸入維度的5個(gè)特征。首先，數(shù)據(jù)進(jìn)入帶殘差結(jié)構(gòu)的一維卷積層提取特征，得到三維輸出向量(2，5，128)，其中128為輸出通道數(shù)；接著，該向量進(jìn)入最大池化層，池化層不改變向量尺寸，得到三維輸出向量(2，5，128)；然后，輸出向量進(jìn)入帶注意機(jī)制的Bi-LSTM層進(jìn)行訓(xùn)練，得到二維輸出向量(2，32)，其中32為正向和逆向2層LSTM拼接的大小；最后，進(jìn)入全連接層得到輸出值，并在LSTM層加入Dropout以防止過(guò)擬合。訓(xùn)練共進(jìn)行10 000個(gè)Epochs，每2 500個(gè)Epochs學(xué)習(xí)率衰減為原來(lái)的0.1倍。

2.2 數(shù)據(jù)獲取及預(yù)處理

煤炭堆場(chǎng)灑水作業(yè)實(shí)驗(yàn)采集了我國(guó)河北黃驊港煤炭轉(zhuǎn)運(yùn)港口煤炭堆存場(chǎng)2020年6～12月和2021年1～4月的煤炭每小時(shí)采樣的含水率數(shù)據(jù)和采樣時(shí)刻的氣象數(shù)據(jù)，每天對(duì)煤炭堆垛進(jìn)行多次人工采樣，每隔1 h采樣1次，每次采樣3組。將采集的煤炭采用烘干法獲取含水率后取3組樣本的平均值作為該時(shí)刻含水率。氣象數(shù)據(jù)取自堆場(chǎng)內(nèi)部分布的距離采樣堆垛最近的氣象監(jiān)測(cè)站，每條氣象數(shù)據(jù)包含溫度、濕度、氣壓、風(fēng)速4項(xiàng)特征。

在獲取到足量數(shù)據(jù)后，將含水率數(shù)據(jù)和氣象數(shù)據(jù)按時(shí)間一致性進(jìn)行整合，并剔除了受降水、作業(yè)等自然或人為因素影響而產(chǎn)生的異常數(shù)據(jù)，保留了4 350條有效數(shù)據(jù)。為便于模型讀取，利用滑動(dòng)窗口的方法對(duì)有效數(shù)據(jù)進(jìn)行序列劃分，共產(chǎn)生2 004個(gè)長(zhǎng)度為5的序列。樣本數(shù)據(jù)包含溫度、空氣濕度、氣壓、風(fēng)速、上一時(shí)刻含水率5項(xiàng)特征，以當(dāng)前時(shí)刻含水率作為標(biāo)簽。其中，上一時(shí)刻含水率即為烘干法獲得的相鄰前一采樣點(diǎn)的煤炭含水率值。最后，將全部序列按照5∶1的比例交叉劃分訓(xùn)練集和測(cè)試集，全年數(shù)據(jù)中的部分訓(xùn)練數(shù)據(jù)集見(jiàn)表1。

表1 全年數(shù)據(jù)中的部分訓(xùn)練數(shù)據(jù)集

全年數(shù)據(jù)集中各變量的統(tǒng)計(jì)分析結(jié)果見(jiàn)表2。

表2 全年數(shù)據(jù)集中各變量的統(tǒng)計(jì)分析結(jié)果

由于數(shù)據(jù)采集的季節(jié)不同，氣象數(shù)據(jù)的變化，尤其是溫度和濕度的變化范圍較大，而煤炭含水率觀測(cè)值在0.9%～27%時(shí)出現(xiàn)了小范圍的波動(dòng)，因此增加了精準(zhǔn)預(yù)測(cè)的難度。

2.3 評(píng)價(jià)指標(biāo)

為了驗(yàn)證和評(píng)估模型的有效性和性能，本文重點(diǎn)考察了以下5個(gè)評(píng)價(jià)指標(biāo)。

(1)均方誤差，見(jiàn)式(6)：

(6)

(2)均方根誤差，見(jiàn)式(7)：

(7)

(3)平均絕對(duì)值誤差，見(jiàn)式(8)：

(8)

(4)擬合優(yōu)度，見(jiàn)式(9)：

(9)

(5)絕對(duì)百分比誤差，見(jiàn)式(10)：

(10)

式中：N——測(cè)試集樣本數(shù)量；

yPred——預(yù)測(cè)值；

y——真實(shí)值；

上述指標(biāo)中，R2方法數(shù)值越接近1，模型的判別度越好。MAE、RMSE、MAE和MAPE的值越接近0，預(yù)測(cè)精度越高。

3 結(jié)果與討論

為了進(jìn)一步考察所提出CNN-Bi-LSTM混合模型的可靠性，選擇了支持向量機(jī)(SVM)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)和筆者提出的CNN-Bi-LSTM模型進(jìn)行對(duì)比分析，并采用相同的訓(xùn)練數(shù)據(jù)集和參數(shù)設(shè)置對(duì)各模型進(jìn)行了訓(xùn)練。訓(xùn)練結(jié)束后，利用同一組測(cè)試數(shù)據(jù)集對(duì)模型進(jìn)行測(cè)試，通過(guò)對(duì)未來(lái)1 h的預(yù)測(cè)值與觀測(cè)值的比較，以評(píng)估各模型對(duì)煤炭含水率的預(yù)測(cè)精度[10]。CNN-Bi-LSTM混合模型與其他模型的預(yù)測(cè)精度比較見(jiàn)表3。

表3 CNN-Bi-LSTM混合模型與其他模型的預(yù)測(cè)精度比較

由表3可以看出，R2和MAE是表征模型性能的主要指標(biāo)，其中R2反映了實(shí)驗(yàn)中回歸預(yù)測(cè)模型整體的擬合度，用于檢測(cè)各預(yù)測(cè)模型對(duì)樣本含水率觀測(cè)值的擬合程度；MAE反映了所有單個(gè)樣本含水率觀測(cè)值與算數(shù)平均值的偏差，用于直觀反映實(shí)際含水率預(yù)測(cè)誤差的大小[11]。相較于SVM、RNN、LSTM、CNN模型，筆者所構(gòu)建的CNN-Bi-LSTM混合模型的R2和MAE分別為0.997 1和0.081 2，明顯優(yōu)于其他模型的性能指標(biāo)，且其MSE、RMSE和MAPE指標(biāo)性能仍優(yōu)于其他模型，分別達(dá)到了0.052 8、0.229 9和1.611 7。

CNN-Bi-LSTM混合模型與其他模型的預(yù)測(cè)值和觀測(cè)值比較如圖2所示。

圖2 CNN-Bi-LSTM混合模型與其他模型的預(yù)測(cè)值和觀測(cè)值比較

由圖2可以看出，隨著模型復(fù)雜程度的提高，模型的擬合能力也有不同程度的提高。與SVM、RNN、LSTM和 CNN相比，CNN-Bi-LSTM混合模型的擬合效果明顯好于上述其他模型，其兼顧C(jī)NN的特征提取能力和LSTM的序列預(yù)測(cè)能力在煤炭含水率預(yù)測(cè)任務(wù)中得到了充分體現(xiàn)。當(dāng)氣象參數(shù)驟變時(shí)會(huì)出現(xiàn)個(gè)別異常點(diǎn)現(xiàn)象，但各預(yù)測(cè)模型的適應(yīng)性差別較明顯，其中SVM泛化性最差，RNN、LSTM和CNN泛化性次之，而CNN-Bi-LSTM泛化性最好。

此外，為了分析比較SVM、RNN、LSTM、CNN和CNN-Bi-LSTM模型預(yù)測(cè)值的絕對(duì)誤差情況，研究分析了以上5種模型的絕對(duì)誤差分布，并對(duì)各模型的MAE分值在每個(gè)子圖中進(jìn)行標(biāo)注。CNN-Bi-LSTM混合模型與其他模型絕對(duì)誤差分析結(jié)果如圖3所示。盡管大部分模型基本都能將絕對(duì)誤差控制在[-2，2]范圍內(nèi)，但從表2可以看出，煤炭含水量的存在范圍只有[0.9，27]，標(biāo)準(zhǔn)差僅為4.57，相對(duì)而言，筆者提出的預(yù)測(cè)模型可以將大部分誤差控制在[-0.5，0.5]范圍，預(yù)測(cè)性能更加優(yōu)越。

圖3 CNN-Bi-LSTM混合模型與其他模型絕對(duì)誤差分析

CNN-Bi-LSTM模型結(jié)構(gòu)保證了神經(jīng)網(wǎng)絡(luò)能夠正確理解序列數(shù)據(jù)并提取關(guān)鍵特征，同時(shí)在結(jié)構(gòu)上抑制了過(guò)擬合問(wèn)題，保證了網(wǎng)絡(luò)對(duì)擾動(dòng)的魯棒性。

將此模型用于實(shí)際生產(chǎn)后，灑水頻率由之前的5～6次/d，降低到2～3次/d；每次灑水量從每次固定60 s，變?yōu)楦鶕?jù)實(shí)時(shí)預(yù)測(cè)含水率來(lái)控制灑水時(shí)長(zhǎng)；通過(guò)對(duì)每個(gè)煤種進(jìn)行單獨(dú)預(yù)測(cè)，對(duì)各煤種不同環(huán)境下的含水率下降因素進(jìn)行獲取，預(yù)測(cè)后按需灑水，提高灑水量精確度。通過(guò)本模型預(yù)測(cè)的灑水量需求為備水、調(diào)水提供依據(jù)，能夠?qū)崿F(xiàn)調(diào)水、備水一體化管控和聯(lián)動(dòng)。

4 結(jié)論

(1)提出一種用于預(yù)測(cè)煤炭含水率的CNN-Bi-LSTM混合模型結(jié)構(gòu)。該模型將殘差結(jié)構(gòu)的一維CNN和基于注意力機(jī)制的Bi-LSTM相結(jié)合，融合CNN特征提取能力和Bi-LSTM的時(shí)間序列特征記憶能力，以CNN提取的樣本特征作為L(zhǎng)STM的輸入序列，訓(xùn)練得到最終的預(yù)測(cè)結(jié)果。

(2)實(shí)驗(yàn)結(jié)果表明，提出的CNN-Bi-LSTM混合模型在預(yù)測(cè)精度和收斂率上均優(yōu)于常見(jiàn)的回歸預(yù)測(cè)模型，所有評(píng)估指標(biāo)得分均優(yōu)于其他模型，在煤炭堆垛表層煤炭含水率預(yù)測(cè)方面取得了優(yōu)異的性能，預(yù)測(cè)模型具有泛化能力強(qiáng)、收斂速度快、尋優(yōu)精度高的特點(diǎn)。

(3)所提出的煤炭堆垛含水率預(yù)測(cè)方法，對(duì)優(yōu)化儲(chǔ)運(yùn)煤管控決策、實(shí)現(xiàn)儲(chǔ)運(yùn)煤智能化發(fā)展提供重要的理論參考。在保證模型預(yù)測(cè)精準(zhǔn)度的前提下，解決了傳統(tǒng)監(jiān)測(cè)模式存在含水率獲取時(shí)間長(zhǎng)、檢測(cè)精度低和難以動(dòng)態(tài)監(jiān)測(cè)等3個(gè)典型問(wèn)題。

(4)使用基于筆者提出的含水率預(yù)測(cè)方法建立的灑水管控模型后，煤炭堆場(chǎng)降低了用水量，提升了港口經(jīng)濟(jì)效益，減少了煤炭堆場(chǎng)起塵概率，環(huán)境狀況得到了改善。