寬窄帶融合下基于RNN-LSTM網絡的溫度預測

楊欽榕，陳萬培，高 紳，張 濤,韓 恒

(揚州大學 信息工程學院，江蘇 揚州 225009)

0 引言

現如今，物聯網在線監測技術[1]在高壓輸電線路中的應用愈發廣泛，線路的溫度等參數在終端即可顯現，告別了傳統的人力巡線，給輸電線路的運維管理帶來了諸多的便利。隨著應用的愈發深入，傳感器掉線、數據異常等問題接踵而至，如何對運行線路進行溫度預測、保證測溫系統的平穩運行便成為了亟待解決的問題。測溫系統在監測過程中會得到許多關聯的數據，現階段對這些數據主要應用就是查看與查詢，沒有做到對數據的多方面應用。如何利用好這些海量數據，通過對數據進行分析與研判，對系統運行過程中出現的故障進行診斷，已成為當下研究的熱點。

現階段，溫度預測的方法大概可分為傳統的手動分析數據并提取特征的方法和人工智能網絡模型預測法。文獻[2]在介紹變電站測溫系統的基礎上構建系統模型，從紅外理論角度出發，得到時間上存在關系的數據，針對不同的影響因素提出相應改進措施。文獻[3]中，羅會蘭等學者對當前較流行的神經網絡識別行為方法進行了整體的概括，著重介紹了傳統的手動提取行為特征的方法，并對手動提取特征的步驟及優缺點進行了論述。王祥民等研究人員提出了一種動態主元分析與超限學習機相結合的方法來預測分解爐出口處的溫度。通過提取主元實現降維，并將其作為超限學習機的輸入，調整超限學習機的參數，搭建溫度預測模型[4]。

然而隨著應用場景的多元化、監測系統的復雜化，很難建立一個數學模型應用到特定的場景中，因此傳統的特征提取方法不再是建立溫度預測模型的首選。在面對復雜場景下的溫度預測時，日趨火爆的以大數據為基礎的人工智能優化方法逐漸受到研究者的青睞。

Shang等研究人員在文獻[5]中聚焦電極間間隙不均勻的電解加工問題，分析工件、電解液和陰極等參數對加工精度影響后，提出構造BP神經網絡，采用Levenberg Marquadt (LM)算法對該網絡進行訓練。實驗表明，BP神經網絡可實現對陽極精度的精準預測。

然而，BP神經網絡對網絡初始權重較為敏感，不同初始權重會導致收斂于不同的網絡極小，在每次訓練時出現不同的結果。同時BP神經網絡具有收斂速度慢、訓練數據能力和網絡預測能力矛盾等缺點，在輸電線路溫度的預測方面不是最優選擇。

文獻[6]提出了利用循環神經網絡檢測網絡入侵的方法，將有門控單元的循環網絡與多層感知器結合起來，自動篩選有效特征。實驗表明,提出的系統使用雙向門控循環單元和多層感知器時,總體檢測率最高達到了99.42%和99.24%,誤報率分別低至0.05%和0.84%,與同類研究相比有更優的性能。而自從長短期記憶神經網絡[7](Long Short-Term Memory，LSTM)的邏輯門結構獲得認可以來，陸續出現了多種LSTM的變體，如有窺視孔連接的LSTM[8]、門遞歸單元(GRU)[9]等。LSTM神經網絡是處理時間序列數據的一種方法,通過學習歷史數據,可以找出數據之間的關系以及發現其中的內在規律。

本文將對高壓輸電線路的數據傳輸頻帶進行統一，采用融合后的頻帶進行傳輸，收集運行線路上的溫度數據，并構建RNN-LSTM網絡提取數據特征并做出溫度預測。實驗數據表明，這種預測方法準確率高，可為系統后臺管理提供可靠的依據。

1 寬窄帶融合

由第三地合伙人計劃(The 3rd Generation Partnership Project，3GPP)組織制定的通用移動通信系統技術標準的長期演進的LTE[10](Long Time Evolution)，在數據傳輸速度、單次數據傳輸量等方面有著顯著的優勢，已成為寬帶通信網絡的技術標準。而窄帶網絡的當前技術標準則是數字移動通信系統[11](Digital Mobile Radio,DMR)，此種通信網絡單次傳輸數據量較小，但資源浪費率較低。LTE與DMR在單次數據傳輸量、數據傳輸速度等方面存在較大差異，可能出現延時、帶寬浪費等問題。

寬帶的通用標準LTE堆棧層面由下到上依次分為物理層(PHY)、數據鏈路層(DLL)和網絡層，其中數據鏈路層又可以細分為媒體訪問層(MAC)、數據鏈路層(RLL)和分組數據匯聚協議層(PDCP)。而窄帶的通用標準DMR，設有呼叫控制層(CCL)、DLL和PHY。窄帶與寬帶相比，層次更少，空口技術[12]差別明顯，物理層對應的加密方式、調制方式以及鏈路層對應的幀長等數據形式都存在明顯不同。結構上的不同導致寬帶與窄帶有很多關鍵技術上的差別。具體差別如表1所示。

表1 LTE與DMR的關鍵技術對比

為此，可在鏈路層和物理層之間加入通用數據管理層(General Data Management，GDM)，所有數據匯集到這一層，再由通用數據管理層對數據進行統一的分配，使傳輸數據量與融合后的帶寬恰好匹配。融合后的架構圖如圖1所示。

圖1中，來自不同傳感器的數據先匯集到GDM，由GDM根據帶寬大小，將一定量的數據平均分配到每個子網絡中進行傳輸。融合后的傳輸速率表示如下：

(1)

(2)

式中，j為接入技術(窄帶或寬帶)；i為業務；Sij為信道轉移函數；Nij為噪聲功率譜密度；bij為采用接入技術j所得的帶寬大小；Pij為采用接入技術j處理業務i的發射功率；βj為系統效率[13]；Ri為香農容量。

圖1 寬窄帶融合架構Fig.1 Diagram of wide and narrow band fusion architecture

2 循環神經網絡

循環神經網絡(Recurrent Neural Network,RNN)是一種基于序列數據的遞歸神經網絡，這種網絡包含的循環結構，可以將上一時刻的數據傳遞至下一時刻，并作用于下一時刻。在傳統RNN中，數據往往由頂層傳輸至底層，層與層之間的神經元以全連接的方式相連。典型RNN的結構與神經網絡一樣，由輸入層、隱含層和輸出層組成[14]。而與傳統RNN不同的是，典型RNN的隱藏層的輸出與上一隱藏層的輸出有關，即將先前時刻的信息與當前時刻的任務聯系到一起，大大提高了數據特征的學習能力。典型RNN結構如圖2所示。

在圖2中，A代表循環體。激活函數tanh的導數在(0，1]上，與Relu及Sigmoid等其他激活函數比，不容易產生梯度消失，因此在構造RNN時，一般選用tanh作為激活函數。

圖2 RNN結構Fig.2 Structure of RNN

3 長短期記憶神經網絡

長短期記憶神經網絡(Long Short TimeMemory,LSTM)是一種特殊的循環神經網絡，較一般的循環神經網絡比，LSTM有效地解決了循環神經網絡存在的長期依賴問題。LSTM通過引入自循環的設計來產生梯度長路徑[15]，每迭代一次，自循環的權重也隨之改變，通過加入3個門：遺忘門、輸入門及輸出門，這種獨特的結構使得誤差在傳播過程中無需逐層歸因，部分誤差可直接傳遞給下一層網絡，可有效地解決梯度消失這一問題。其基本網絡架構如圖3所示。

圖3 LSTM結構Fig.3 Structure of LSTM

4 新構造網絡

通過對RNN網絡和LSTM網絡的分析，本文提出了一種用于高壓輸電線路溫度預測的RNN-LSTM網絡。與單獨RNN網絡一樣，RNN-LSTM網絡同樣選擇tanh作為激活函數，確保不產生梯度消失。RNN網絡提取到數據特征后，在隱含層有時序性地訓練一定的次數，t時刻的輸出作為t+1時刻的輸入，再將RNN網絡的輸出作為LSTM網絡的輸入。在LSTM網絡中，通過在三大門限單元中設置不同的權重和偏置，在遺忘門和輸入門分別對數據進行篩選和更新的處理后，最后通過輸出門輸出。RNN-LSTM結構如圖4所示。

圖4 RNN-LSTM結構Fig.4 Structure of RNN-LSTM

本文中，RNN及LSTM網絡的相關參數設置如表2所示。

表2 RNN和LSTM網絡的參數設置

RNN-LSTM混合網絡模型的算法顯示如下：

輸入：訓練集[Xtrain，Ytrain]，測試集Xtest

步驟：

1.將訓練集中的數據平均劃分為5組；

2.提取每組數據中的RNN特征[Xitrain,Yitrain]；

3.提取每組數據中的LSTM特征[Xitrain,Yitrain]；

4.根據訓練數據，計算下一時刻的溫度值來測試[Xitest,Yitest]；

結束

返回數據

輸出：經網絡模型訓練后的溫度值

5 數據分析

在終端收集寬窄帶融合后傳輸來的數據，將數據按照線路號碼歸類，保留來自5條不同線路上100天的溫度值，每條線路共14 400個數據。各組數據的訓練集和測試集大小如表3所示。

表3 各條線路的訓練集與測試集數據量

以3#線路為例，將數據導入Python軟件，對數據進行特征提取，并對線路溫度做出預測，得出如圖5所示的結果。

圖5 3#線路溫度走勢預測Fig.5 No.3 line temperature trend prediction chart

通過構造出的RNN-LSTM網絡對5條線路的數據分別訓練50次，運用均方誤差和平均絕對誤差來衡量所構造網絡預測的準確率。RNN-LSTM網絡的預測結果如表4所示。

表4 RNN-LSTM網絡預測準確率評估

本文基于RNN和LSTM網絡，構造了新的RNN-LSTM網絡，在此總結了RNN、LSTM和RNN-LSTM網絡分別應用于數據集時的數據預測結果。實驗結果表明，運用RNN-LSTM網絡對輸電線路溫度進行預測的準確性最高，同時訓練時間較短。具體數據如表5所示。

表5 網絡預測準確率和訓練時間

6 結束語

通過對RNN網絡和LSTM網絡的分析，提出了構造RNN-LSTM網絡來進行溫度預測的方法。該網絡與RNN網絡相比，預測準確率提高了近3%，比LSTM網絡的預測準確率高約5.5%，為提前了解高壓輸電線路上的溫度狀況提供了更可靠的依據。但該網絡在提高預測準確率的同時，訓練時間也隨之有所增加，構建提高預測準確率也能降低訓練時間的網絡，有待后續進一步研究。