基于注意力機制的混合CNN-BiLSTM低軌衛(wèi)星信道預測算法

唐一強, 楊霄鵬, 朱圣銘

(空軍工程大學信息與導航學院, 陜西 西安 710077)

0 引 言

低軌道衛(wèi)星通信系統(tǒng)作為地面通信的補充和延伸,擁有通信范圍廣、受地形影響小等特點。但是對于長距離的衛(wèi)星通信鏈路,信道質(zhì)量將會受到自由空間的傳播損耗、大氣中氧分子、水蒸氣分子等氣體分子的吸收損耗,極端情況下更有云、霧、雨、雪等不良環(huán)境條件引起的嚴重衰落[1-2]。在低頻段的傳輸鏈路中,雨滴造成的影響較小,可以通過預留一些鏈路余量解決通信需求;但在高頻段傳輸鏈路中,如Ka和Q/V頻段,雨滴將會產(chǎn)生強大的吸收、散射、閃爍和去極化效應[3-4],造成的影響將嚴重制約通信質(zhì)量。據(jù)統(tǒng)計,降雨所造成的年平均衰減值能達到20 dB以上。為提高鏈路質(zhì)量,傳統(tǒng)的解決辦法是在鏈路預算時將最大鏈路衰減考慮進去,通過增大發(fā)射功率的方式減小衰減的影響。但這卻忽視了衛(wèi)星信道受天氣時變的影響,在天氣條件好的時候,根據(jù)鏈路最壞狀態(tài)下確定的模式將會造成大量資源的浪費[5]。由此,研究人員提出了鏈路自適應(link adaptive, LA)傳輸技術,對信道狀態(tài)信息(channel state information, CSI)進行實時反饋,調(diào)整發(fā)射端的功率和頻率策略,自適應地改變發(fā)射參數(shù),提高衛(wèi)星通信系統(tǒng)傳輸效率[6]。

衛(wèi)星信道固有的傳輸延遲引起的信息“不及時”的問題,極大地制約了自適應技術的發(fā)展。如何獲得更加準確的衛(wèi)星信道信息是實現(xiàn)衛(wèi)星傳輸效率提升的基礎。為解決信道質(zhì)量指數(shù)“過時”的問題,必須對衛(wèi)星信道進行超前預測[7],以獲得更精確的信道傳輸參數(shù)發(fā)射通信信號。信道預測的研究方向大體上可以分為兩類。一類是線性預測方法,其主要思想是以線性組合的方式將當前時刻和過去時刻的信道結合起來[8],達到預測未來時刻信道信息的目的。典型的應用是基于自回歸(auto regressive, AR)模型的預測方法[9]。在這個方法中,常用Yule-Walker和Burg等方法表示多個信息狀態(tài)采樣值的權值,再使用加權和表示預測值。鄭添月等[10]提出了一種改進的卡爾曼濾波的AR預測算法,對多輸入多輸出(multiple input multiple output, MIMO)信道在角度時延域進行預測,仿真結果表明該方法在噪聲環(huán)境中優(yōu)于傳統(tǒng)模型。趙旦峰等[11]提出了一種研究衰落信號的自適應長期預測機制(adaptive long-range prediction,ALRP),在信道理論值上添加歸一化加權和自回歸模型思想,用最小化均方自適應跟蹤方法更新系數(shù)的方式來預測信道狀態(tài)和衰落信號。結果表明,該機制能實現(xiàn)有效的預測,具有復雜度低和實時性的特點。雖然線性預測方法在慢時變信道中擁有較好的預測性能,但是其不適用于低軌衛(wèi)星高動態(tài)性的通信環(huán)境。

另一類是非線性預測方法,典型的預測方法有深度學習和支持向量機(support vector machine, SVM)的方法。文獻[12]以Loo模型為基礎,提出一種基于深度卷積神經(jīng)網(wǎng)絡的信道感知模型,仿真表明該模型無論在信噪比估計還是信道預測中都有較好的表現(xiàn),但是該方法為了避免過擬合的問題隨機置零部分權重,預測精確度不能得到保證。文獻[13]選用長短時記憶(long-short term memory, LSTM)快速擬合短波快/慢變化特征,利用多層神經(jīng)網(wǎng)絡對歷史經(jīng)驗數(shù)據(jù)進行分析和預測,但是單次訓練的預測網(wǎng)絡模型不適用于長期數(shù)據(jù)的規(guī)律變化,另外由于存在信噪比估計誤差,在持續(xù)預測過程中將會產(chǎn)生累積誤差,導致預測精度越來越低。文獻[14]針對高速移動信道條件下的正交頻分復用(orthogonal frequency division multiplexing, OFDM)系統(tǒng),利用反向傳播(back-propagation, BP)神經(jīng)網(wǎng)絡進行預訓練、再訓練和線上預測完成時變信道的預測。該方法采用隨機初始化方式訓練網(wǎng)絡,沒有將初始參數(shù)對預測性能的影響考慮在內(nèi),預測精度需要重新考量。同時,BP算法存在泛化能力不強、學習速度較慢以及局部最優(yōu)等缺陷。文獻[15]利用回聲狀態(tài)網(wǎng)絡(echo state network, ESN)在時間序列上預測及非線性建模,具有良好的非線性逼近能力。但是由于該方法的權重矩陣初始化是隨機的,并且無法對權重矩陣更新,因此具有較低的信道預測精度。文獻[16]在高速鐵路通信背景下給出了一種基于SVM的信道預測方法,利用遺傳算法優(yōu)化懲罰系數(shù)和高斯核寬度,可以獲得較高的預測精度。但是,該方法是低緯度空間向高緯度空間的映射,算法復雜度高。

為解決上述問題,本文提出一種混合型神經(jīng)網(wǎng)絡預測方式,在注意力機制的作用下,高效地分配權重值,應對衛(wèi)星信道的長期變化。仿真結果表明,在模擬的低軌道衛(wèi)星通信環(huán)境中,基于注意力機制的卷積神經(jīng)和雙向LSTM神經(jīng)網(wǎng)絡(attention-convolutional neural network and bi-directional LSTM neural network, AT-CNN-BiLSTM)融合算法能夠有效地適應變化的信道環(huán)境,預測準確率高于CNN-BiLSTM方法的86.2%、SVM方法的81.7%、AT-BiLSTM方法的76.1%和AT-CNN方法的72.5%,大約為91.8%,由此可見本文所提出的方法可以達到較高的預測精度。

1 系統(tǒng)模型

本文提出了一種基于注意力機制的混合CNN-BiLSTM系統(tǒng)模型,如圖1所示。該模型由CNN網(wǎng)絡、BiLSTM網(wǎng)絡、融合層和全連接層4部分構成。該模型的主要思路為:在通道1中,利用BiLSTM網(wǎng)絡進行雙向全局時間特征的充分提取;同時,在通道2中,利用一維卷積神經(jīng)網(wǎng)絡(one-dimensional convolutional neural network, 1DCNN)對時序信號沿時間軸正方向進行局部非相關性特征的提取,以獲得更多的時間特征,并在注意力機制的作用下合理地選擇分配權重;然后將通道1和通道2的數(shù)據(jù)特征進行融合,實現(xiàn)特征合并;最后通過全連接層(full connected layer, FC)進行回歸層預測。通道中引入Dropout層的目的在于防止模型出現(xiàn)過擬合,引入批歸一化的目的在于提高模型收斂速度,實現(xiàn)較低的訓練時間。

圖1 混合CNN-BiLSTM系統(tǒng)模型

低軌道衛(wèi)星信道預測的目的在于提供及時的信道狀態(tài)信息反饋,提高自適應傳輸?shù)哪芰ΑＴOxt是在當前時刻t衛(wèi)星終端所觀測到的信號值。在當前時刻t,終端的任務根據(jù)給定的歷史數(shù)據(jù){xt}(t=τ-nΔ,…,τ-Δ,τ),預測時間間隔t+hΔ的衛(wèi)星信道信號。在本文中,設采樣間隔Δ=0.1 s,n=1 500,0≤h≤150,即過去150 s的歷史數(shù)據(jù)可以用來預測未來15 s后的信道。由于衛(wèi)星信道參數(shù)是隨機且非線性的,因此一個好的信道模型應能夠捕捉這些特征,特征學習是建立高效的預測模型的基礎。衛(wèi)星信道的預測特征表現(xiàn)為強烈的時間序列相關性,即以往時間的信道信號值嚴重影響到預測的性能。

設ft表示觀測位置在時刻t的精確信號值,觀測位置自時間t-nΔ到t的信號采樣可以表示為xt=[ft-n,ft-(n-1),…,ft]T。在后續(xù)文中為便于描述,省略本文中的符號Δ,將t-nΔ表述為t-n。

2 低軌道衛(wèi)星信道預測網(wǎng)絡

2.1 CNN-BiLSTM

該模塊是整個模型的核心部分,由1DCNN和BiLSTM網(wǎng)絡組成,其輸入是一個時間信號矩陣xt。卷積神經(jīng)網(wǎng)絡依據(jù)局部連接和權值共享的方式利用一維卷積核濾波器進行卷積、池化和特征提取。卷積層運算過程表示如下:

Ft=σ(Ws*xt+bs)

(1)

式中:σ表示激活函數(shù);Ws表示濾波器的權重;*表示卷積運算;bs表示偏置。

為解決前一時刻的輸入對后一時刻產(chǎn)生影響的時間序列問題,Pineda[17]設計出了循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network, RNN)。該網(wǎng)絡是一種依據(jù)時間序列連接的神經(jīng)網(wǎng)絡,各節(jié)點之間連接形成一個有向圖,非常適用于具有一定相關性的相鄰數(shù)據(jù)的處理。但是RNN有一個嚴重的缺陷,即當輸入的數(shù)據(jù)和求解輸出的時間過長時,信息之間的相關性會降低,無法對之后的輸出產(chǎn)生影響,由此帶來歷史信息丟失造成誤判,即帶來長時依賴時問題。為解決這個問題,Hochreiter等[18]在1997年提出改進型神經(jīng)網(wǎng)絡——LSTM網(wǎng)絡,其結構如圖2所示。

圖2 LTSM神經(jīng)網(wǎng)絡結構示意圖

新設計的神經(jīng)網(wǎng)絡由輸入門、輸出門和遺忘門3個乘法結構組成。LSTM使用遺忘門來確定在當前單元狀態(tài)下保留了先前單元狀態(tài)的多少信息,并使用輸入門來決定在當前單元狀態(tài)下需要保存輸入的多少信息。LSTM的一次更新過程如下:

(2)

it=σ(Wxi·xt+Whi·ht-1+Wci·ct-1+bi)

(3)

ft=σ(Wxf·xt+Whf·ht-1+Wcf·ct-1+bf)

(4)

(5)

ot=σ(Wxo·xt+Who·ht-1+Wco·ct-1+bo)

(6)

ht=ot*tanh(ct)

(7)

yt=Wyh·ht+by

(8)

雙向傳播長短時記憶神經(jīng)網(wǎng)絡如圖3所示,通過LSTM的隱藏層達到正向和反向兩個方向的計算,通過雙向LSTM神經(jīng)網(wǎng)絡可以獲得更多的數(shù)據(jù)特征。BiLSTM更新過程如下:

圖3 BiLSTM結構示意圖

h+=LSTM+(ht-1,xt)

(9)

h-=LSTM-(ht+1,xt)

(10)

(11)

2.2 注意力機制

在認知神經(jīng)科學領域中,面對信息處理的瓶頸,人類選擇性地關注信息中的某一部分,忽略其他可見的不太重要的信息。人類視網(wǎng)膜具有不同程度的信息處理能力,即敏銳度,只有視網(wǎng)膜中央才具有最強的敏銳度。這樣的目的在于更加合理地利用有限的資源處理信息。同理,注意力機制就是為解決信息超載問題的一種合理資源分配方案[19],將計算任務分配給相對更加重要的任務。

文獻[20]的神經(jīng)網(wǎng)絡引入了一種注意力機制,通過對數(shù)據(jù)時間片段分配不同的權重,使信息更有效地編碼。在本文的預測下,不同時刻數(shù)據(jù)提供的信息對預測結果的精度影響程度不盡相同。但是,傳統(tǒng)的神經(jīng)網(wǎng)絡不能檢測對信號值序列的重要程度進行鑒別。由此,本文對CNN-LSTM網(wǎng)絡進行改進,引入注意力機制自動對不同時刻歷史數(shù)據(jù)片段的重要程度進行鑒別。本文所使用的注意力機制如圖4所示。

圖4 注意力機制模型

在該模型中,加權總和輸出為

(12)

式中:n+1表示時間序列的長度;βk是注意力權值,其計算式如下:

(13)

其中，sk表示信號序列各部分的重要程度,其計算式如下:

(14)

2.3 融合層與全連接層

雙通道提取到的特征在經(jīng)過融合層之后,就可以得到衛(wèi)星信號的全部特征。在融合層中,模型采用Regression回歸的到樣本特征向量輸入全連接層:

(15)

全連接層一般由兩個部分組成:線性部分和非線性部分,如圖5所示。

圖5 FC模型

由于本文涉及到的低軌道衛(wèi)星通信并不是簡單的一個線性的對應關系,為了更準確擬合真實的場景,所以引入了非線性變化,例如sigmod函數(shù)等。

xp=g(Wxy*y+b)

(16)

3 參數(shù)優(yōu)化與算法流程

3.1 神經(jīng)網(wǎng)絡的參數(shù)優(yōu)化

基于AT-CNN-BiLSTM的衛(wèi)星信道預測算法的優(yōu)化過程是尋找一組參數(shù),使得預測誤差達到最小。本文中,假設樣本量為n,衛(wèi)星信道預測模型的交叉熵代價損失函數(shù)可表示為

(17)

式中:a表示期望輸出;xp表示實際輸出。結合梯度下降的Adam優(yōu)化算法進行權重參數(shù)矩陣W的更新。

(18)

式中:η是神經(jīng)網(wǎng)絡的學習率;mt和vt分別是當前時刻的參數(shù)梯度的一階和二階動量,初始均為0。mt和vt可表示為

mt=β1·mt-1+(1-β1)gt

(19)

(20)

(21)

式中:β1和β2分別是Adam的一階和二階動量調(diào)節(jié)參數(shù),初始均為0。

結合上述分析過程,CNN-BiLSTM網(wǎng)絡的衛(wèi)星信道預測算法參數(shù)的優(yōu)化步驟如下所示。

步驟 1將基站通信歷史監(jiān)測的信道數(shù)據(jù)xt代入式(1)和式(9)～式(11),再通過特征融合層和FC獲得整個網(wǎng)絡的輸出xp。

步驟 2通過式(17)～式(21)計算網(wǎng)絡誤差,將誤差利用反向傳播至各神經(jīng)元。

步驟 3神經(jīng)元利用誤差項根據(jù)優(yōu)化算法更新參數(shù)。

步驟 4設置迭代次數(shù),循環(huán)步驟1～步驟3,直到參數(shù)不再變化,結束優(yōu)化。

3.2 算法預測流程

依據(jù)前文中所分析的網(wǎng)絡結構及參數(shù)優(yōu)化步驟,信道預測的實現(xiàn)步驟如下。

步驟 1在模擬衛(wèi)星信道的條件下獲得信道數(shù)據(jù),以間隔Δ均勻采樣,得到樣本數(shù)據(jù)為xt={xτ-n,xτ-(n-1),…,xτ},n是樣本個數(shù)。

步驟 2構造數(shù)據(jù)集。為方便神經(jīng)網(wǎng)絡進行訓練,將xt分為實部和虛部兩部分。其中,實部數(shù)據(jù)和虛部數(shù)據(jù)分別為Re(xt)={Re(xτ-n),Re(xτ-(n-1)),…,Re(xτ)}和Im(xt)={Im(xτ-n),Im(xτ-(n-1)),…,Im(xτ)}。本文將數(shù)據(jù)集劃分為訓練和測試兩個部分,將其設置為9∶1的比例。

步驟 3進行模型的訓練,將訓練數(shù)據(jù)集輸入。以實部數(shù)據(jù)集為例,輸入Re(xt)={Re(xτ-n),Re(xτ-(n-1)),…,Re(xτ)},在注意力機制的權重分配下,經(jīng)過CNN-BiLSTM混合網(wǎng)絡、融合層和全連接層輸出結果xp。采用交叉熵代價損失函數(shù)損失函數(shù)計算誤差,利用Adam優(yōu)化算法對參數(shù)進行更新優(yōu)化。同理,虛部數(shù)據(jù)集經(jīng)過同樣的流程實現(xiàn)網(wǎng)絡參數(shù)的調(diào)優(yōu)。

步驟 4進行模型的預測,在網(wǎng)絡中載入訓練好的算法模型參數(shù),以測試數(shù)據(jù)集為初始化數(shù)據(jù),對預測結果進行檢驗,得到網(wǎng)絡模型預測輸出，預測流程如圖6所示。

圖6 混合CNN-BiLSTM神經(jīng)網(wǎng)絡信道預測流程圖

4 實驗結果與性能評估

為了驗證本文所提算法的預測性能,本節(jié)選取低軌道衛(wèi)星信道的信號沖擊響應,以“抽樣”的方式獲得歷史時刻數(shù)據(jù)信息,再按照9∶1劃分為訓練集和測試集。在數(shù)據(jù)集基礎上,建立基于注意力機制的混合CNN-BiLSTM網(wǎng)絡的低軌道衛(wèi)星信道預測算法,對算法性能進行仿真驗證。此外,本文對比分析了不含注意力機制的CNN-BiLSTM網(wǎng)絡、基于注意力機制的BiLSTM單層網(wǎng)絡、基于注意力機制的CNN單層網(wǎng)絡和基于SVM網(wǎng)絡算法的預測性能。本文實驗仿真基于英特爾酷睿i7-8700CPU的Windows 1064位操作系統(tǒng)的工作站,編程軟件選擇python 3.7.0和Matlab 2019b。

4.1 數(shù)據(jù)描述及參數(shù)設置

室外衛(wèi)星信道的特點可以用由多普勒譜來描述,仿真中采用通過濾波后的高斯白噪聲(filtered white Gaussian noise, FWGN)模型來描述衛(wèi)星信號。其中，Jakes模型是通過復正弦波的合成,假設均勻方向到達的所有散射分量的射線近似為N個平面波,產(chǎn)生瑞利衰落信道模型[21]。在Jakes模型中,信道的實部和虛部是統(tǒng)計獨立的。在文獻[21]中,Jakes模型的最終復輸出表示如下:

(22)

式中:E0為衰落信道的總幅度;N0表示多普勒頻移的正弦數(shù)目,本文中將其設為8。通過Matlab仿真得到Jakes模型下的信號如圖7所示。信道模型多普勒頻率為0.926 kHz,采樣周期為0.1 s。

圖7 Jakes模型衛(wèi)星信號仿真圖

結合文獻[7-9]參數(shù)設置,本文的參數(shù)值如表1所示。

表1 仿真參數(shù)

4.2 預測結果與分析

4.2.1 仿真預測

在輸入測試數(shù)據(jù)集后進行仿真得到如圖8所示的衛(wèi)星信道預測圖,其中圖8(a)～圖8(e)分別表示AT-CNN-BiLSTM、CNN-BiLSTM、SVM、AT-BiLSTM和AT-CNN仿真。從仿真圖中可以明顯看出，本文所提出的混合AT-CNN-BiLSTM所預測的信道幅值更接近衛(wèi)星原始數(shù)據(jù),另外4種方法都出現(xiàn)不同程度的偏離,以AT-BiLSTM和AT-CNN偏離最為嚴重。SVM的預測誤差較大,這是因為SVM利用內(nèi)核函數(shù)將大量不確定的時間數(shù)據(jù)映射到高維空間,不能充分利用數(shù)據(jù)特征進行預測,導致預測性能較差。從圖8中曲線突變的位置可看出,仿真預測都難以實現(xiàn)準確的跟蹤,均出現(xiàn)較大的失真。僅使用單一網(wǎng)絡的CNN和BiLSTM因不能對數(shù)據(jù)特征進行充分的提取,導致預測效果最差,無法達到預測結果的要求。本文的算法失真較小,這主要是因為本文引入了注意力機制,能夠在不同時刻對每個時間序列分配不同程度的權重以提高預測性能。更具體地說,在注意力權重的合理分配下,CNN-BiLSTM模型捕獲前向和后向兩個方向的特征,將整體和局部流數(shù)據(jù)特征一起處理,更加全面地提取特征,實現(xiàn)更精準地預測。

圖8 不同預測方法的仿真預測圖

4.2.2 性能評估

為了評估仿真模型的性能,本文使用了3個常用于評估預測性能的指標:平均絕對誤差(mean absolute error, MAE)、平均絕對百分比誤差(mean absoulute percentage error, MAPE)和均方誤差(mean square error, MSE),計算公式如下:

(23)

(24)

(25)

式中:xt是實際值;xp是本文模型預測值。

表2展示了時間軸上155 s、160 s、165 s時刻,上述3個性能指標的具體值。從表2中可以看出，在較短時間內(nèi)5種模型的性能均較高,但是預測時間越長,性能下降越嚴重。從總體上來看,本文的AT-CNN-BiLSTM無論是短期還是長期均可實現(xiàn)較高的預測水平。

表2 不同方法的預測性能

為直觀化訓練過程中的預測性能,本文挑選了5個節(jié)點觀測訓練值,如圖9所示,分別是MAE、MAPE和MSE的柱狀圖,總體上均是隨著時間的推移呈現(xiàn)上升趨勢,即預測精度在下降。

圖9 不同預測方法的性能指標柱狀圖

4.2.3 收斂性分析

在前面數(shù)據(jù)的基礎上,本節(jié)分析了訓練過程中迭代次數(shù)與預測準確率的關系,如圖10所示。5種預測方法錯誤率均隨著迭代次數(shù)的增加而降低,在迭代次數(shù)小于10的情況下,本文方法收斂速度滯后于另外4種方法,這主要是因為本文結合了注意力機制和混合型的CNN-BiLSTM網(wǎng)絡,網(wǎng)絡復雜度有了一定的提升,導致收斂速度較慢。SVM方法是低緯度空間向高緯度空間的映射,導致預測過程具有更大的復雜性,因而在與本文之外的其他3種方法對比中收斂更慢。CNN擁有較高的局部特征提取速度,換來的代價是CNN預測精度低于BiLSTM方法。再結合注意力機制后,預測精度得以提升。

圖10 不同預測方法的錯誤率變化曲線

本文的方法在迭代次數(shù)為18時網(wǎng)絡趨于穩(wěn)定,而另外的4種方法在迭代次數(shù)為14時就基本穩(wěn)定。但是本文的預測準確率高于另外4種方法的86.2%、81.7%、76.1%和72.5%,大約為91.8%。相較另外4種方法,本文的方法分別提升了5.6%、10.1%、15.7%和19.3%。

5 結 論

本文針對低軌道衛(wèi)星信道指數(shù)“過時”的問題,從衛(wèi)星信號預測的角度出發(fā),結合深度學習的方法對低軌道衛(wèi)星的信號進行預測。將CNN和BiLSTM網(wǎng)絡融合,結合注意力機制形成混合AT-CNN-BiLSTM衛(wèi)星預測網(wǎng)絡,對比分析了CNN-BiLSTM網(wǎng)絡、SVM網(wǎng)絡、AT-BiLSTM網(wǎng)絡和AT-CNN網(wǎng)絡。從仿真預測圖形上分析了5種方法的性能,結果表明本文所提出的方法能夠在較低的迭代次數(shù)下達到比較高的預測精度。因此本文所提出的預測方法能夠在低軌衛(wèi)星通信的過程中為信道參數(shù)的調(diào)整提供依據(jù),改善通信質(zhì)量,節(jié)省資源開支,有助于衛(wèi)星通信的高效管理。