基于深度學習的Turbo 碼譯碼研究

朱進蓉,茍明亮,秦明偉

(1.西南科技大學信息工程學院,四川 綿陽 621000;2.西南科技大學四川省重點機器人實驗室,四川 綿陽 621000)

0 引言

1993 年,C.Berrou、A.Glavieux 等提出了Turbo 碼。迭代思想作為Turbo 碼的重要特點也得到越來越多的研究。

例如,Semi 通過設定門限值,提出了Threshold_Log_MAP 算法。該算法雖然在很大程度上減少了譯碼算法的復雜度,但是在性能上損失了大概零點幾分貝[1]。Jaeyong Son 等設計了一種低復雜度的分組Turbo 碼(block Turbo codes,BTCs)譯碼算法。BTCs 譯碼算法是通過串行串聯線性塊碼構造的,并通過讓每個分量代碼分兩步解碼來迭代解碼[2]。Al-Dweik 等提出了一種新型Turbo 低復雜度譯碼器——超輕譯碼器。與標準的Turbo 乘積碼(Turbo product codes,TPCs)譯碼器相比,超輕譯碼器降低了復雜性并減少了延遲。降低復雜度和延遲將使得系統能夠使用具有高碼率的代碼來提高頻譜效率,或者能夠使用具有低碼率的強大代碼來降低發射功率[3]。此外,H.Nickl 設計了一種以漢明碼為分量碼,并將其作為Turbo 碼的編碼方案。它的性能與香農理論值僅相差0.27 dB。但是,這些方法還存在很大的局限性,僅通過改進Turbo 碼的編譯碼性能來提高準確度是不夠的。

隨著深度學習的高速發展,很多學者嘗試將深度學習的方法應用到通信領域。Cammerer 等利用神經網絡輔助組件取代了一些置信度傳播(belief propagation,BP) 譯碼器的子塊,并通過剩余 BP 階段耦合這些子塊[4]。王翼韜試圖在Turbo 碼現有的譯碼算法中引入隱藏參數,通過神經網絡對隱藏參數進行訓練,并利用神經網絡對Turbo 碼作并行譯碼的可行性分析[5]。

信道編碼中的大多數結果都是基于加性高斯白噪聲假設完成的,但是該假設在通信應用的實際環境中卻無法滿足。研究表明,實際通信環境的噪聲符合非高斯分布。而深度學習模型能夠學習復雜的數據類別和特征。因此,本設計主要研究基于卷積神經譯碼網絡的Turbo 碼譯碼,以提高Turbo 碼在非加性高斯白噪聲(additive white Gaussian noise,AWGN)信道上對突發環境的適用性。

1 系統模型

基于神經網絡的信道譯碼模型如圖1 所示。

圖1 基于神經網絡的信道譯碼模型Fig.1 Channel decoding model based on neural network

模型左邊部分為信道編碼的過程,將n位原始信息進行Turbo 碼編碼,得到碼長為N的碼字;中間部分是對編碼后的碼字進行信號的調制和加噪過程;最右邊為卷積神經譯碼網絡。其主要目的是將加過噪聲的N值碼字恢復成原始的n位信息位,即完成譯碼。其過程主要是用卷積神經譯碼網絡替換傳統的Turbo 碼譯碼算法。卷積神經譯碼網絡不需要學習Turbo 碼譯碼算法相關的知識,只需要對編碼信息進行相關的特征提取。通過對其設置初始權重和偏置值,利用損失函數擬合出最佳的譯碼函數值,從而實現端到端的訓練,直至收斂得到最終的譯碼模型。

2 基于卷積神經網絡的Turbo 碼譯碼網絡

2.1 數據集的生成

在圖像、語音識別等領域,神經網絡中數據集的生成所需的數據空間是無窮大的。因此,無法對整個數據空間作訓練,只能先進行采樣再對樣本作訓練[6-7]。而編譯碼問題的特殊之處在于:在編碼端,其數據空間是有限的。例如一個(n,k)二進制Turbo 碼編碼器,可能的碼字就只有2k種;但是在接收端,由于信道經過了加噪的過程,可能獲取的數據集空間又變為無窮大。

在本設計中,訓練集的數據以如下過程生成:將編碼比特xi經過加性高斯白噪聲,得到神經譯碼網絡的訓練集。每次數據疊加的高斯白噪聲與信號的信噪比為均勻分布的隨機數,或者是數據經過非高斯信道后產生的隨機數。測試集的數據由編譯碼常用的通信方式產生,隨機生成數據經過信道。不同信噪比對應不同的測試數據。

2.2 卷積神經網絡的搭建

為了使Turbo 碼能夠更好地適應不同的環境,本設計采用的是一種基于卷積神經網絡(convolutional neural network,CNN)的譯碼網絡結構。譯碼網絡的結構主要分為4 個部分,分別是信號的輸入模塊、卷積模塊、全連接模塊以及輸出模塊[8]。

基于卷積神經網絡的架構如圖2 所示。

圖2 基于卷積神經網絡的架構Fig.2 Architecture based on convolutional neural network

①輸入模塊。

輸入模塊主要是對經過信道的信號進行預處理,然后送入卷積神經網絡譯碼器中進行譯碼。本設計采用的子譯碼器為2×64 的矩陣:第一列的數據為經過信道后的信息位x1～x64;第二列的數據為經過信道后的校驗數據y1～y64。

基于卷積神經網絡的子譯碼器結構如圖3 所示。

圖3 基于卷積神經網絡的子譯碼器結構Fig.3 Sub-decoder structure based on convolutional neural network

②卷積模塊。

對于神經網絡來說,卷積層是其非常重要的模塊。在卷積神經網絡中,為了降低網絡對數據的突發異變,利用卷積層對數據進行特征提取。然而,網絡層數越多,卷積神經網絡越會對每個數據元進行深入的分析。另外,卷積神經網絡擁有很高的分辨率,可以通過訓練自動提取輸出數據和輸入數據之間的關系,并且自適應地存儲訓練的權重值[9]。

本設計中,通過堆疊多個相同形狀的1D-CNN 濾波器,構造一個基于CNN 的Turbo 碼譯碼器。相同形狀的1D-CNN 濾波器不需要長期依賴。為了更好地訓練性能,第一層為32 個相同形狀的1D-CNN 的濾波器,第二層為64 個,第三層為128 個,第四層為64 個,第五層為32 個。內核大小為5。卷積層采用修正線性(rectified limear unit,ReLU)單元作為激活函數。函數表達式為:

ReLU 函數通常用作神經網絡中隱層的輸出,能夠緩減過擬合的問題。與其他激活函數相比,ReLU 函數只需要一個門限值即可獲得激活值,并且計算速度快、訓練時間短[10]。

③全連接模塊。

全連接層的作用是對卷積層提取到的高層抽象特征進行組合,輸入到第二個全連接層,以減少特征位置對分類帶來的影響,從而減少特征信息的丟失。本設計采用了2 個全連接層,第一層設計為256,第二層設計為128。

④輸出模塊。

輸出模塊主要用于最終目標結果的輸出。其模型一般使用Sigmoid 函數。其表達式為:

對于卷積神經網絡來說,Sigmoid 函數是比較常用的、用于輸出層的函數。它是一個單調遞增函數,在趨于正無窮和負無窮時,函數趨于平滑狀態。它的值域為(0,1),函數值具有非常好的對稱性,優化性能穩定[11]。

2.3 學習過程

通過對卷積神經譯碼網絡設置初始權重和偏置值,利用損失函數擬合出最佳的譯碼函數值,從而實現端到端的訓練,得到最終的譯碼模型。則整個網絡的譯碼函數可以表示為:

式中:s為譯碼網絡的輸入信號;w為權重;b為偏置值;o為譯碼輸出值。

譯碼函數是神經網絡通過不斷學習擬合而形成的。

在輸出模塊中,輸出層的擬合函數fsigmoid為:

式中:q為定義全連接的輸出。

所以,CNN 卷積神經譯碼網絡的輸出o′可以表示為:

根據信道編碼的特點,定義CNN 卷積神經譯碼網絡的損失函數為:

為了使網絡的損失函數迅速收斂到最小值,本文采用 Adam 優化器,不斷訓練譯碼網絡、計算損失函數值,從而確定最佳的權重值和偏置值。

3 試驗結果與分析

為了驗證基于CNN 的譯碼網絡方案的性能,本設計將卷積神經網絡譯碼器的誤碼率(bit error rate,BER)降到最低。作為試驗條件,通常將二進制交叉熵損失用作可區分的替代損失函數。在高斯信道和非高斯信道下,將基于卷積神經譯碼網絡與標準的譯碼器的性能進行了比較。

3.1 高斯信道

在2 次迭代和6 次迭代時,將卷積神經譯碼器和標準的Turbo 碼譯碼器的性能進行了比較。

不同迭代次數對比結果如圖4 所示。

圖4 不同迭代次數對比結果Fig.4 Comparison results of different iterations

圖4 中,B表示誤碼率;S表示信噪比(signal-noise rate,SNR)。

與標準的、擁有2 個迭代譯碼器的Turbo 碼譯碼器相比,CNN 譯碼器在2 次迭代時表現出比6 次迭代更明顯的優異性能。這意味著CNN 譯碼器在較低層或者在較少的迭代次數時,能夠比標準的Turbo 碼譯碼器更快地提取到信息的特征。因此,CNN 譯碼器可以通過較少的迭代次數達到所需要的譯碼性能。

為比較Turbo 碼譯碼器與CNN 譯碼器的性能,將它們都在碼長為64 的情況下進行訓練,并且譯碼器的迭代次數為6。CNN 譯碼器符合標準Turbo 碼譯碼器的性能。對于高信噪比(S≥0.5 dB)的情況,為了降低譯碼的誤碼率這一性能,要慎重選擇卷積核的大小K。

不同卷積核對比結果如圖5 所示。

圖5 不同卷積核對比結果Fig.5 Comparison results of different convolution kernel

根據試驗結果,可以發現在K=5 時訓練速度更快,并且在K=1 和K=5 時都能夠達到最佳性能。

3.2 非高斯信道

雷達通道:y=x+z+w。信道模型在數學上描述如下:y為時刻t的接收符號;x為發送的符號;z為高斯噪聲;w為脈沖噪聲。其中:是背景AWGN 噪聲,是概率為p的高方差低概率的雷達噪聲,且。

圖6 是卷積神經網絡在不同突發噪聲下的適應性。

圖6 卷積神經網絡在不同突發噪聲下的適應性Fig.6 Adaptability of convolutional neural network under different burst noises

試驗結果表明:標準的Turbo 碼譯碼器會因為不了解突發噪聲而導致譯碼失敗;而Bursty Neural 譯碼器在σ1=3.5 時使用兩種先進的啟發式方法都優于Turbo 碼譯碼器,且在其他方差下獲得的性能是幾種方案中較好的。

魯棒性是指特定信道模型訓練的譯碼器在不重新訓練的情況下,能夠在不同信道模型上正常工作的能力。適應性是指學習算法針對不同信道模型進行適應和重新訓練的能力[12]。因此,從以上分析可以看出,與標準的Turbo 碼譯碼器相比,基于CNN 的譯碼算法在非高斯信道下也能夠通過訓練適應不同信道的設置,表明了CNN 譯碼器具有很好的適應性和魯棒性。

4 結論

本設計采用基于CNN 的譯碼算法,研究了用于Turbo 碼的端到端的訓練型譯碼器。與標準的Turbo碼譯碼算法相比,其具有更高的可靠性、適應性和更低的錯誤率。特別是在非高斯信道下,對于來自不同的噪聲分布,該設計可以通過進一步的訓練以適應其他信道的設置,從而達到很好的性能效果。試驗表明,基于CNN 的譯碼算法具有優異的適應性和魯棒性。