分組馬爾可夫疊加傳輸的神經網絡譯碼

王千帆，畢勝，陳曾喆，陳立，馬嘯

（1.中山大學電子與通信工程學院，廣東 廣州 510006；2.中山大學數據科學與計算機學院，廣東 廣州 510006；3.中山大學廣東省信息安全重點實驗室，廣東 廣州 510006；4.中山大學電子與信息工程學院，廣東 廣州 5 100063）

1 引言

通信領域是一個相對復雜且成熟的領域，傳統的性能優化方法的效果正在逐步減弱，這種現象在物理層尤為明顯[1]。為滿足用戶對新一代通信的需求，通信技術和人工智能技術相結合成為一種新的研究方向。機器學習被認為是人工智能領域中最能體現“智能”的分支之一，其在處理難以用數學公式描述的問題上具有一定優勢，并成功地應用在圖像處理、文本處理等領域。

受機器學習在圖像去噪和超清分辨等方面研究的啟發，基于機器學習來實現或優化旨在去除噪聲恢復數據的信道譯碼引起了越來越多的關注。神經網絡（NN,neural network）是機器學習中的重要分支之一，將NN運用到信道譯碼研究的優勢在于NN是不依賴于模型的，即不需要對信道噪聲的統計信息做任何假設，便能在訓練過程中學習信道的映射關系或提取信道統計信息[2]。此外，NN在并行性上也具有一定的優勢，利用NN可以最大限度地并行化譯碼過程，從而提高譯碼器的吞吐量[3]。目前，基于NN的譯碼研究已經取得了初步的成 果[4-5]。一般來說，使用NN進行譯碼可以看作一個分類問題。然而類別的數量隨著信息位長度的增長呈指數增長，存在維度詛咒現象[6]。當信息位長度較大時，使用NN直接譯碼一般難以獲得較好的譯碼性能，因此不具備實用價值，這也是目前基于NN的譯碼主要針對中短碼的原因。然而即使在中短碼的情況下，目前的方案一般也難以達到傳統方案最優的譯碼性能。文獻[4]使用NN對碼長16的極化碼進行譯碼，性能接近最大似然（ML,maximum likelihood）譯碼，但仍有一定差距。文獻[5]基于NN改進了中短碼長的BCH（Bose-Ray-Hocquengthem）碼在置信傳播譯碼下的性能，但與傳統譯碼性能相比仍有部分差距。文獻[7]提出了一種針對低密度奇偶校驗（LDPC,low density parity check）碼、極化碼的NN聯合譯碼方案，該譯碼方案可以達到與置信傳播譯碼相近的性能，但所使用的碼長仍然是較短的。文獻[8]使用NN代替極化碼連續消除譯碼器中的部分子塊，但所使用的碼長仍然是較短的。通過以上的研究可以發現，基于NN的譯碼研究主要面臨兩方面的問題：一方面是短碼情況下如何達到傳統方案的最優譯碼性能，另一方面是如何將NN運用到長碼的譯碼中。

分組馬爾可夫疊加傳輸（BMST,block Markov superposition transmission）是近年來提出的一種新的編碼傳輸方案[9-10]，其編碼過程如下。信息序列先由基本碼進行編碼，然后將編碼后的序列進行交織，最后將交織后的序列進行疊加傳輸，從而達到既能重復傳輸多次又能保證傳輸效率的目的。研究者在多個場景下對BMST進行了研究。文獻[11]提出了適用于光纖通信場景的BMST-BCH碼設計，保證了高碼率傳輸下的高可靠性。文獻[12]提出了一種基于BMST通過部分疊加來構造空間耦合LDPC碼的一般方法。此外，BMST在加性高斯白噪聲（AWGN,additive white Gaussian noise）信道[9]、湍流信道[13]和非高斯脈沖信道[14]上均有逼近香農限的性能，同時研究者也給出了相應的用于預測誤碼性能的簡單下界。BMST具有諸多優點，其由短碼出發，構造性能優異的長碼為NN運用到長碼提供了一種可能，即可以設計針對短碼的NN譯碼器，并將此譯碼器嵌入長碼譯碼的迭代機制中，從而替代其中部分模塊。

文獻[15]初步提出了基于NN的BMST譯碼方案，以漢明（Hamming）碼為基本碼，利用NN實現了僅比ML譯碼器差0.5 dB的基本碼譯碼器，并將其嵌入了BMST的迭代譯碼機制中。本文在文獻[15]的基礎上改進了基于NN的BMST譯碼方法，分析了不同網絡結構和數據表征形式對譯碼性能的影響，通過引入獨熱向量，使基于NN的基本碼譯碼器可以達到ML譯碼的性能。針對使用獨熱向量可以達到ML譯碼性能的原因，本文也給出了相應解釋。由于使用獨熱向量時輸出層神經元個數隨信息位長度的增長呈指數增長，而輸出層神經元個數過多是不利于學習的。針對該問題，本文提出了雙熱向量，從而極大地減少輸出層神經元個數，降低學習復雜度，同時可以達到接近ML譯碼的性能。最后，本文將所實現的NN基本碼譯碼器嵌入迭代譯碼機制中，設計了基于NN的分組馬爾可夫疊加傳輸的滑窗譯碼算法，并分析了其對應的性能下界。仿真結果顯示：1)所提NN基本碼譯碼器在使用獨熱向量表征下可以達到ML譯碼的性能，在使用降低學習復雜度的雙熱向量表征下可以達到接近ML譯碼的性能；2)所提基于NN的分組馬爾可夫疊加傳輸的滑窗譯碼算法的性能在中高信噪比區域貼合其對應的精靈輔助（GA,genie-aided）下界，并與BMST的傳統性能下界貼近，獲得了額外的編碼增益。

2 預備知識

2.1 神經網絡

受到人腦結構的啟發，研究者提出了NN的概念[16]。類似于大腦，NN具有學習、存儲和使用經驗知識的特性。整個NN由輸入層、隱含層和輸出層構成，如圖1所示。

圖1 神經網絡結構

圖2展示了神經元的運算過程。假設前一層有n個神經元與本層第k個神經元相連，則本層第k個神經元的輸出y(k)如式(1)所示。

其中，x(i)表示此神經元的第i個輸入，w(i)表示第i個輸入對應的權重，b(k)表示此神經元對應的偏置，?表示激活函數。這里權重和偏置用來描述線性關系，激活函數用來描述非線性關系。

圖2 神經元的運算過程

2.2 分組馬爾可夫疊加傳輸

記憶長度為m的BMST系統的編碼過程如圖3所示。該系統是由一個基本碼編碼器、m個交織器和m個寄存器組成。這里考慮基本碼是一個碼長為n、信息位長度為k的二元線性碼C[n,k]。

圖3 BMST系統編碼過程

BMST方案的碼字c(t)經過調制后發送到噪聲信道，接收端獲得信號的含噪信號y(t)。本文的調制方式為二進制相移鍵控（BPSK,binary phase shift keying），噪聲信道為AWGN信道。

BMST的譯碼過程采用基于正規圖（normal graph）[17]的滑窗譯碼算法，具體譯碼過程見文獻[10]。

3 神經網絡譯碼

3.1 基于神經網絡的基本碼譯碼

本節將介紹利用NN實現的不同方案的基本碼譯碼器，其中，基本碼采用[7,4]漢明碼，隱含層的激活函數使用ReLU函數[18]，輸出層的激活函數使用sigmoid函數，具體如式(2)和式(3)所示。

NN輸入數據為有噪信號，因此，針對NN結構和監督數據的表征形式，本文給出了4種方案。

方案1使用一個輸入輸出維度均為7的NN，如圖4所示。NN訓練所用的輸入數據為7維噪聲向量，監督數據為軟入軟出（SISO,soft-in soft-out）ML譯碼后輸出的7維概率向量。

圖4 方案1架構

方案2架構如圖5所示，其基本思想是通過縮小NN的輸出維度來減少每個NN的類別數目，以此改進性能。該方案使用2個輸入維度均為7的NN（NN-1和NN-2），其輸出維度分別為4和3。訓練所用的輸入數據均為7維噪聲向量，NN-1所使用的監督數據為與ML譯碼器輸出的信息位對應的4維概率向量，NN-2所使用的監督數據為ML譯碼器輸出的校驗位對應的3維概率向量。

圖5 方案2架構

方案3如圖6所示。該方案中的NN輸入維度為7，輸出維度為16。訓練所用的輸入數據為7維噪聲向量，監督數據為16維獨熱向量表示的信息位。獨熱向量采用N種情況使用一個長度為N的向量進行表示，當出現第i種情況時(1≤i≤N)，該向量的第i個元素值為1，其他元素值為0。本文采用的基本碼信息位長度為4，因此N=24=16。采用獨熱向量需要更多的神經元來表征不同類別，雖然這增加了輸出層神經元數目，但是更易于區分每個類別。

圖6 方案3架構

方案4架構如圖7所示。該方案中的NN輸入維度為7，輸出維度為8。訓練所使用的輸入數據為7維噪聲向量，監督數據為使用8維雙熱向量表示的信息位。監督數據中前4維向量是信息位前兩位對應的獨熱向量，后4維向量是信息位后兩位對應的獨熱向量。當采用方案3中的獨熱向量來表示信息位時，輸出層神經元個數隨信息位長度的增長呈指數增長，但輸出層神經元個數過多是不利于NN訓練的。方案4可以使輸出層神經元個數大幅減少。以10 bit信息位為例，采用方案3，輸出層神經元個數為210=1 024。若采用方案4，則輸出層神經元個數減少至25+25=64個。

圖7 方案4架構

3.2 基于神經網絡的BMST譯碼

本節基于3.1節的NN基本碼譯碼器，針對BMST系統提出了基于NN的滑窗譯碼算法，一般使用正規圖[17]來描述該譯碼算法的信息傳遞過程。圖8為L=4、m=2的BMST基于NN的滑窗譯碼器示意。一般來說，譯碼窗口d≥m，圖8中的矩形表示節點，與節點相連的邊需要滿足一定的信息傳遞約束。Y(t)、C(t)、V(t)和U(t)分別為y(t)、c(t)、v(t)和u(t)對應的隨機向量，這里y(t)、c(t)、v(t)和u(t)分別表示接收序列、發送碼字、基本碼碼字和信源序列；H(·)表示隨機變量的熵。在一個譯碼層中，包含4類節點，具體如下。

圖8 基于NN的BMST滑窗譯碼示意

譯碼窗口為d的滑窗譯碼算法只在包含d+1層的子正規圖上進行迭代譯碼。接收向量y(t+d)在時刻t+d輸入譯碼器中進行迭代。迭代完成后，基于NN的滑窗譯碼算法輸出信源u(t)的估計。詳細過程如算法2所示。

算法2基于NN的BMST滑窗譯碼算法

輸入

輸出

全局初始化譯碼器根據接收向量y(t)(0≤t≤d-1)計算c(t)對應的后驗概率，正規圖上當前層內部其他邊上的消息及連接到其他層的所有邊上的消息都按照均勻分布進行初始化。設置最大迭代次數Jmax＞0，閾值σ＞0，熵率H0(Y(t))=0。

滑窗譯碼 fort=0,1,…,L-1

1)局部初始化。當t+d≤L+m-1時，譯碼器根據接收向量y(t+d)計算c(t+d)對應的后驗概率。將第t+d層內部其他邊上的消息及連接到其他層的所有邊上的消息按照均勻分布進行初始化。

2)迭代。forJ=1,…,Jmax

①前向遞歸。對于i=0,1,…,d，正規圖上第t+i層消息傳遞的順序為

② 后向遞歸。對于i=d,d-1,…,0，正規圖上第t+i層消息傳遞的順序為

③判決。對v(t)進行硬判決，計算Y(t)的熵率HJ(Y(t))，若滿足|HJ(Y(t))-HJ-1(Y(t))|≤σ，則退出迭代，并輸出。

3)干擾消除。通過更新C(t+1),…,C(t+m)對應的后驗概率來移除所有層上v(t)的影響。

3.3 GA下界

本節分析得到基于NN的BMST系統的GA下界。文獻[9]中給出了采用BPSK調制的BMST在AWGN信道下的GA下界，如式(4)所示。

其中，λ表示，Eb表示每比特的信號能量，N0表示噪聲的功率譜密度；FBMST(·)和Fbasic(·)分別表示記憶長度為m的BMST和基本碼的性能函數。在中高信噪比區域，BMST的最大額外增益為10log(m+1)dB。基于NN的BMST系統同樣存在著類似的GA下界，如式(5)所示。

其中，FBMST-NN(·)和Fbasic-NN(·)分別為記憶長度為m的基于NN的BMST和基本碼的性能函數。對于記憶長度為m的BMST系統而言，只需將基于NN的基本碼譯碼器的誤比特率曲線向左平移10log(m+1)dB，即可得到對應的GA下界。

4 數值結果

本節通過幾個例子來分析第3節中4種不同方案的NN基本碼譯碼器和不同基本碼譯碼器嵌入BMST系統的性能。BMST系統中基本碼使用漢明碼的2 500重笛卡爾積[7,4]2500，其信息位長度和碼字長度分別為k=10000和n=17500。在BMST系統中，采用的交織器是長度為17500的均勻隨機交織器[10]。對于基本碼譯碼器，本文只需要針對原始的[7,4]漢明碼訓練即可，所產生訓練數據的為6 dB，訓練數據量為107幀，每批樣本大小為256幀。使用TensorFlow開源框架的ADAM-Optimizer，學習率為0.1，步長為0.01。文中用(N0,N1,…,N?-1)來表示包含?層隱含層的NN，其中第i層隱含層的神經元個數為Ni。采用算法2作為BMST的譯碼算法，設置最大迭代次數Jmax=50，L=98，譯碼的熵終止閾值σ=10-5。

例1圖9展示了漢明碼在方案1中不同NN結構對譯碼性能的影響，參數設置與文獻[15]相同，本文得到了相似的仿真結果。由仿真結果可知，在一定范圍內，增加隱含層神經元的數目可以改善性能。兩層隱含層神經元個數分別為56、28時（圖9中表示為 (56,28)），在BER=10-4處，該方案比ML譯碼方案差1.2 dB。結果還反映再增大神經元數目已無意義，即網絡結構(56,28)已飽和。

圖9 方案1下不同NN結構的漢明碼譯碼性能曲線

例2圖10展示了漢明碼在方案2不同NN結構對譯碼性能的影響。方案2通過使用2個獨立的NN，縮小NN的輸出維度并改善性能。由仿真結果可知，相比于方案1，方案2的性能得到了提升。結果還反映在一定范圍內，增加隱含層神經元的數目可以改善性能。在BER=10-4處，NN結構為(28,14)的方案2性能比ML譯碼方案差0.5 dB。

例3圖11展示了漢明碼在采用方案3情況下不同NN結構對譯碼性能的影響。方案3使用一個獨熱向量來表示信息位。由仿真結果可知，所有網絡結構的性能曲線均貼合ML譯碼方案的性能曲線。使用沒有隱含層的淺層NN（圖11中表示為(none)）同樣可以達到ML譯碼方案的性能。在淺層NN結構下，乘法和加法分別需要執行7×16=112次，比較操作需要執行15次，激活函數執行16次，這里激活函數可以通過查表獲得輸出值。而ML譯碼方案分為2個步驟，第一步計算16個碼字的概率，需要進行96次乘法；第二步根據16個碼字的概率，得到譯碼選擇，需要15次比較操作。表1展示了2種譯碼器的復雜度對比。從表1中可以看出，方案3 NN (none) 譯碼器相比于ML譯碼方案只是增加了加法運算和較少的乘法運算。

圖10 方案2下不同NN結構的漢明碼譯碼性能曲線

圖11 方案3下不同NN結構的漢明碼譯碼性能曲線

表1 2種譯碼方案的計算復雜度對比

由圖11還可以看出，方案3在沒有隱含層的情況下可以達到ML譯碼方案的性能，這是由于無隱含層的方案3等效于實現一個ML譯碼方案。以如下給定權重、偏置的“NN”來解釋其等效性。假設接收向量對應的對數似然比作為NN的輸入，沒有隱含層，輸出層神經元個數為16個，且每個輸出層神經元的偏置均為0，無激活函數。若碼表中第i個碼字的第j位為0，則輸入層第j個神經元與輸出層第i個神經元的權重為+1，反之則為-1。經過前向傳播后，若該NN第b個輸出層神經元的值最大，則碼表中第b個碼字的概率最大。上述給定權重、偏置的“NN”，即ML譯碼方案的網絡實現形式。基于此，對于碼表已知的任意編碼方案的ML譯碼方案，均可以由NN來實現。但是使用獨熱向量情況下，輸出層神經元個數會隨信息位長度呈指數增長，輸出層神經元個數過多是不利于學習的。針對這個問題，本文提出了雙熱向量，即方案4，如例4所示。

例4圖12展示了漢明碼在方案4不同NN結構對譯碼性能的影響。方案4使用雙熱向量來表示信息位，從而減小輸出層神經元個數，降低學習復雜度。由仿真結果可知，在BER=10-5處，網絡結構為(56,28)的方案4性能比ML譯碼方案差0.2 dB，達到了近似最優的性能，同時降低了學習復雜度，更具有實用性。

圖12 方案4下不同NN結構的漢明碼譯碼性能曲線

例5圖13展示了不同方案的NN基本碼譯碼器嵌入BMST系統中的性能。所有訓練方案的隱含層NN結構均為(56,28)。BMST系統記憶長度m=1，譯碼窗口d=7。由仿真結果可知，使用不同方案基本碼譯碼器的BMST系統均獲得了額外編碼增益。其中，使用方案3的BMST系統的性能在中高信噪比區域貼合其對應的GA下界，并與BMST的傳統性能下界接近。同時，使用方案4的BMST系統也獲得了較好的性能，并在中高信噪比區域與方案3(56,28)的性能下界貼合。

圖13 不同方案的基本碼譯碼器在BMST系統中的性能比較

例6圖14展示了記憶長度m對基于NN的BMST系統的性能影響。漢明碼采用方案3 NN(56,28)的譯碼器，BMST系統中同樣采用相同結構的NN譯碼器。BMST系統記憶長度和譯碼窗口設置分別為[m,d]=[1,3]和[m,d]=[2,6]。由仿真結果可知，基于NN的BMST系統增大記憶長度m可以提高性能，同時，不同記憶長度m的仿真性能在中高信噪比區域都與其對應的下界貼合。

圖14 不同記憶長度的BMST系統的性能比較

5 結束語

本文研究了基于NN的分組馬爾可夫疊加傳輸的譯碼方案，給出了不同網絡結構和數據表征形式對譯碼性能的影響。針對數據表征形式，提出了縮減NN輸出維度、使用獨熱向量表示信息位和使用雙熱向量表示信息位等方案。其中，使用獨熱向量表示信息位的NN基本碼譯碼器可以達到ML譯碼的性能。針對獨熱向量下輸出層神經元個數過多、不利于學習的問題，提出了雙熱向量，可以極大減少輸出層神經元個數，同時可以達到接近ML譯碼的性能。在此基礎上，將不同方案的基本碼譯碼器嵌入BMST迭代譯碼機制中，替換了長碼譯碼中的部分模塊，均獲得了額外編碼增益。其中采用方案3的BMST系統的性能貼合其對應的GA下界，并與BMST的傳統性能下界接近。