基于神經網絡的信道譯碼算法研究綜述

王玉環，尹航，楊占昕

(中國傳媒大學廣播電視數字化教育部工程研究中心，北京 100024)

1 引言

當今時代，神經網絡技術得到了質的飛躍，應用范圍也涉及到了多個領域。神經網絡處理信息的規則和人腦的信息處理機制相似，具有并行運算、分布式存儲、聯想記憶、自組織自適應和容錯的能力。

神經網絡與糾錯碼技術有著相似的理論背景，尤其是在數學方法上有著相似的密切聯系。將神經網絡應用到糾錯碼的譯碼中，計算復雜度得到了降低，且在一定的程度上誤碼性能也得到了提升。

低密度奇偶檢驗碼(LDPC碼)和極化碼(Polar碼)是5G移動通信系統中信道編碼的候選技術，也是衛星通信、軍事通信等眾多通信系統中信道編碼的常用方法。研究基于神經網絡的LDPC碼和Polar碼的譯碼方法是具有理論和實用意義的。

本文第二部分介紹了神經網絡的發展過程；第三部分重點介紹基于神經網絡的LDPC碼和Polar碼的譯碼方法，以及討論了各種方法的優缺點；第四部分分析了對未來的研究方向。

2 神經網絡發展歷程

神經網絡是由大量的神經元構成。神經元模型(如圖1)是由美國心理學家McCulloch和數學家Pitts在1943年提出的，這為神經網絡的理論研究開辟了嶄新的道路。

圖1 神經元的模型

圖1中，w_i，j表示兩個神經元i和j之間的連接權值；激活函數可限制神經元輸出的振幅；偏置改變激活函數的網絡輸入。

感知機[1]是最簡單的神經網絡，也是首次將神經網絡和模式識別相結合的裝置。由于自身結構和網絡層數的限制，使得感知機對于一些復雜的異或問題沒有處理的能力。

Hopfield網絡模型是由Hopfield教授在1982年提出的[2]，同時還提出能量函數。Hopfield網絡的出現打破了感知機的應用局限，它是一種遞歸神經網絡，其模型可以實現聯想記憶功能和作為聯想存儲器。

1983年，Sejnowski和Hinton提出了“隱單元”的概念，并且設計了波爾茲曼機(Boltzmann Machine，BM)[3]。BM可以從復雜的數據中發現潛在的特征并進行無監督學習，但是網絡的訓練時間比較長。為了減少訓練時間，引入了限制波爾茲曼機(RBM)[4]，RBM可以解決分類、回歸、降維等問題。

隨著網絡層數的增加，神經網絡的逼近能力也在增強，但是網絡參數的訓練是一個很繁瑣的過程，同時也是制約多層神經網絡發展的關鍵因素。

1986年，Rumelhart、Hinton和Williams提出了著名的訓練算法—反向傳播算法(BP，Back Propagation)[5]，BP算法的出現使得神經網絡的研究進入了嶄新的階段。BP神經網絡的優勢是在事前不知道輸入和輸出確定數學關系表達式時，可以通過學習來存儲輸入和輸出之間的內在關系。

為了模擬生物神經元的局部響應特性，1988年，Broomhead和Lowe將徑向基函數引入到了神經網絡中，形成徑向基神經網絡(RBP)[6]。RBP神經網絡可以實現問題的線性可分化。

由于有限的樣本和計算單元導致數據間復雜函數的表現能力有限，使得一般神經網絡的學習能力不強，因此，Geoffrey Hinton和Ruslan Salakhutdinov提出了深度學習的模型[7]，并證明隱含層的個數越多，網絡的特征學習能力越強。深度學習建立了從底層簡單特征到高層抽象語義的非線性映射關系[8]，這一研究成果推動了深度神經網絡機器學習的新時代。

網絡參數訓練算法的不完善制約著神經網絡的發展，傳統神經網絡中的訓練算法在深度神經網絡中難以完成網絡的學習任務，為了解決這個問題，提出了“逐層預訓練”和“精調”的訓練方法[9]，使得深度學習的應用領域廣泛。

3 基于神經網絡的信道譯碼算法

神經網絡最早被用于重復碼和置換矩陣碼的譯碼中，是J.C.Platt教授和J.J.Hopfield教授在1986年提出的，譯碼中采用的結構是Hopfield網絡[10]。

隨后，J.Bruck和M.Blaum提出了圖碼與神經網絡之間存在等價的關系，并證明了線性分組碼和非線性分組碼的最大似然譯碼問題等價于求解一個神經網絡收斂于它能量函數的全局極大問題[11]。

為了充分的利用分組碼的代數結構，將徑向基函數引入到網絡中形成徑向基神經網絡。利用徑向基神經網絡[12，13]來進行譯碼不需要進行網絡的訓練，只需要將所譯碼的碼字加入到網絡中就完成了譯碼的過程，網絡的結構簡單，適用于任意長度的碼字；但是此方法是以損失糾錯能力為代價減少一些運算量。

在糾錯碼中，LDPC碼和Polar碼是5G移動通信系統中信道編碼的候選技術，也是眾多通信系統中信道編碼的常用方法?；诖?，重點介紹基于神經網絡的LDPC碼和Polar碼的譯碼方法，總結了各種方法的優缺點，以及未來的研究方向。

3.1 基于神經網絡的LDPC碼譯碼算法

LDPC碼[14]是一種具有很強糾錯能力的信道編碼，其校驗矩陣是稀疏矩陣，即矩陣中非零元素的個數遠遠小于零元素的個數。

LDPC碼最常用的表示方法是Tanner圖(二分圖)[15]。例如一個(8，2，4)的LDPC碼，校驗矩陣如下所示：

上述LDPC碼的Tanner圖如圖2所示，vi表示變量節點；ci表示校驗節點；兩個集合的內部不存在相連的邊。

圖2 (8，2，4)LDPC碼的Tanner圖

LDPC碼已有的譯碼算法，大部分都是基于消息置信度的迭代譯碼，所需的計算量高，同時還需要迭代譯碼計算，而且性能效果好的譯碼復雜度高，譯碼復雜度低的譯碼性能低，無法達成一個平衡點。將神經網絡和LDPC碼的譯碼過程相結合，充分利用彼此的優勢，形成具有收斂速度快、時延穩定、并行度高的譯碼方法。

3.1.1 研究現狀

神經網絡可以作為分類器，將所有的碼字存儲在網絡中，進行網絡訓練，訓練結束后，將所要譯的碼字作為網絡的輸入，其譯碼就是將碼字進行分類，即將輸入的碼字與存儲的所有碼字進行匹配。

一般線性分組碼神經網絡[16，17]可以實現LDPC譯碼算法(如圖3)，該網絡是由網絡輸入層和輸出緩沖層構成。該算法的譯碼結構簡單，易于實現；但譯碼性能不及標準的置信傳播譯碼算法。對于長LDPC碼，神經網絡結構會變得越來越復雜，且訓練所需時間過長。

圖3 一般線性分組碼的神經網絡譯碼結構

圖3中，神經網絡有n個輸入，輸入端接收從信道接收到的碼字信息；神經網絡每層有N個神經元，代表所譯碼字的個數。

利用多項式神經網絡可以進行LDPC碼的譯碼[18]，譯碼中將多項式函數作為高階感知器的判決函數，對于短碼來說譯碼性能良好，但是對于長碼而言，譯碼的復雜度、計算量和存儲空間都在增加。

基于多層感知器神經網絡的LDPC碼譯碼方法[19，20]，將神經網絡輸入和輸出的關系與LDPC碼的Tanner圖中的節點關系相對應，使得神經網絡的復雜性得到了降低，計算復雜度也相應的降低。但網絡需要大量的訓練，若碼長較大時，訓練網絡的時間就會很長，且譯碼性能不及置信傳播譯碼算法。

通常訓練神經網絡采用的是反向傳播算法，需要神經網絡的每個輸入序列是可見的，從而限制了譯碼算法的性能。為了解決上述的限制，提出了基于神經網絡的LDPC碼非迭代譯碼方法[21](如圖4)，主要利用有效LDPC碼的基于校驗序列的行來訓練網絡，且識別獨立的子譯碼結構，進行非迭代的譯碼。

由于一般神經網絡的復雜函數的表現能力有限，網絡本身的學習能力也不強。因此，提出了將平行的Hopfield神經網絡和LDPC相結合的譯碼方法[22]，利用此方法進行譯碼，減少了神經網絡的個數，但是由于網絡是遞歸型神經網絡，需要花費時間來達到穩定狀態，不適合用在高速LDPC碼中。

基于校驗子生成器和LUT(Look Up Table)的LDPC譯碼方法[23]解決了上述方法存在的問題，譯碼過程不需要進行迭代計算，但是需要提前計算出每個校驗子相對應的LUT(查找表)。

3.1.2 發展趨勢

基于神經網絡的LDPC碼譯碼方法目前還是處于初級發展階段，網絡訓練方法大都是采用反向傳播算法，為了進一步提高譯碼的性能，降低譯碼的復雜程度，可利用已有的訓練方法(牛頓法、共軛梯度法等)進行網絡的訓練，或者探究新的訓練方法。

由于淺層神經網絡在應用過程中，網絡訓練的速度比較慢，隨著計算機處理速度和存儲能力的提升，深層神經網絡得到了快速的發展，所以可將深層神經網絡應用到LDPC碼的譯碼過程中，用于提高譯碼的性能。

圖4 基于多層感知器前向神經網絡LDPC譯碼器結構

3.2 基于神經網絡的Polar碼譯碼方法

Polar碼[24]是第一個被證明可以達到香農容量限的編碼方法，且采用持續消除(SC)譯碼時復雜度僅為ONlgN，其中N為碼長。Polar碼的基本原理就是信道極化[24]，信道極化(如圖5)是由信道合并和信道分裂組成的。

圖5中，W表示二進制離散無記憶信道；W-N是N個二進制離散無記憶信道W線性變換合并成的；W-N，i是W-N經過分裂轉化的極化信道。

圖5 信道極化現象的形成過程

對于中短碼長的Polar碼，SC譯碼算法的逐比特譯碼特性可能會帶來錯誤的傳播問題，所以在有限碼長下譯碼性能不夠理想。其他類型的譯碼算法，提升了譯碼的性能，但是計算量得到了增加。利用神經網絡進行Polar碼的譯碼，充分利用兩者的優點，有效的減少譯碼的復雜度，或者提高了譯碼的性能。

3.2.1 研究現狀

基于一般深度神經網絡的譯碼器[25]可以通過學習大量的碼字來實現接近最佳誤碼率的性能，但是網絡的訓練時間隨著碼長的增加呈現指數的增加，這就限制了此類譯碼器在長Polar碼中的實際應用。

為了解決上述的問題，將上述提出的極化BP譯碼器中的某些字塊用神經網絡輔助模塊來代替[26]，新譯碼方法的性能得到了很大的改善，但是譯碼的復雜性仍然很高，且硬件的高吞吐量很難實現。

傳統的深度神經網絡應用在Polar碼的譯碼過程中，需要過高的網絡訓練和計算復雜度。將置信傳播譯碼算法進行改進，得到多尺度置信傳播譯碼算法，在多尺度置信傳播算法的基礎上建立深度神經網絡[27]，得到的譯碼模型適用于任何形式的Polar碼，訓練網絡時只需要很小的零碼字集合，且計算復雜度與原始的置信傳播算法相同。

3.2.2 發展趨勢

目前Polar碼是作為5G移動通信中eMBB應用場景的控制信道的編碼方式，碼長較短，重點研究和解決的是碼長、碼率靈活性問題以及編譯碼對信道的依賴性問題[28]。

對于長Polar碼來說，利用神經網絡來進行譯碼存在一定的困難，如網絡結構的選擇、硬件實施的性能。神經網絡的種類很多，可以研究基于不同神經網絡的深度學習Polar碼譯碼方法，或者運用不同的訓練方法來訓練神經網絡，使得相對應的譯碼性能得到提升，結構復雜度得到減少，譯碼的迭代次數降低。

4 結束語

本文介紹了神經網絡的發展歷程，以及基于神經網絡的LDPC碼和Polar碼的譯碼方法，分析了每種模型方法的優缺點。由于深度神經網絡的理論基礎還不完善，需進行理論方面的探究和突破；其次，將不同類型的神經網絡應用到不同的信道編碼中，還需要進一步的研究。