基于離散雙向聯想記憶神經網絡的多元通信系統

陳偉康，翟其清，王友國*

（1.南京郵電大學 通信與信息工程學院，南京 210003；2.南京郵電大學 理學院，南京 210023）

0 引言

自從1982 年Hopfield［1］提出了 經典的Hopfield 神經網絡，聯想記憶網絡開始成為神經網絡的重要分支，它的理論研究和應用在近幾十年取得了長足的發展。許多新型的神經元模型以及組成的神經網絡被提出。神經網絡采用并行計算和分布式數據處理，在圖像處理、模式識別、故障診斷、信息傳輸、人工智能等方面［2-7］有非常成功的應用。

在通信與信號處理領域，Zhang等［7］在幅值相位型離散Hopfield 神經網絡的基礎上引入混沌神經網絡算法，提高了盲檢測多進制相移鍵控（Multiple Phase Shift Keying，MPSK）信號的性能。劉玉龍等［8］發現利用Hopfield 神經網絡可以在一定條件下解決多用戶正交頻分復用（Orthogonal Frequency Division Multiplexing，OFDM）通信系統的子載波分配和比特自適應加載的資源分配最優化問題。Duan等［9］在研究基于Hopfield 神經網絡的信號傳輸系統時發現，適量的噪聲可以改善系統的性能，并且當信號被重尾噪聲破壞時，具有大量神經元的系統在每比特輸入信噪比較低時優于匹配濾波器。于海斌等［10］提出一種基于雙向聯想記憶（Bidirectional Associative Memory，BAM）神經網絡的按位加權編碼策略，使網絡對不滿足連續性的樣本模式集具有良好的聯想能力。

在圖像識別與處理領域，Zhang等［6］改變激活函數以提高基于Hopfield 神經網絡的盲檢測算法的性能，以解決無人機運動模糊圖像恢復的問題。潘園園等［11］利用Hopfield 神經網絡進行手寫數字識別，并發現適量噪聲有助于數字圖像恢復得更清晰。蔡利梅等［12］研究了基于BAM 神經網絡的車型識別問題。Cheng等［13］提出一種基于競爭性Hopfield 神經網絡的并行無監督方法進行醫學圖像分割，取得了更優的效果。王元莉［14］提出了一種基于BAM 神經網絡的快速增強算法識別帶噪聲污染的字符，具有很好的實時性和容錯性。

神經網絡能夠實現聯想記憶，因為系統在一定條件下存在穩定的平衡點或周期解，吸引域中的任意初始狀態都將收斂到相應的平衡點或周期解。將穩定的平衡點或周期解稱為記憶模式，初始狀態收斂到相應平衡點或周期解的過程稱為聯想并恢復記憶的過程。為了探究和利用聯想記憶神經網絡的這種性質，本文基于BAM 神經網絡構建了一種多元通信系統以傳輸多元信號。多元信號被調制為帶有幅值的初始狀態向量，在碼元持續時間里，不斷輸入系統中，經過神經網絡的循環迭代和以碼元間隔為周期的采樣，假定是在無噪無損的信道中傳輸，最終在接收端判決譯碼。在文獻［9］中的基于Hopfield 神經網絡的二元通信系統中，向系統神經元加入適量高斯噪聲有助于提升傳輸性能，還展示出了聯想記憶神經網絡中的隨機共振現象［15-17］。因此本文也嘗試向神經元中加入高斯噪聲，并研究噪聲對該通信系統譯碼性能的影響。最后，將本文系統應用于傳輸圖像壓縮編碼，并通過圖像相似度這一指標，探究噪聲對系統譯碼恢復圖像的影響。

1 BAM神經網絡多元通信系統

1.1 BAM神經網絡

BAM 神經網絡由Kosko［18］于1987 年提出，在各種聯想記憶網絡中比較常用。不同于Hopfield 神經網絡的自聯想，BAM 神經網絡可以實現雙向異聯想。BAM 是一種雙層雙向網絡［19］，如圖1 所示。當向其中一層輸入信號時，另一層可得到輸出。初始輸入可以作用于網絡的任一層，信息可以雙向傳播，沒有明確的輸入或輸出層。

圖1 BAM網絡的拓撲結構Fig.1 Topological structure of BAM network

BAM 網絡聯想的過程是網絡從動態到穩態的過程。對給定權值矩陣的BAM 網絡，當第p個網絡的記憶向量Xp作用于輸入層時，t=1 時刻該層的輸出X(1)=Xp通過加權矩陣W傳到輸出層，由該側神經元的激活函數fy(·)進行非線性變換后得到t=1 時刻該層的輸出Y(1)=fy[WX(1) ]；再將該輸出通過加權矩陣WΤ從輸出層傳回輸入層作為下一時刻的輸入，通過輸入層神經元的激活函數fx(·)進行非線性變換后得到t=2 時刻該層的輸出X(2)=fx[WΤY(1) ]=fx{WΤ[fy(WX(1))]}。這個過程一直進行到所有神經元的狀態不再發生變化為止，此時的網絡狀態稱為穩態，對應的輸出層輸出向量Yp是記憶向量Xp經雙向聯想后所得的結果；反之，將記憶向量Yp作用于輸出層，最終也能在輸入層聯想出Xp。

1.2 系統定義與參數說明

本文基于圖1 的BAM 網絡構建了如圖2 所示的多元通信系統，由信號映射器、BAM 神經網絡、采樣器、無損信道和判決器組成，其中Z-1為時延單元。BAM 網絡的輸入層有n個神經元，輸出層有m個神經元，共計N=n+m個神經元。輸入層到輸出層的權值矩陣為W，輸出層到輸入層的權值矩陣為WΤ。令神經元激活函數為雙曲正切函數f(·)=tanh(·)，輸入層的網絡狀態向量為X(t)，輸出層的網絡狀態向量為Y(t)，狀態向量的分量xi(t)、yj(t)表示神經元i、j在t時刻的狀態，狀態向量及其分量定義如下：

圖2 基于BAM神經網絡的多元通信系統Fig.2 BAM neural network based multivariate communication system

其中：ε為陡度參數；Wij是神經元i到j的突觸權重；θi是神經元i的激活閾值，若閾值為0，網絡的能量函數定義為E=-XΤWΤY；si(t)為輸入層的輸入信號；ηi(t)是均值為0 且獨立同分布的高斯噪聲分量。網絡具有M對記憶向量(Xμ，Yμ)，μ=1，2，…，M，x∈{ -1，1}n，y∈{ -1，1}m，分別對應M進制信號，假設用于設計網絡的M對記憶向量相互正交：

其中，p和k代表記憶向量的索引標號。

采用Hebb 規則，即外積和法設計網絡的權值矩陣W：

在接收端，設計一個判決規則，網絡輸出端狀態向量Y(t)和記憶向量Yμ之間的重疊量mμ定義為：

通過該重疊量mμ(t)可以將狀態向量Y(t)的m維空間V劃分為M個子集V0，V1，…，VM-1，Vμ={Y|mμ(t) ≥mj(t) }表示記憶向量Yμ對應的吸引域，當調制向量AXμ輸入網絡時，網絡狀態向量Y(t)在統計意義上將主要落入吸引域Vμ。然后，在采樣時間t=jTb處，通過觀察網絡狀態向量Y(t)落入哪個子集Vμ來解碼M進制數字。相當于計算重疊量mμ(jTb)來解碼，如果Y(t)∈Vμ，就解碼為與Yμ對應的碼元。根據上述判決規則，本文通過計算差錯概率Pe來度量系統傳輸的譯碼性能，Pe定義如下：

其中：p(i)為M元信號中數字i的先驗概率，由實驗的信號集經過統計得到，本文使用先驗概率等概的多元信號集表示當輸入數字為i時，解碼為j的概率，由系統的譯碼結果和原始輸入信號集比較，然后統計錯誤碼元得到。

2 BAM多元通信系統的譯碼性能分析

2.1 傳輸二元信號的譯碼情況

首先，探究系統傳輸二元信號時的譯碼情況，該信號序列由{0，1}組成。假設輸入層神經元個數n=4，輸出層神經元個數m=2，取兩對記憶向量(X0，Y0)、(X1，Y1)，其中：X0=[1，-1，1，-1]Τ；X1=[ 1，1，-1，-1]Τ；Y0=[ 1，-1]Τ；Y1=[ 1，1]Τ；權值矩陣W由這兩對記憶向量生成。如圖2 所示，攜帶數字0 和1 的先驗概率為p(0)和p(1)的二元信號，被調制為在時間間隔jTb≤t≤(j+1)Tb上持續的向量AX0和AX1作為輸入信號，其中：A是調制幅度；Tb是碼元間隔。系統的其他參數設置如下：陡度參數ε=0.03，神經元閾值θ=0，碼元間隔Tb=1。

圖3 給出了不同參數下系統的譯碼差錯概率Pe曲線。從圖3（a）可以看出：在碼元間隔不變時，對于A＜1.0 的二元信號，即弱調制信號，系統傳輸的譯碼效果較差；但是向系統神經元添加高斯噪聲時，隨著噪聲強度增加，差錯概率Pe先減小后增加，出現隨機共振現象，最佳噪聲強度范圍為0.4～0.5。隨機共振現象的出現對A的值有要求，當A≥1.0 時，雖然系統Pe在降低，但噪聲對系統的消極作用占主導地位，這是由于A的增大也導致了輸入信號的能量增大，此時信號的傳輸效果比較好，而噪聲只會影響傳輸效果。因為隨機共振往往對弱的信號有積極功效，隨著信號幅值的增加，隨機共振的功效逐漸減弱直至消失。

在A=0.8 時，嘗試增大信號的碼元間隔Tb，如圖3（b）所示?？梢钥闯?，隨著Tb增大，系統的Pe進一步降低，隨機共振現象更加明顯，最佳噪聲強度在0.3 左右。對于較大的Tb，網絡的輸出狀態向量有較長的時間收斂到對應記憶模式的吸引域內，導致判決時對應的重疊量mμ(t)最大，從而進行正確的譯碼判決。

圖3 不同噪聲下A與Tb對系統Pe的影響Fig.3 Influence of A and Peon Pe of system under different noise intensities

2.2 傳輸多元信號的譯碼情況

由于BAM 網絡的存儲容量不大于min(n，m)，所以對網絡取輸入層n=32 個神經元、輸出層m=16 個神經元，以滿足對所選進制數M=2、3、4、8、16 中最高16 的條件。對于M元信號，網絡選取M對記憶向量。設置碼元間隔Tb=1，調制幅度A=0.5，其他參數不變，仿真結果如圖4 所示?？梢钥闯?，對于多元信號，該系統仍然出現了隨機共振現象，但是隨著M的增加，Pe也在增加。當BAM 網絡存儲更多的記憶向量時，網絡平衡點對應的吸引域個數也隨之增加，在有限的時間里，系統輸出端狀態向量Y(t)很難快速地在不同吸引域之間跳轉并落到正確的吸引域內，從而導致接收端的誤判，導致差錯概率Pe增加。

圖4 不同噪聲下傳輸不同進制信號時系統的PeFig.4 Pe of system when transmitting signals with different radix numbers under different noise intensities

為了探究神經元數量對系統傳輸多元信號的影響，用(n，m)表示n個輸入層神經元、m個輸出層神經元，具體?。?6，8）、（32，16）、（64，32）、（128，64）、（256，128）、（512，256）這6 組，對三元信號進行仿真，其他參數與圖4 一致，仿真結果如圖5 所示。隨著神經元數量的增加，系統的Pe大幅降低，并且隨機共振現象非常明顯，在神經元數量為(512，256)、噪聲強度為0.75 時，Pe約為0.002。結果表明增加神經元數量可以顯著降低傳輸多元信號的系統差錯概率，原因如下：1）隨著神經元數量的增加，網絡的平衡點對應的吸引域范圍變大，輸出端狀態向量更容易落在正確的吸引域內，所以判決時的錯誤率減??；2）從通信的角度來看，信號的傳輸功率NA2Tb和每比特輸入信噪比NA2Tb/σ2η也隨著神經元數N的增加而增加。

圖5 不同噪聲下傳輸三元信號時不同神經元數的系統Pe Fig.5 Pe of system with different neuron numbers when transmitting ternary signals under different noise intensities

同時，討論了碼元間隔Tb對系統傳輸多元信號的譯碼性能影響，取圖4 中進制數M=4 和神經元數(128，64)進行仿真，得到如圖6 所示的結果。發現Tb對多元信號的傳輸仍然具有影響，當Tb逐漸增大時，系統的差錯概率Pe在相應的最佳噪聲強度下越來越小。比如當Tb=5 時，在噪聲強度0.25～0.5 范圍內，Pe可以達到0 的最佳情況；當Tb較大時，系統的計算復雜度會增加，影響傳輸效率。實際系統中可能會在傳輸效果和傳輸效率之間采取一種折中的方法。

圖6 不同噪聲下碼元間隔對系統傳輸多元信號的影響Fig.6 Influence of code element interval on system transmission of multivariate signals under different noise intensities

3 BAM神經網絡在圖像壓縮中的應用

本文以圖像壓縮為例，采用哈夫曼壓縮編碼方式。如果直接用二進制碼元表示灰度圖像，每個像素點需要8 位，直接傳輸的效率太低，因此先進行信源編碼。為了探究基于BAM 的通信系統傳輸多元信號的效果，選擇三元哈夫曼編碼，碼元由{0，1，2}組成，對圖7（a）所示的灰度圖像Lena 進行壓縮編碼。圖像大小為512× 512，取系統神經元數量為(512，256)，其他參數和圖4 一致。首先根據哈夫曼編碼得到的碼字，將圖像轉換為由{0，1，2}組成的碼元集，作為系統的輸入信號集；然后向系統中加入不同強度的高斯噪聲，經過系統傳輸得到輸出信號集；最后通過譯碼恢復圖像。

從直觀感受和圖像相似度對實驗結果進行分析，采用均值哈希算法評估圖像的相似度。不同噪聲強度下的仿真結果如圖7 所示，當ση=0.25 時，譯碼效果最差，恢復的圖像根本無法識別；當ση=0.50 時，譯碼的圖像可以識別；當ση=0.75 時，恢復的圖像效果最佳；ση=1.00 時效果與0.75 類似；隨著ση進一步增加到1.50，譯碼效果又開始變差。從圖8 可以看出，ση=0.75 時，圖像相似度最低，效果最優。實驗結果表明噪聲在BAM 神經網絡通信系統傳輸圖像中有積極功效，進一步驗證了BAM 通信系統和隨機共振在實際應用中的可實現性。

圖7 不同噪聲強度下的譯碼圖像Fig.7 Decoded images under different noise intensities

圖8 不同噪聲強度下譯碼圖像相似度Fig.8 Decoded image similarity under different noise intensities

4 結語

本文基于已有的對Hopfield 網絡通信系統的研究，進一步利用離散BAM 神經網絡構建了一種用于多元信號傳輸的通信系統。考慮隨機共振這一在非線性系統中可能存在的現象，在一定條件下，向系統神經元加入適量的高斯噪聲，使系統的傳輸效果得到一定改善；同時，改變輸入信號的幅值和碼元間隔也會對系統傳輸產生影響。進一步研究了系統傳輸不同進制的信號，發現對高進制信號的傳輸效果不佳，于是采用增加系統神經元數量的方式，發現可以有效降低系統的差錯概率。最后，結合實際應用，研究了本文系統傳輸圖像壓縮編碼時噪聲對圖像解碼質量的改善的問題，體現了隨機共振的實用性，為進一步研究BAM 神經網絡以及其他聯想記憶網絡做了基礎工作。此外，關于噪聲對系統起增益作用的臨界幅值、實際系統中碼元間隔和神經元數量的折中選取，這些問題值得進一步研究。