SOFM網絡在矢量量化的應用

李 靜，富中華

(山西大同大學物理與電子科學學院，山西大同 037009；2.山西大同大學綜合分析與測試中心，山西大同037009)

SOFM網絡在矢量量化的應用

李 靜1，富中華2

(山西大同大學物理與電子科學學院，山西大同 037009；2.山西大同大學綜合分析與測試中心，山西大同037009)

矢量量化作為一種高效的數據壓縮技術，在語音和圖像的編碼、傳輸中都有廣泛的應用，其關鍵在于碼書設計。碼書的好壞直接影響語音、圖像的編碼質量。本文針對經典LBG算法對初始碼書敏感及整體訓練時間較長這兩個缺陷，著重研究SOFM算法在這兩方面的性質和特點，結果證實SOFM算法相對于LBG算法訓練時間較短，且利用SOFM網絡設計的碼書受初始碼書的影響小，具有很強的自適應性，很好的改善了LBG算法在這兩方面的缺陷。

矢量量化；SOFM神經網絡；初始碼書；訓練時間

矢量量化[1]作為一種高效的數據壓縮技術，它能更好地去除信號的相關性，取得更好的壓縮效果，因此在語音和圖像的編碼、傳輸中都有廣泛的使用。矢量量化中的一個關鍵問題，就是碼書的設計，一個好的碼書能直接提升語音和圖像的編碼質量。矢量量化中經典的是LBG算法，該算法以其充分的理論依據，嚴謹的推導過程，清晰的物理概念，較強的通用性和可實現性，在矢量量化初期得到了廣泛的認可。但在應用中也逐漸發現了一些缺陷[1]，比如：若要從碼書中搜索最近碼字，則需要預留大量的存儲空間，搜索過程中所涉及的計算也相對比較繁瑣。其次，碼書的訓練依賴于初始碼書的選擇，選擇的好壞直接影響碼書的收斂速度。另外，該碼書不能自適應跟蹤信源統計特性，且訓練時間比較長。為了克服這些缺陷，人們不斷研究和改進，之后開始廣泛使用神經網絡的方法。

在神經網絡模型中，有一種競爭學習分類網絡，簡稱SOFM神經網絡，也稱Kohonen網絡，在這個網絡中任意時刻只有一個神經元處于激活狀態，它是一個模仿了發生在大腦中映射的人工系統。SOFM神經網絡結構簡單、自組織學習能力強、學習速度快、受初始碼書影響小、抗信道誤碼能力強、生成的碼書適應性強，因此被廣泛應用于碼書設計。本文通過實驗研究SOFM算法，實驗表明SOFM算法應用于碼書設計中訓練時間較短，生成的碼書受初始碼書影響小，且可以自組織地進行學習訓練，具有很強的自適應性。

1 SOFM算法

1.1 簡述SOFM運行原理

SOFM神經網絡[2,4]運行時要經歷訓練、工作兩個階段，整個過程是自發地一種競爭，無需外界的監督。在訓練階段，當隨機輸入的訓練集樣本確定時，在輸出層中總有一個獲勝節點會對某個特定模式產生最大響應，而在訓練開始前，我們對該獲勝節點的位置并不確定，對于不同的輸入模式，獲勝節點所處的位置也不同。確定了獲勝節點之后，由于側向相互興奮的影響，導致其周圍的節點響應也較為強烈，于是獲勝節點及其鄰域內的所有節點所連接的權值向量均向輸入矢量的方向調整，調整的力度決定于鄰域內各節點與獲勝節點之間的距離，一般情況下，距離越近，調整力度越大，反之，調整力度減弱。以上是對訓練集中一個樣本學習的過程。在實際應用過程中，要調整SOFM網絡的權值需要使用大量訓練樣本，最后使輸出層節點對特定模式類敏感，相應的權值向量也就成為該模式類的中心向量，在輸出層形成一個有序特征圖，來反映樣本的分布情況，形成一個模式分類器供工作階段使用。訓練結束后，即可進入工作階段，在工作階段，就是用已經訓練好的連接關系來做模式分類。若輸入的模式在訓練階段未出現過，SOFM網絡會將它歸入最接近模式類。

1.2 利用SOFM算法實現碼書設計

假設輸出層采用二維平面陣的形式，網絡的幾個基本參數為：輸入訓練矢量集為{X1,X2,…,Xn}，矢量維數k，連接權矢量為W={W1,W2,…Wm}，網絡有k個輸入節點，m個輸出節點，輸入節點到輸出節點的權值為wjl，l∈[1,k]，j∈[1,m]，即權矢量Wj的第l個分量。則輸入矢量Xi與權矢量Wj之間的失真測度d(Xi,Wj)常采用歐式距離的平方來表示，其表達式如下：

在如上假設基礎上，畫出SOFM網絡學習流程，如圖1所示。

圖1 SOFM算法流程圖

據此流程圖，可以將SOFM算法步驟描述如下：

第一步：權值初始化。

一般將權值向量設置為一些較小的非零隨機數，通常取[0,1]區間內的隨機值，并將其記作wjl(0)，對于不同的神經元j(j=1,2,...m)，權值向量的值wjl(0)是不相等的。另外，定義學習速率初始值為η(0)，鄰域初始值為Nc(0)，總迭代次數為T。

第二步：輸入訓練矢量。

將訓練集中的矢量Xi={Xi1,Xi2,…,Xik}并行輸入到神經元中，其中i∈[1,n]。注意每次只訓練矢量集中的一個矢量，待第四步結束后再訓練下一個矢量。

第三步：計算失真測度，找出獲勝神經元。

按照式（1）計算輸入矢量與輸出節點矢量之間失真測度dj，選擇使dj最小的節點（神經元）j*作為獲勝節點（神經元）。

第四步：調整權值向量。

對節點j*及其鄰域內的節點的連接權值按下式進行更新：

其中，η(t)（0≤η(t)≤1）為第t次迭代的學習速率，Nc(t)為j*的一個歐式鄰域，它們均按時間單調遞減。

第五步：重復進行第二步到第四步，依次將剩余的訓練矢量提供給網絡輸入層，直至訓練矢量集中的n個矢量全部輸入并訓練一次之后，進行第六步。

第六步：更新學習速率η(t)及鄰域Nc(t)。學習速率和鄰域的選擇及更新無固定的理論公式，只要兩者的形式保持一致即可。

第七步：令t=t+1，返回第二步進行再次訓練，直至t=T為止。

至此，自組織學習結束。

整個過程就是要尋找與輸入訓練矢量Xi最接近的連接權矢量Wc，鄰域Nc(t)不斷減小，Wc一步步向輸入矢量Xi接近的方向調整，最終找到最合適的碼書。

2 實驗結果與分析

2.1 步長對輸出結果的影響

本實驗在訓練矢量集和初始碼書不作改變的前提下選取不同步長進行觀察實驗，實驗結果如圖2～圖10所示。

圖2 輸入訓練矢量集合

圖3 初始隨機碼書

圖4 訓練步長20時的訓練結果

圖5 訓練步長180時的訓練結果

圖6 訓練步長340時的訓練結果

圖8 訓練步長1000時的訓練結果

圖9 訓練步長1500時的訓練結果

圖10 訓練步長2000時訓練結果

這里選擇的初始碼書為一組分布在[0,0.1]之間的隨機值，與輸入訓練樣本無關。由圖4～圖11可以看出，在訓練20步、180步時，根本無法反映輸入模式的分布信息，甚至25個碼字都不能完全直觀地顯示在圖中；隨著訓練步長的增大，能夠清晰顯示在圖中的碼字數目增多，但是仍未能有效地反映輸入模式信息；到340步、500步時，碼字分布變得清楚明了，對比訓練矢量集圖形，可以看出輸出碼書的分布與輸入矢量集的分布越來越接近；繼續增加步長數進行訓練，到1000步、1500步時輸出碼書分布基本能完全反映輸入模式的聚類信息了，并且不再變化。

可見，SOFM神經網絡能夠通過自組織學習方式，用各神經元之間的連接權向量分布來反映輸入矢量集的空間概率分布。通過步長的改變所體現的結果還可以說明，對于復雜的網絡及樣本，若給定較小的迭代次數，則迭代往往還沒有收斂，學習就結束了，無法反映聚類信息；若給定太大的迭代次數，又會造成過擬合，這樣在樣本數目龐大時，是極大的浪費，如本實驗中的1500步、2000步等大步長訓練結果，反映信息與1000步完全相同，卻延遲了網絡收斂時間；所以，應用過程中，應結合輸入模式樣本數目選擇合適的迭代次數，在不造成浪費的情況下，迭代次數越大，網絡收斂效果越好，越能體現輸入模式的信息。

2.2 初始碼書對輸出結果的影響

本實驗在輸入訓練矢量集不變，迭代次數一定的情況下，共選取10組不同的初始碼書進行訓練，并記錄輸出結果，意在考察輸出碼書的性能是否受到初始碼書選取的影響，隨機抽取4組實驗結果如圖11所示。

圖11左側是4個不同的初始碼書分布圖，右側是與它們逐一對應的訓練后輸出碼書分布圖。觀察發現，左側初始碼書具有不同的數據，不同的分布，而它們訓練后得到的輸出權值矢量分布幾乎完全相同。

可見，SOFM網絡對初始碼書的選擇不太敏感，對同一個輸入模式，選擇確定的SOFM網絡，無論初始碼書如何，得到的SOFM收斂性能都是相近的。所以，初始碼書的選擇對SOFM算法的收斂效果影響不大。

圖11 不同初始碼書對應的輸出碼書分布

3 結束語

通過實驗分析可以看出，SOFM算法對于不同的初始碼書能夠產生相同或相似的權值矢量，所以初始碼書的選取不影響SOFM網絡的收斂效果。另外，由于在SOFM算法中神經元的權值是實時更新的，因而當樣本集的尺寸和碼書的尺寸都很大時，采用SOFM算法可以加快更新的速度。所以，只要選擇適當的學習速率η(t)和鄰域函數Nc(t)，SOFM算法生成碼書的性能優于LBG算法，可以在語音、圖像編碼中進行廣泛的使用。

[1]譚建豪,章兢.基于SOFM神經網絡的IP電話語音壓縮編碼設計[J].計算機與現代化，2006(1)：1-4.

[2]趙群群.基于SOFM的直接矢量量化方法在LD-CELP語音編碼算法中的應用[D].太原理工大學，2008：6.

[3]諶德榮,陶鵬,宮久路,等.一種基于SOFM神經網絡的高光譜圖像快速分類方法[J].兵工學報,2009(2)：165-169.

[4]樊勁輝,陸薇,李爭.一種改進的SOFM聚類算法研究[J].河北科技大學學報,2012(6)：514-518.

Application of the SOFM Neural Network in Vector Quantization

LI Jing1,FU Zhong-hua2
（1.School of Physics and Electronic Science,Shanxi Datong University,Datong Shanxi,037009;2.Comprehensive Analysis and Test Center,Shanxi Datong University,Datong Shanxi,037009）

Vector quantization as a highly efficient data compression technology has been widely used in voice and image compression coding and transmission.The key problem of VQ is codebook design,because codebook has direct impacts on voice and video encoding quality.There are two serious shortcomings about the classic method LBG algorithm.It is sensitive to the initial codebook and training time is long.To solve these two problems,the text mainly research SOFM algorithm property and point of these two aspects,the result confirms that the codebook designed by SOFM network suffers small impact from the initial code book,and it can self-organized proceed study discipline,and have very strong adaptability.So we can see it well improved LBG algorithm's shortcomings in these two aspects.

vector quantization;self-organizing feature maps;initial codebook;training time

TN912.3

A

1674-0874(2015)04-0029-04

2014-12-16

李靜(1986-)，女，山西大同人，碩士，助教，研究方向：語音編碼。

〔責任編輯 高彩云〕