受限玻爾茲曼機的新混合稀疏懲罰機制

劉 凱，張立民，張 超

（1.海軍航空工程學院 電子信息工程學系，山東 煙臺264001；2.南海艦隊裝備部 軍械處，廣東 湛江524001）

基于能量模型的受限玻爾茲曼機（restricted Boltzmann machine，RBM）［1］以其簡單的人工神經網絡形式和快速的學習算法，受到越來越多機器學習研究人員的關注.目前，RBM 已經廣泛應用于數據降維［2］、語音識別［3］、3D 物體識別［4］、圖像轉換［5］以及高維時間序列建模［6］等機器學習問題，進而催生出一個機器學習的新領域——深度學習［7］.

RBM 在訓練過程中存在特征同質化［8］現象.特征同質化原因在于RBM 學習到的特征過于相似，表現在模型連接權值列之間的相似度過高.鑒于所有隱單元都是在互不影響的基礎上同時對訓練數據進行無監督訓練，所以當訓練數據中存在某種共有特征時，隱單元在學習過程中均會受其影響.當隱單元數量過少時，特征同質化問題尤為突出.Lee等［9］證明由于模型學習受到數據共有特征的影響，會導致隱單元后驗激活概率均偏高，影響數據的特征提取以及有效信息的丟失.目前克服該問題的方法是通過在訓練過程中增加稀疏懲罰因子以調節隱單元的稀疏性，且已有多種RBM 稀疏懲罰因子被提出.Lee等［9］提出基于誤差平方和的稀疏懲罰因子，通過稀疏化隱單元的偏置來克服同質化問題.Hinton［10］提出基于交叉熵的稀疏懲罰因子，通過連接權值和隱單元偏置進行RBM 稀疏化，并應用于深度信念網絡的構建.Luo等［11］鑒于特征之間的統計相關性，通過引入隱單元激活概率的混合范數，構建了稀疏組受限玻爾茲曼機（sparse group restricted Boltzmann machine，SGRBM），但存在隱單元分組方式不明、無分組依據以及分組含義模糊等問題.Guo等［12］對SGRBM 進行擴展，構建了混合范數稀疏組受限玻爾茲曼機，通過增加范數調節因子更好地實現RBM 組內和組間稀疏，但仍然沒有解決分組策略模糊的問題.鑒于以上模型的優缺點，本文提出一種混合形式的稀疏懲罰機制（hybrid sparse penalty mechanism，HSPM），并將其應用到RBM 訓練以及深度學習模型——深度玻爾茲曼機（deep Boltzmann machine，DBM）的初始化中.該策略首先利用交叉熵稀疏懲罰因子對RBM 進行稀疏化處理，保證隱單元激活概率被設定在一個較低的水平上；然后引入基于連接權值列相似度的隱單元分組策略，構建隱單元稀疏組，進一步克服特征同質化問題.

1 稀疏受限玻爾茲曼

受限玻爾茲曼機是在玻爾茲曼機的基礎上增加限定條件形成的，即層內單元無連接、層間單元全連接.稀疏 受 限 玻 爾 茲 曼 機（sparse restricted Boltzmann machine，SRBM）通過在RBM 訓練目標函數疊加稀疏懲罰因子形成，且RBM 的訓練即為最大化訓練目標函數.

1.1 誤差平方和稀疏懲罰因子

Lee等［9］通過在RBM 最大似然目標函數中增加基于誤差平方和的稀疏懲罰因子設計了SRBM，并給出了SRBM 的標準訓練目標函數為

式中：N 為訓練樣本個數；λ 為正則化常量，用于控制稀疏懲罰因子影響的；vn為第n 個訓練樣本；Pe代表稀疏懲罰因子；P （vn）為vn的條件概率.

誤差平方和稀疏懲罰因子為

Lee等［9］指出，當應用SRBM 對自然圖像進行特征提取時，SRBM 可以學習到類似于Gabor濾波的特征，該特征與人腦V1區簡單細胞感應區十分相似.但該稀疏懲罰因子存在以下3個問題.

1）SRBM 的稀疏懲罰因子是隱單元的平均激活概率與p 之間的絕對誤差平方和.當隱單元平均激活下降到p 附近時，Ps的作用隨之減弱.

2）SRBM 的稀疏懲罰因子只影響隱單元偏置，沒有考慮RBM 的連接權值.

3）SRBM 的隱單元仍保持相互獨立的條件，但鑒于訓練數據共有特性的影響，訓練后的隱單元并不是完全獨立.因此，忽略隱單元間的統計相關性而單純降低所有隱單元的激活概率，并不能完全改善特征同質化問題.

1.2 交叉熵稀疏懲罰因子

相比于絕對誤差平方和，交叉熵更適用于描述2個小概率分布之間的差異［13］.Hinton［10］利用交叉熵概念提出了新的交叉熵稀疏懲罰因子：

Pc對RBM 的影響在于使RBM 在學習過程中的隱單元平均激活概率與p 之間的Kullback-Leiber距離達到最小，使隱單元具備整體稀疏性.

Hinton［10］的研究證明，相較于Ps，Pc的稀疏效果更好.但Pc同樣沒有解決隱單元之間的統計相關性問題.

1.3 稀疏組受限玻爾茲曼機

為解決隱單元間存在的統計相關性，Luo等［11］通過引入混合范數稀疏懲罰因子PL1／L2得到SGRBM，即首先完成隱單元分組并計算組內隱單元激活概率的二范數，隨后計算各個組的一范數.

2 混合稀疏受限玻爾茲曼機

針對已有RBM 稀疏懲罰因子存在的不足，提出HSPM，以更好地克服RBM 的特征同質化問題.

2.1 混合稀疏懲罰機制

在信號理論中，所謂變量稀疏是指該隨機變量僅在很少的時候取值非零，同時該值偏離0較遠.隱單元的稀疏化表示大多數隱單元處于不激活狀態，而僅僅部分隱單元表征訓練數據；對于某一特定隱單元來說，稀疏化表示該隱單元僅被用來表征很少一部分訓練數據，從而避免特征同質化問題.

鑒于Pc和PL1／L2的優缺點，確定混合稀疏受限玻爾 茲 曼 機（hybrid sparse restricted Boltzmann machine，HSRBM）的訓練方式和HSPM 機理：首先利用交叉熵稀疏懲罰因子實現RBM 的初始稀疏化，然后利用連接權值矩陣W 的列相似性構建隱單元稀疏組，最后進行SGRBM 訓練，整個流程如圖1所示.

圖1 混合稀疏懲罰機制流程圖Fig.1 Hybrid sparse penalty mechanism flowchart

2.2 隱單元自適應分組策略

Luo等［11］指出：通過隱單元分組，使得隱單元在訓練過程中不再條件獨立，而受到局部其他隱單元的影響.但對隱單元進行均勻分組并不符合RBM的訓練結果，因此需要研究新的隱單元分組策略.

RBM 的訓練是對數據進行特征識別，將原始數據空間按照已識別好的特征映射至多維0-1空間，一組樣本對應的0-1序列就是多特征組合.因此，隱單元分組主要取決于不同特征之間的相似度（本文以余弦相似度為例）.設定RBM 模型連接權值大小為可見單位維數×隱單元維數，則連接權值的列數等于隱單元個數，因此不同的列就是模型學習到的不同特征.隱單元的自適應分組即是對連接權值的列進行自適應分組，其步驟如下所示：

1）選擇連接權值的某一列j，若對應的隱單元沒有參與分組，則計算該列與任意列i的余弦相似度，得到余弦相似度Sj-i；

2）比較Sj-i與分組參數α 的大小，若Sj-i＞α 則列j 與i合并為一組，否則不合并；

3）重復1）和2），直至ij遍歷完所有列.

由上可見，隱單元經過分組以后，相似度高的合并在一組內，而與其他隱單元差別較大的單元被單獨分離出來.通過這種策略實現的隱單元分組，并不是單純依靠經驗進行，更加符合RBM 的訓練現狀，分組個數和組內單元個數也具有較強的自適應性.

下面對分組策略的可行性進行分析.由文獻［11］可知，對RBM 隱單元分組實質上是通過正則化方法懲罰組內隱單元的總體激活程度，使組內隱單元在學習過程中不再條件獨立，保證組內隱單元的相關性.以W 的學習為例，PL1／L2對其第j列的更新影響為

Luo等［11］證明，ΔW.j使得隱單元j 學習表示vn的速度會受到因子τ 的影響而變緩：

圖2 τ因子隨單個隱單元激活概率的變化曲線Fig.2 Curves ofτfactor with change of single hidden unit activation probability

2.3 參數更新

作為非監督訓練的一個典型方法，訓練RBM就是最大化訓練集的對數似然概率［14］.模型訓練使用的是隨機梯度下降法，對目標函數的參數求偏導，以此得出模型參數的更新值［15］.

下面介紹在HSPM 中不同稀疏懲罰因子對模型參數的影響，并闡明其中不同變量的含義.

1）交叉熵稀疏懲罰因子對參數的影響

對于隱單元j，Pc對W.j和隱單元偏置bj的更新如下式所示：

2）隱單元分組稀疏對參數的影響

PL1／L2對RBM 參數的更新如下式所示：

2.4 混合稀疏深度學習模型

深度學習是一種建立、模擬人腦進行分析學習的神經網絡.該模型通過模仿人腦處理信息機制來解釋數據.通過組合低層特征，形成更抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示，其特點就是具有多隱藏層的感知器結構.

DBM 和深度信念網絡（deep belief net，DBN）是2種常見的深度學習模型，均由多層RBM 疊加而成.不同之處在于DBM 的中間層與相鄰層是雙向連接的RBM，而DBN 只有最頂層是雙向連接的RBM.由于DBM 和DBN 的學習均需要對疊加的RBM 進行貪婪逐層初始化訓練，將混合稀疏懲罰機制引入到模型訓練中，可以形成基于混合稀疏懲罰機制的深度學習模型：混合稀疏深度玻爾茲曼機（hybrid sparse deep Boltzmann machine，HSDBM）和混合稀疏深度信念網絡（hybrid sparse deep belief net，HSDBN）.

3 實 驗

實驗集采用修正美國國家標準與技術局（MNIST）手寫體字符識別數據集和多倫多人臉集（Toronto face database，TFD）［16］.其中MNIST 數據集包含0～9的10個手寫數字圖像，每幅圖像大小為28×28.隨機選取60 000幅圖像用于訓練，其余圖像用于測試.選用TFD 中4 178幅已經做好表情標識、大小為48×48的人臉圖像，包含高興、厭惡、害怕、憤怒、悲傷、驚訝以及平靜7 種表情.MNIST 實驗主要用于不同稀疏懲罰因子對于特征提取的有效性檢驗，而TFD 實驗用于RBM 特征提取的可視化顯示.

3.1 連接權值相似度度量

為了量化W 的列相似程度，提出一種基于W列余弦相似度的度量.對于維度大小為T×M 的矩陣W（T 為訓練數據維度），其列相似度為

Sim（W ）表示W 各列之間的平均余弦相似度.可以看出，Sim（W ）在區間［0，1.0］內，該值越大，表示W 各列之間越相似，也就表明各隱單元的相關性越強即特征同質化越嚴重.反之，說明特征同質化得到改善.

3.2 MNIST實驗及分析

為有效測試不同稀疏懲罰因子對于特征提取的有效性，從2個方面進行實驗對比：1）判斷稀疏懲罰因子是否能夠有效改善RBM 的特征同質化問題；2）檢驗HSRBM 在提取手寫字特征和增強隱單元稀疏度上是否優于SGRBM.

在RBM 訓練過程中，參數的學習速率統一設置為η＝0.01，循環次數κ≤1 000，p＝0.01，α＝0.7.在完成手寫字特征提取以后，采用LIBSVM［17］提供的徑向基支持向量機（RBF-SVM）和線性支持向量機（LSVM）作為最終分類器，其中參數設置除了核函數選擇不同外，其余均采用默認設置.

實驗1：設置不同的隱單元個數，分別計算采用誤差平方和、交叉熵稀疏懲罰因子形成的SRBM 連接權值的列相似度和分類準確率δ，實驗結果如表1所示，在分類準確率對應的列中，相同稀疏懲罰因子下的左右兩列數據分別以RBF-SVM 為分類器和以LSVM 為分類器的實驗結果.

表1 不同稀疏懲罰因子下RBM 的連接權值相似度和分類準確率的對比Tab.1 Comparison of RBM’s connect weights similarity and classified accuracies under different sparse penalty factors

從表1Sim（W ）列的縱向數據可以看出：隨著隱單元個數的增加，該值呈現減小的趨勢，這表明RBM 的特征同質化問題得到改善.在隱單元個數相同的條件下，采用Ps和Pc均使得Sim（W ）值變小.從δ的縱向數據可以看出：無論采用RBF-SVM 還是LSVM，當隱單元過小時，分類準確率較差，但當Pe≠0特別是Pe＝Pc時，δ變大；類似于Sim（W ）值，δ隨著M 的增加而變大，但會接近較為穩定的極值.同時，當M≤100時，采用RBF-SVM 的δ值高于LSVM 的δ值；當M 較大時，LSVM 的δ較大.

從以上分析可以得出3個結論：1）Pe能夠解決RBM 的特征同質化，并且Pc的稀疏性能優于Ps；2）當M 過小時，特征同質化較為明顯，隨著M 變大，該問題得到緩解；3）當樣本數N 遠超過M 時，SVM 選用非線性核較好，反之，應當采用線性核.

實驗2：由 表1 數 據 發 現，當M ＝16 時，Sim（W ）和δ 對Pe較為敏感.因此實驗2設置M＝16，訓練HSRBM 完成實驗.

通過HSPM，隱單元被自動分為12組，其中單元1與單元15一組；單元3與單元14一組，單元5與單元13一組，單元7與單元10一組，其余單元單獨成組.為了對比分組可行性，分別設置分組單元為2（8個稀疏組）和分組單元為1（16個稀疏組）的2種SGRBM 進行對比，實驗結果如表2所示.

表2 SGRBM 與HSRBM 的實驗結果對比Tab.2 Comparison of SGRBM and HSRBM experiment results

從表1和2可以看出，HSRBM 在Sim（W）和δ上均達到了最優結果.原因在于，HSRBM 內同組隱單元相關性較強，其τ值高于SGRBM 隨機分組后的相關τ值，使得隱單元特征更局部化.

為直觀顯示不同PE對于RBM（M＝16）特征同質化的影響，對W 進行可視化顯示（W 維數為784×16，故任意列向量可以看作是由28×28的圖像按照行序號首尾相接而形成的），其對應的列示意如圖3所示.

圖3 RBM 連接權值列示意圖Fig.3 Schematic diagram of RBM connection weights

如圖4所示為當PE＝0時的連接權值.可以看出，W 出現了嚴重的特征同質化現象，表現在C1-C4以及C5-C6對應的列向量極為相似，并且類似于白噪聲，因此這6列對于特征提取是沒有意義的.在測試集中，相對應的隱單元P （hj）＝0.99，方差不超過0.000 1，此結果證明了這一問題.如圖5所示為當Pe＝Pc時的連接權值.可以看出，特征同質化現象已經得到了抑制，但仍然存在，如：C1與C15相似度過高，這也可以從隱單元自適應分組結果中看出.

圖4 Pe＝0的RBM 連接權值可視化Fig.4 Visualization of RBM connection weights when Pe＝0

圖5 Pe＝Pc的SRBM 連接權值可視化Fig.5 Visualization of SRBM connection weights when Pe＝Pc

圖6 Pe＝PL1／L2 的SGRBM 連接權值可視化Fig.6 Visualization of SGRBM connection weights when Pe＝PL1／L2

如圖6所示為當Pe＝PL1／L2時的連接權值，可以看出SGRBM均存在較為嚴重的特征同質化現象，例如圖6（a）中C7 和C13、圖6（b）中C4、C9、C10、C14和C16，并且可以從出現特征同質化的W列數量上判斷出，組內單元個數為1的SGRBM 其δ較好，但低于交叉熵稀疏懲罰因子.

如圖7所示為HSPM 下的連接權值，從圖中可以看出，連接權值沒有出現類似于圖5的高斯白噪聲圖像，并且結合表2 數據，證明了HSRBM 的連接權值相似度和分類準確率均較好.

圖7 基于HSPM 的RBM 連接權值可視化Fig.7 Visualization of RBM connection weights based on HSPM

3.3 TFD人臉實驗及分析

由于手寫數字圖像提取出的特征過于抽象，難以解釋隱單元分組含義，選用TFD 集作為實驗對象，以給出隱單元分組的直觀解釋.

實驗設定：定義T＝2 304和M＝20，其余參數參照MNIST 實驗設置，并按照3.2節中連接權值的顯示.經過訓練，無稀疏懲罰因子的連接權值如圖8所示（列示意類似于圖3）.可以看出，大多數列沒有學習到有效的人臉表情特征，而是出現了特征同質化，表現在所有列對應的表情大體相似，差別較大的只是五官，如C7、C8、C15以及C19等.

圖8 TFD實驗中Pe＝0的RBM 連接權值可視化Fig.8 Visualization of RBM connection weights when Pe＝0in TFD experiments

圖9 TFD實驗中Pe＝Pc的SRBM 連接權值可視化Fig.9 Visualization of SRBM connection weights when Pe＝Pcin TFD experiments

如圖9所示為當Pe＝Pc時的連接權值可視化圖.可以看出，經過隱單元稀疏化以后，各列已經顯示出較為明顯的表情變化，且各列的五官相互之間有了較大的差別，但是仍然存在著個別列模糊不清的問題，如C4和C18.

在SRBM 基礎上執行HSPM，隱單元被自動分為13組，其中單元1、8、13、20一組；單元3與14一組；單元10與11一組；單元15與16、17一組；其余單元各自成組.其模型的連接權值可視化如圖10所示.

圖10與圖9之間的絕對值差如圖11所示，表示經過分組稀疏以后，連接權值的更新度.從圖中可以看出，經過RBM 后續的稀疏分組，連接權值增強了原SRBM 的表情特征.

圖10 TFD實驗中基于HSPM 的RBM 連接權值可視化Fig.10 Visualization of RBM connection weights based on HSPM in TFD experiments

圖11 TFD實驗中HSRBM 與SRBM 連接權值差值可視化Fig.11 Visualization of connection weights'D-value between HSRBM and SRBM in TFD experiments

圖12 TFD實驗中HRBM 隱單元組示意圖Fig.12 Schematic of HRBM hidden unit groups in TFD experiments

如圖12所示為HSRBM 中組內單元較多的隱單元組對應的W 列示意圖.可以發現，相同組內的表情較為接近，且這4個組分別類似于高興、悲傷、平靜以及驚訝的表情.因此，TFD 中的隱單元分組可視為人臉不同表情的分組.

3.4 混合稀疏深度玻爾茲曼機

當前RBM 的主要應用在于初始化深度學習網絡［18］.DBM 對于數據的泛化能力較強于DBN［19］，因此實驗只采用HSRBM 初始化DBM，從而構建HSDBM.

在MNIST 集上，使用Salakhutdinov等［20］提出的網絡結構，即使用HSRBM 初始化784-500-200網絡，稀疏系數同以上實驗.在完成深層結構的貪婪逐層初始化以后，使用BP算法對網絡參數進行精調，最終得到分類準確率為99.02%.相比于Salakhutdinov等［20］給出的準確率98.86%，有了較大提高.

4 結 語

本研究提出了一種基于RBM 的混合稀疏懲罰機制，并在MNIST 集和TFD 集上進行了實驗驗證.模型的訓練分為3步：利用Pc對RBM 進行初始訓練；按照連接權值對隱單元分組構建隱單元稀疏組；利用SGRBM 訓練方法對模型參數進行精調.Pc保證RBM 的稀疏性得到優化，隱單元自動分組策略使得同組內隱單元保持較強的統計相關性，從而提高組內懲罰度.實驗結果表明：HSRBM 在處理特征同質化問題上優于以往的SRBM 模型.今后工作應當繼續嘗試新的稀疏懲罰因子，并詳細分析模型參數對訓練學習的影響，將深度學習模型應用到更多領域.

（

）：

［1］劉建偉，劉媛，羅雄麟.玻爾茲曼機研究進展［J］.計算機研究與發展，2014，51（1）：1-16.LIU Jian-wei，LIU Yuan，LUO Xiong-lin.Research and development on boltzmann machine［J］.Journal of Computer Research and Development，2014，51（1）：1-16.

［2］陳宇，鄭德權，趙鐵軍.基于Deep Belief Nets的中文名實體關系抽取［J］.軟件學報，2012，23（10）：2572-2585.CHEN Yu，ZHENG De-quan，ZHAO Tie-jun.Chinese relation extraction based on deep belief nets［J］.Journal of Software，2012，23（10）：2572-2585.

［3］MOHAMED A，DAHL G E，HINTON G E.Acoustic modeling using deep belief networks［J］.IEEE Transactions on Audio，Speech，and Language Processing，2012，20（1）：14-22.

［4］SCHMAH T，HINTON G E，ZEMEL R，et al.Generative versus discriminative training of RBMs for classification of fMRI images［C］∥Proceedings of the 22rd Annual Conference on Neural Information Processing Systems.Whistler：NIPS，2008：1409-1416.

［5］MEMISEVIC R，HINTON G E.Unsupervised learning of image transformations ［C］∥Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE，2007：1-8.

［6］TAYLOR G W，SIGAL L，FLEET D J，et al.Dynamical binary latent variable models for 3D human pose tracking［C］∥Proceedings of 2010IEEE Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE，2010：631-638.

［7］林妙真.基于深度學習的人臉識別研究［D］.大連：大連理工大學，2013：24-69.LIN Miao-zhen.Research on face recognition based on deep learning［D］.Dalian：Dalian University of Technology，2013：24-69.

［8］羅恒.基于協同過濾視角的受限玻爾茲曼機研究［D］.上海，上海交通大學，2011：70-79.LUO Heng.Restricted Boltzmann machines：a collaborative filtering perspective［D］.Shanghai：Shanghai Jiao Tong University，2011：70-79.

［9］LEE H，EKANADHAM C，NG A.Sparse deep belief net model for visual area V2［C］∥Proceedings of the 21rd Annual Conference on Neural Information Processing Systems.Vancouver：NIPS，2007：873-880.

［10］HINTON G E.A practical guide to training restricted Boltzmann machines［R］.Canada，Toronto University：Machine Learning Group，2010.

［11］LUO H，CHANG Y N，RUI M S，et al.Sparse group restricted boltzmann machines［C］∥Proceedings of 25th Conference on Innovative Applications of Artificial Intelligence.San Francisco：AAAI，2011：1207-1216.

［12］GUO R，QI H.Partially-sparse restricted boltzmann machine for background modeling and subtraction［C］∥Proceedings of 2013IEEE Conference on Machine Learning and Applications.Piscataway：IEEE，2013：209-214.

［13］吳一全，張曉杰，吳詩婳.2維對稱交叉熵圖像閾值分割［J］.中國圖像圖形學報，2011，11（8）：122-126.WU Yi-quan，ZHANGE Xiao-jie，WU Shi-hua.Twodimensional symmetric cross-entropy image thresholding［J］.Journal of Image and Graphics，2011，11（8）：122-126.

［14］BENGIO Y.Learning deep architectures for AI［J］.Foundations and Trends in Machine Learning，2009，2（1）：1-127.

［15］LENG B，ZHANG X，YAO M，et al.A 3D model recognition mechanism based on deep Boltzmann ma-chines ［J］. Neuro Computing，2015，151 （2）：593-602.

［16］SUSSKIND J.The Toronto face database［R］.Canada，Toronto University：Machine Learning Group，2011.

［17］CHANG C C，LIN C J.LIBSVM：a library for support vector machines［J］.ACM Transactions on Intelligent Systems and Technology，2011，2（3）：27-33.

［18］KUREMOTO T，KIMURA S，KOBAYASHI K，et al.Time series forecasting using a deep belief network with restricted Boltzmann machines［J］.Neuro computing，2014，137（5）：47-56.

［19］SRIVASTAVA N，SALAKHUTDINOV R.Multimodal learning with deep Boltzmann machines［J］.Journal of Machine Learning Research，2014，15（4）：2949-2980.

［20］SALAKHUTDINOV R，HINTON G E.Deep Boltzmann machines［C］∥Proceedings of 12th International Conference on Artificial Intelligence and Statistics.Florida：AISTATS，2009：448-455.