彈性RBF神經網絡在人臉識別中的應用研究

趙文可，孫玉國

（上海理工大學 光電信息與計算機工程學院，上海 200093）

0 引言

隨著模式識別領域的不斷發展，生物特征識別已經越來越多地應用于身份識別驗證領域。人臉識別作為一種模式識別技術，因其識別便捷、識別對象不易偽裝，以及對用戶的友好性和低侵犯性等特點，在檔案管理系統、安全驗證系統、信用卡驗證、公安系統的罪犯身份識別、銀行和海關的監控、人機交互等領域有著重要應用[1]。

徑向基函數（Radial Basis Function，RBF）神經網絡是一種模仿人類視神經系統的前饋型神經網絡，已經被證明對于任意非線性函數都有著良好的逼近能力，解決了BP網絡[2-3]容易收斂于局部最優解的問題[4]。其中，RBF神經網絡的隱含層作為非線性轉換的關鍵層，模仿了某些生物神經元“內興奮外抑制”功能。RBF神經網絡隱層神經元數、隱層基函數中心、基函數的寬度以及輸出權值對網絡的學習起關鍵作用。RBF神經網絡的優化問題不但包括隱層神經元數目的增減，還有徑向基函數中心、寬度以及輸出權值等參數的優化。

本文基于一種彈性 RBF（E-RBF）神經網絡結構優化設計方法設計人臉識別系統，該算法基于神經元的活躍度以及神經元修復準則，調整RBF神經網絡隱含層神經元的各參數以及隱含層與輸出層神經元之間的連接權值，獲得一種彈性RBF神經網絡[5]。E-RBF神經網絡實現了神經網絡的結構和參數自校正，具有良好的自適應能力和逼近能力，與其他自組織RBF神將網絡相比，在泛化能力、最終網絡結構等方面有較大提高。

1 神經元修復準則

神經系統中神經元之間的連接變化分為連接斷開和連接加強兩種方式，斷開時神經元之間不在相互傳送信息，加強時相應神經元之間信息傳送能力加強[6]。

根據神經元的修復機制，提出如下神經元修復準則：

首先根據香農熵理論，求出神經元X和Y的連接強度為

其中， H ( X)為神經元X的香農熵， H ( Y|X)為神經元Y在X條件下的熵[7]。

其次規則化神經元的連接強度：

其中0 ≤ m ( X; Y) ≤ 1，與神經元X和Y的連接強度正相關。

2 E-RBF 神經網絡

在設計人臉識別系統時，首先要做的是找出一些最具代表性的特征，然后根據這些特征去進行訓練。Karhunen-Loeve變換（簡稱 K-L）變換，是一種常用的特征提取方法，它以最小均方誤差為準則進行數據壓縮，是最小均方誤差意義下的最優正交變換。

E-RBF神經網絡是一種基于神經元的活躍度以及神經元修復準則的RBF神經網絡結構優化設計方法，其主要思想為：首先，利用神經元的活躍度函數判斷神經元的活躍性，對活躍性較強的神經元進行分裂；其次，利用神經元修復準則計算交互信息相關性函數，分析RBF神經網絡隱含層神經元與輸出層神經元間的連接強度，根據神經元交互信息強度對網絡結構進行修改；最后，對于隱含層神經元，利用快速下降算法對連接權值進行修改，利用梯度下降算法對基函數的中心和方差進行修改[8]。

2.1 神經網絡初始化

RBF神經網絡結構如圖1所示，由一個輸入層、一個隱含層和一個輸出層組成。本文采用高斯函數作為RBF神經網絡的隱含層基函數，設輸入層的輸入 x ∈Rn，第i個基函數的中心C ∈Rn(i = 1,2,…,m)，

i n為輸入層神經元的個數，m為隱含層神經元的個數，輸出層的實際輸出 Y ∈Rk，k為訓練樣本類別數，即輸出層神經元個數，則隱含層第i個神經元的輸出為

式中iσ為第i個基函數的寬度。輸出層輸出

式中ijw為隱含層第i個神經元與輸出層第 j個神經元連接權值。

初始化隱含層神經元個數為輸出層神經元個數，計算第 j類樣本的均值作為隱含層第 j個基函數的中心，以第 j類樣本中距離第 j個基函數的中心的最遠距離為基函數的寬度jσ。

圖1 RBF 神經網絡結構Fig.1 RBF neural network

2.2 神經元分裂

計算隱含層神經元的活躍度：

其中，A fi是隱含層第i個神經元的活躍度，τ是為了避免||x - Ci||為零時（5）式無解而設定的一個較小實數值。

設置活躍度閾值 A f0，當 A fi＞Af0時，隱含層第i個神經元為活躍神經元。對活躍神經元進行分裂，新神經元的初始中心及寬度：

新增神經元個數 Nnew根據第i個神經元的活躍度確定， Cii'和 σii'分別表示第 i'個新增神經元的中心和寬度，αi'∈[0.95,1.05]，βi'∈[0,0.1]。新神經元與輸出神經元之間的連接權值：

其中， ri'為第 i'個新增神經元的分配參數，Ri( x)為被分裂的神經元i的輸出， Rii'(x)為分裂后的新神經元 i'的輸出， wij和 wi'j分別為被分裂神經元和新神經元與第 j個輸出層神經元的連接權值，e為神經網絡當前誤差。

2.3 神經元連接調整

神經元連接調整作用于隱含層神經元和輸出層神經元之間。首先計算第i個隱含層神經元和第 j個輸入層神經元的交互信息強度 m ( i, j)，并設置交互信息強度閾值γ，如果m( i, j)＞γ，保留神經元之間的連接，如果m( i, j)＜γ，則斷開神經元之間的連接，在隱含層中找出與第i個神經元歐氏距離最近的神經元i*，調整神經元 i*參數

2.4 隱含層參數及連接權值調整

設共有N個訓練樣本，輸入矩陣為 X ∈ Rn×N，隱含層的輸出矩陣 R ∈ Rm×N，輸出層的實際輸出矩陣 Y ∈ Rk×N，輸出層期望輸出 T ∈ Rk×N，權值矩陣W ∈ Rk×m，神經網絡逼近誤差e = Y - T 。

誤差函數定義為

令 Zni( s) = Xn- Ci( s)，根據梯度下降原理，

其中，s為迭代次數，101δ＜＜，201δ＜＜，01δ＜＜為參數學習速率，TR為R的轉置矩陣，通?；瘮祵挾鹊膶W習速率大于中心的學習速率時，分類器取得較好的性能（一般取212δδ=）。

2.5 E-RBF 神經網絡訓練流程

基于以上判斷和調整，實現對神經網絡結構的優化，具體訓練過程如下：

搭建RBF神經網絡，初始化隱含層單元。

計算神經元的活躍度，并根據活躍度大小判斷是否分裂神經元。若分裂，則根據式（7）和式（8）設定新神經元的初始參數。

計算隱含層神經元與輸出層神經元之間的連接強度m，如果m大于等于閾值，則跳到步驟（4），否則跳到步驟（5）。

刪除該隱含層神經元，在隱含層尋找與原神經元歐氏距離最近的神經元，根據式（11）設定選中神經元的參數。

采用梯度下降算法，調整隱含層神經元的中心值和寬度；采用快速下降算法，調整隱含層與輸出層間的連接權值。

滿足所有停止條件時停止訓練，否則判斷結構是否調整結束。結構調整結束則轉向步驟（5），否則轉向步驟（2）。

3 實驗與分析

實驗選用 ORL人臉數據庫作為實驗數據集，ORL人臉數據庫共包括40個人，每人10張分辨率為112×92人臉圖像樣本。圖像樣本包括表情變化，細微姿態變化，20%以內的尺度變化。

本文首先基于K-L變換對圖像數據進行降維處理，提取圖像的主要特征，去除數據之間的相關性與冗余性，獲得樣本數據。之后，隨機在每類人臉中選擇5張圖片作為訓練樣本，其余5張作為測試樣本。采用本文算法進行訓練，選擇0.01τ=，當選擇不同的活躍度閾值0Af時，隱含層神經元個數如表1所示。

表1 活躍度閾值對應的隱含層神經元個數Tab.1 Number of hidden layer neurons and active degree threshold

通過比較各類子訓練樣本到各自樣本中心的最大距離和各子樣本中心間的距離，選擇活躍度閾值為0.01。以函數誤差的變化率小于0.01，迭代次數小于1000為閾值，在學習速率相同的條件下，隱含層神經元和輸出層神經元之間信息強度閾值γ與函數誤差E的關系如表2所示。

表2 信息強度閾值對函數誤差的影響Tab.2 Influence of information intensity threshold on function error

由表2可知，當γ=0.05時，分類器能夠取得較好的訓練精度。雖然 δ = 0 .15時函數誤差較小，但是在訓練過程中現了誤差反彈現象，在1000次迭代范圍內，函數誤差的變化率難以收斂到給定閾值。另外，當δ＜0.10時，誤差收斂速度明顯變慢，在給定閾值條件下的函數誤差偏大，所以本文中學習速率選擇0.10。誤差變化曲線如圖2所示。

圖2 學習速率為0.10時誤差變化曲線Fig.2 Error variation curve when learning rate is 0.10

圖3 為某一人臉識別過程，其中，第一行為待識別人臉，第二行為判斷待識別人臉所屬類別的所有訓練樣本圖片。輸入待識別人臉，功能實現確定待識別人臉所屬類別，顯示屬于本類別的所有訓練樣本圖片。

表3為E-RBF神經網絡與BP神經網絡[9]及傳統RBF神經網絡的實際訓練效果，以訓練誤差的下降率小于0.01作為閾值。從表中可以看出，從訓練時間和識別率上，RBF神經網絡都優于BP神經網絡，在多次訓練時，BP神經網絡識別率有3%左右的上下浮動，RBF神經網絡則相對穩定。與傳統RBF算法相比，E-RBF算法識別效率更高，訓練時間更短，從而驗證本算法的優越性。

圖3 某一識別結果Fig.3 An identification result

表3 三種不同神經網絡的實驗結果比較Tab.3 Experimental results of different neural networks

4 結論

本文應用彈性RBF神經網絡，實現了RBF神經網絡的結構和參數自校正，解決了網絡結構過大或過小的問題，同時在分類器訓練過程中，能夠彈性適應同類圖像的微小變化，從而提高分類器的識別準確率。

[1] 李武軍, 王崇俊, 張煒, 等. 人臉識別研究綜述[J].模式識別與人工智能, 2006, (2):58-66.

[2] 張敏, 徐啟華. 基于改進BP 的神經網絡模型參考自適應控制[J].軟件, 2015, 36(7): 118-123

[3] 石黎, 孫志梅. 教學質量評價的BP神經網絡模型[J]. 軟件,2015, 36(3): 19-21

[4] 張昭昭, 喬俊飛, 余文. 多層自適應模塊化神經網絡結構設計[J]. 計算機學報, 2017, 40(12): 2827-2838.

[5] 喬俊飛, 韓紅桂. 前饋神經網絡分析與設計[M]. 北京: 科技出版社, 2013.

[6] GILBERT P M, HAVENSTRITE K L, MAGNUSSON K E G,et al. Substrate elasticity regulates skeletal muscle stem cell self-renewal in culture[J]. Science, 2012, 329(5995):1078-1081.

[7] KRIVOV S, ULANOWICZ R E, DAHIVA A. Quantitative measures of organization for multiagent systems[J]. Bio-systems, 2003, 69(1): 39-54.

[8] KRIVOV S, ULANOWICZ R E, DAHIVA A. Quantitative measures of organization for multiagent systems[J]. Bio-systems, 2003, 69(1): 39-54.

[9] 安大海, 蔣硯軍. 基于BP神經網絡的人臉識別系統[J]. 軟件, 2015, 36(12):76-79.