基于樣本加權矩陣的自適應弱目標識別魯棒算法

陳炳權 ，劉宏立

(1. 湖南大學 電氣與信息工程學院，湖南 長沙，410082；2. 吉首大學 物理科學與信息工程學院，湖南 吉首，416000)

弱目標識別是目前模式識別和人工智能領域的研究熱點，研究者們提出了很多用于諸如人臉等弱目標識別的方法[1-5]。自從 Turk等[6]利用重構權向量作為識別特征提出“特征臉”識別技術以來，人臉識別領域迎來了“基于表征”的子空間分析方法研究熱潮，其中代表性方法有主成分分析法(PCA)[6]、線性判別分析法(LDA)[7-9]、獨立成分分析法(ICA)[10]以及Bayesian方法[11]、基于核技術的 Kerne1 PCA[12]和 Kerne1 LDA[13]等。以上算法都有1個共同的特點：在提取特征時，只重視整個人臉的總體特征，而忽略了眼睛、鼻子等作為人臉局部的存在。事實上，如果不考慮整個人臉，人臉關鍵部位的局部特征也有其自身的鑒別能力，它們對人臉識別也是很有幫助的。當然，人臉的各個部位其鑒別重要性程度是不同的，因此，它們在人臉識別中所起的作用也不同。一些研究人員對此進行了研究，如：Martinez等[14]用統計的方法比較了正面人臉不同的 48個特征點在描述整個人臉模式中所起的作用，并據此賦予它們不同的權值；Pentland等[15]則將“特征臉”技術用于識別人臉各局部器官，從而產生“特征眼”、“特征鼻”、“特征嘴”等概念，融合各“特征器官”以達到人臉識別的目的；Wang等[16]提出的算法也對人臉面部局部特征“個性化程度”問題進行了研究。在此，本文作者在已有的理論基礎上提出一種多區域特征加權融合思想，并將其應用于傳統的PCA-LDA算法之中，用樣本加權特征矩陣代替傳統的特征向量得到1種新的投影準則，即加權自適應PCA-LDA算法。

1 全局特征提取

小波變換具有很好的時空域局部化特性，對一維或二維信號具有很強的特征提取能力。小波包分解通常將圖像分解為低頻平滑部分、水平細節、垂直細節和對角線細節4部分，常被應用于信號處理中；因此，在全局特征提取中，選用小波分解來提取信號主要特征。如果對訓練集人臉進行二維小波變換，分解成以上4部分，那么，可以組成4個樣本空間，然后，用主成分分析法(PCA)分別提取出這4個部分的β1，β2，β3和β4個最大的特征值對應的“特征臉”，分別組成4個規范正交的變換陣P。將每個樣本用P進行變換，得到每個樣本在每個小波子空間上的特征向量，分別為：將這4個向量合并為向量Xq，即

其中：β=β1+β2+β3+β4；樣本的全局特征向量Xq包含了人臉在4個小波子空間的主要特征。由式(1)可知：全局特征向量Xq維數較高。

2 關鍵局部特征提取

通常局部特征指的是正面人臉中眉、眼、鼻、嘴共4個子區域，它們包含了人臉面部的主要信息。局部區域的切割依賴于人臉特征點的準確定位。本文重點研究識別算法。假定一些關鍵特征點(如眉角、眼角、鼻側點、嘴角)已通過前端的檢測模塊準確定位，通過適當的歸一化處理可以得到4個訓練樣本集。

采用基于Gabor小波變換的方法來提取以上分解的4個關鍵局部特征。與通常Gabor小波變換提取特征的方法不同，這種方法對每個關鍵局部提取的特征維數較少，這樣，一方面，能有效地減少計算量；另一方面，雖然局部特征非常重要，但是，對于每個局部特征，它在辨識過程中的相對重要性比起全局特征來說要低很多，因此，維數不必過大。使用更加簡便的方法，使得特征向量的維數進一步降低。設 2維Gabor濾波器有如下形式：

其中：

κ(x,y)的振幅m(x,y)和相位ψ(x,y)分別為：

上述應用的展開式為

濾波器響應的實部和虛部的標準差分別為：

這里直接選取每個樣本的Gabor統計量作為樣本的特征表示，通常有2個不同的ω和4個不同的θ，則其局部特征向量可以表示為：

通過Gabor小波提取分割后的4個人臉關鍵局部特征，可得4個特征向量，分別為V1，V2，V3和V4，每個特征向量為2×4×4即32維。

3 多區域特征融合的加權 PCA-LDA算法

3.1 多區域特征權值的選擇

將人臉的全局和4個關鍵的局部特征提取出來，就可以根據相應的算法進行特征融合。其步驟是：首先將全局和4個關鍵局部特征向量簡單地疊加，組成1個向量，再用相應的算法進行人臉識別；對全局和2個關鍵局部特征分別用算法進行識別，然后，用模糊數學中的相應方法將識別結果進行綜合，得出最終類。該方法的缺陷是：雖然局部特征在人臉識別中非常重要，但是，對于每個局部特征，它在辨識過程中的相對重要性與全局特征相比要低很多；另一方面，即使在4個關鍵局部特征之間，它們在人臉識別中的重要性也有差異[16]。所以，簡單地將全局和4個關鍵局部特征向量疊加，很難反映出全局和局部特征在人臉識別中的重要性。因此，本文引入人臉識別中的全局和局部特征重要性權值。識別率較高的特征，其特征向量的權值較大；相反，識別率較低的特征，其權值較低。由于全局是由局部組成，在人臉識別中的重要性最大的權值最高，而局部特征的權值較低。權值選擇的方法很多，可以根據經驗，也可以通過實驗來測得。筆者在文獻[4]的基礎上設計了一種基于PCA-LDA的方法來得到權值，其具體設計方法如下。

(1)設人臉訓練集中類的個數為C，每類人臉的個數為N，d維列向量表示第i類中第m個樣本，故訓練集中共有M=N×C個樣本。

(2)由這些差值構成 1個協方差矩陣，求出這個矩陣的前β階最大特征值的特征向量，然后，把這些向量組合起來構成1個PCA投影矩陣，設為WPCA。

(3)用該PCA投影矩陣把所有的訓練樣本投影到1個β維子空間中。

(4)將得出的最佳描述特征分別構成類內散布矩陣Sw和類間散布矩陣Sb，計算矩陣的前t個最大特征值的特征向量，由這些向量構成1個LDA投影矩陣，設為WLDA。

其中：i=1, 2, …,C；m=1, 2, …,N；n=1, 2, 3, 4。

(6)求出 4個關鍵局部所有樣本類內距離的平均值LW(n)，即

其中：1≤k＜j≤N;n=1, 2, 3, 4。

(7)求出 4個關鍵局部所有樣本的類間距離的平均值LB(n)：

該法借鑒了文獻[4]中普通的人臉識別 PCA-LDA算法，得出了全局樣本的最佳投影方向，并分別將關鍵局部樣本投影到此方向，計算出樣本的類間距離平均值與類內距離平均值的比值，以此來決定不同局部的權值。從式(16)可見：比值L(n)越大，說明其可識別性越大，所以，其重要性權值就越大。

3.2 多區域特征加權融合原理

定理11個形如式(17)的矩陣，其特征值分別為其對角線上子矩陣特征值的集合。

定理21個形如式(17)的矩陣，X，K(1),K(2),K(3)和K(4)為矩陣A的子矩陣，X為n維方陣，K(1),K(2),K(3)和K(4)分別為m1,m2,m3和m4維方陣，設m1+m2+m3+m4=p，若ξ是X的特征向量，則為A的特征向量；若ξ是K(1)的特征向量，則A的特征向量，依此類推。

由定理1可知：矩陣A的特征值為全局樣本和局部樣本協方差矩陣X，K(1),K(2),K(3)和K(4)的特征值的集合，求出這個矩陣的前β個最大特征值的特征向量，然后，把這些向量再組合起來構成1個投影矩陣，即加權PCA投影矩陣，設為Wwpca。如果已知式(1)子矩陣的特征值和特征向量，就得到矩陣A的特征值和特征向量；特征值不變，而特征向量則在子矩陣的特征向量上前后補0，增加到與矩陣A相同的維數即可。

對全局樣本和關鍵局部樣本加權后，分別根據標準 PCA方法求得它們與均值之差的協方差矩陣，然后，對角組合成矩陣A，取其β個最大特征值的特征向量，把這些向量組合起來構成1個投影矩陣Wwpca，這樣，樣本就可以根據這個投影矩陣進行投影。但是，樣本特征不能是全局和加權局部樣本簡單的拼接，因為這不符合上述矩陣A的對角組成原理，也不符合基本PCA的原理。為了解決這個問題，引入樣本加權的特征矩陣即

對于樣本更復雜的特征矩陣，提出類矩陣(Class matrix)概念，該矩陣只與類有關，與每類的樣本無關，由每類樣本可以得出1個類特征矩陣。這樣，在進行人臉識別過程中，可以大大減少計算復雜度。設是 1個標準正交向量，則類矩陣為

基于類矩陣的人臉識別解決了 LDA的小樣本空間問題，且識別速度較快。

3.3 加權PCA-LDA人臉識別算法

筆者在文獻[1]基礎上設計了 1種新的加權PCA-LDA人臉識別算法，其步驟如下：(1)先分別求出全局樣本向量和 4個關鍵局部樣本向量以及對應的樣本向量平均值的差值；然后，求出它們的協方差矩陣X和K(n)(n=1, 2, 3, 4)，再據式(17)得出矩陣A。

(2)求出矩陣A的前β個最大特征值的特征向量，然后，把這些向量組合起來構成1個PCA投影矩陣WWPCA。其中：WWPCA是1個(n+m1+m2+m3+m4)×β階的矩陣。

(3)根據式(18)得出所有訓練樣本和實驗樣本的特征矩陣

(4)用PCA投影矩陣把所有的訓練樣本投影到1個K維子空間，即是1個β×5階的矩陣。

(5)把上面得出的最佳描述特征分別構成類內散布矩陣SW和類間散布矩陣SB。雖然訓練樣本由特征向量變成了β×5階的特征矩陣，但是，其類內散布矩陣與類間散步矩陣的求法是一樣的，即

其中：μ為所有樣本的均值；iμ為第i樣本的均值。計算矩陣前t個最大特征值的特征向量，由這些向量構成1個LDA投影矩陣WWLDA。

(6)使用WWLDA把式(4)得出的矩陣B投影到1個t維子空間，得出最佳分類特征矩陣即，并根據這些特征組成1個C類特征人臉識別數據庫。

(7)把實驗人臉圖像減去平均臉求出差值矩陣S，把S進行 2次投影變換，得出最佳分類特征：

(8)計算實驗人臉和人臉識別數據庫中每 1類樣本距離的平均值，平均距離最小的類即為實驗人臉所屬的類。

4 實驗驗證

采用的CBR人臉庫由100個人組成，每人有10幅不同的圖像，每幅圖像均具有1 440×900的128級灰度。這些圖像是在5種不同表情或姿態下拍攝的，如圖1所示。

圖1 CBR人臉庫Fig.1 Library of CBR faces

先根據權值選擇方法對人臉數據庫進行權值計算。將人臉庫這5幅圖像用權值選擇算法分別計算，這樣共計算10次，取平均值，最后得到眉、眼、鼻子以及嘴這4個關鍵局部的權值分別為0.201，0.283，0.216，0.300，全局極值設置為1。根據上面研究得到的權值，對本文算法進行驗證。為了驗證本文算法的效果，實驗比較了3種不同的人臉識別算法：Eigenface算法、Fisherface算法[11-12]和本文提出的加權 PCALDA算法。每次對100個實驗樣本進行識別，最后給出每組實驗的識別率。3種算法的識別效果比較結果見表1。

表1 3種算法的識別率比較Table 1 Recognition effect comparison of three kinds of algorithms

由表1可以看出：Eigenface算法的平均識別率為85.0%，傳統Fisherface算法的平均識別率為90.6%，本文算法的平均識別率高達 97.0%，充分證明了本文算法的有效性。再次，提取不同特征來驗證本文算法中特征融合的思想，進行若干次實驗，每次實驗提取不同的樣本特征，如全局特征、單個局部特征、組合局部特征、多區域融合特征等，采取本文提出的加權PCA-LDA算法，所得實驗結果如表2所示。

由表2可知：將人臉全局特征和局部特征進行有效綜合并再進行人臉識別，其效果要比單一的特征提取效果明顯提高。研究結果表明：若將人臉的全局特征和局部特征進行有效融合后再進行人臉識別，將有效地提高人臉識別正確率。

表2 采用不同樣本特征向量的識別效果比較Table 2 Recognition effect comparison about different sample characteristic vectors

5 結論

(1)以人臉識別為例，給出了 1種基于樣本加權特征矩陣和類矩陣的自適應PCA-LDA弱目標識別方法，并據此設計了樣本加權特征矩陣來代替傳統的特征向量，有效地將局部和全局特征加權融合。定義了每類樣本的類矩陣，解決了 LDA算法小樣本空間問題。

(2)PCA-LDA算法能很好地結合圖像全局和局部的互補信息，其識別效果優于各單一區域的分類效果；計算速度較快，且平均識別率高達 97.0%，有效性和魯棒性好。

(3)該方法可以應用到其他弱目標如車牌識別系統中，為提高其他弱目標的識別率提供了一種有效的方法。

[1] Chellappa R, Wilson C L, Sirohey S. Human and machine recognition of faces: A survey[C]//Proceedings of the IEEE.New York: The Haworth Press, 1995: 735-741.

[2] Kotropoulos C L, Tefas A, Pitas I. Frontal face authentication using discriminating grids with morphological feature vectors[J].IEEE Transactions on Multimedia, 2000, 2(1): 14-26.

[3] Tefas A, Kotropoulos C, Pitas L. Using support vector machine to enhance the performance of elastic graph matching for frontal face authentication[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(7): 735-746.

[4] 楊欣. 自動人臉識別若干關鍵問題研究[D]. 南京: 東南大學自動化學院, 2006.YANG Xin. Study of some key issues of automatic face recognition[D]. Nanjing: Southeast University. School of Automation, 2006.

[5] Jonsson K, Kitier J, LI Yong-ping, et al. Support vector machines for face authentication[J]. Image and Vision Computing, 2002, 5(6): 369-375.

[6] Turk M, Pentland A. Eigenfaces for recognition[J]. Journal of Cognitive Neuroscience, 1991, 3(1): 71-86.

[7] Belhumeur V, Hespanda J, Kiregeman D. Eigenfaces versus fisherfaces: Recognition using class specific linear projection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997, 19(7): 711-720.

[8] Yu H, Yang J. A direct LDC algorithm for high dimensional data with application to face recognition[J]. Journal of Pattern Recognition, 2001, 34(10): 2067-2070.

[9] Bing Y, Ianfu J L, Ping C. A new LDA-based method for face recognition[C]//Proceedings of 16th International Conference Pattern Recognition. New York: The Haworth Press, 2002:168-171.

[10] Bartlett M S, Movellan J R, Sejnowski T J. Face recognition by independent component analysis[J]. IEEE Transactions on Neural Networks, 2002, 13(6): 1450-1464.

[11] Moghaddam B. Principal manifolds and probabilistic subspaces for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(6): 780-788.

[12] Kim K L, Jung K, Kim H J. Face recognition using kernel principal component analysis[J]. IEEE Signal Processing Letters,2002, 9(2): 40-42.

[13] Mika S, Ratsch G, Weston J, et al. Fisher discriminant analysis with kernels[C]//Proceedings of IEEE Workshop on Neural Network Signal Processing. New York: The Haworth Press,1999: 41-48.

[14] Martinez A, Kak A. PCA versus LDA[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(2):228-233.

[15] Pentland A, Moghaddam B. Starner view-based and modular eigenspaces for face recognition[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York: The Haworth Press, 1994: 84-91.

[16] WANG Yun-hong, FAN Wei, TAN Tie-niu. The subspace face recognition algorithm about fusion of the overall situation and the partial characteristic[J]. Journal of Computers, 2005, 28(10):1657-1663.