基于核稀疏表示的人臉人耳融合識別算法的研究

張明 黃炳家 鄭秋梅

關鍵詞： 融合識別; 核稀疏表示; 特征提取; 加權串聯融合; 正交匹配追蹤算法; 魯棒性

中圖分類號： TN820.4?34; TP391 ? ? ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）04?0080?05

Research on fusion recognition of human face and ear based on

kernel?sparse representation

ZHANG Ming， HUANG Bingjia， ZHENG Qiumei

（China University of Petroleum （East China）， Qingdao 266580， China）

Abstract： Since the human face and ear fusion recognition algorithm has weak robustness in variations of image illumination， facial expression and shooting angle， the kernel?sparse representation theory is introduced into the human face and ear fusion recognition， and a human face and ear fusion recognition algorithm based on kernel?sparse representation is proposed. The PCA feature extraction algorithm that can effectively reduce sample dimensions is adopted in the algorithm. The feature?level fusion that can not only realize effective compression of redundant information， but also make the best use of the distinguishability of biological features in different modes is selected for the feature fusion level of human faces and ears. The weighted series fusion method is used for the algorithm considering that different modes of biological features may have different contributions to the final recognition. The orthogonal matching pursuit algorithm with fast iteration speed is used to solve the sparse representation coefficient of tested samples in training samples. In comparison with other recognition algorithms， the algorithm has a much better recognition performance， and stronger robustness in variations of human face and ear images.

Keywords： fusion recognition; kernel?sparse representation; feature extraction; weighted series fusion; orthogonal matching pursuit algorithm; robustness

0 ?引 ?言

隨著信息技術的飛速發展，以生物特征為依據的個人身份識別成為研究熱點[1]。目前，單模生物特征識別如人臉、指紋、虹膜等已在部分領域應用，例如火車站驗票系統、圖書館門禁系統等。但在一些高安全應用領域，由于單模生物識別在噪聲干擾、非普遍性和防欺騙能力等方面有明顯的不足，綜合多種生物特征的識別技術應運而生[2]。相比單模識別，多模生物識別不僅提高了可靠性，增強了防偽性，同時增加了應用廣泛性。因此綜合多種生物特征進行身份識別的多模生物識別技術受到廣泛關注。

隨著壓縮感知理論的提出，基于稀疏表示理論的生物特征識別技術成為國內外學者的研究熱點，特別是基于稀疏表示的單模生物識別研究相對較多，李懿等人結合模糊集合理論提出一種新的模糊稀疏表示人臉識別算法[3]，田瑩等人提出一種稀疏表示的多姿態人耳識別方法[4]。這兩種方法都是在單模生物特征方面根據稀疏表示方法分別對人臉和人耳進行的識別，識別率和穩定性有了部分提高，但是相對于多模生物識別技術，識別率依舊不夠高。而在多模生物識別研究中，袁立等人利用Fisher鑒別分析方法提出基于人臉和人耳的多模態生物特征識別方法[5];Amirthalingam G等人提出一種基于PCA和LLE特征提取的人臉人耳融合識別算法[6]。這兩種算法識別率相對于單模的人臉人耳識別有了進一步提高，但是對圖像光照變化、表情變化、拍攝角度變化等魯棒性不強。為解決上述出現的問題，提出基于核稀疏表示的人臉人耳識別算法。將樣本特征向量投影到易實現線性可分的高維核空間，在核空間內求解測試樣本在過完備字典中的稀疏表示系數，最終通過最小重構殘差來實現分類識別。相對于其他人臉人耳識別算法，本文提出的算法具有防偽性高、識別性能強、對人臉人耳圖像變化不敏感等優點。

1 ?核稀疏表示原理

基于稀疏表示[7]的識別算法的基本思想是測試樣本位可以由其所在類別中訓練樣本的線性組合來近似表示。然而，當人臉或人耳圖像的光照、表情、姿態等變化比較明顯時，測試樣本極有可能位于由訓練樣本構成的非線性子空間內。此時，由該測試樣本所在類別中的訓練樣本的線性組合并不能很好地表示該測試樣本;采用基于稀疏表示的分類方法并不能取得很好的識別效果。本文將核方法引入非線性映射，將許多非線性問題巧妙地轉化為線性問題，它能夠高效解決圖像空間中的非線性可分問題，其對非線性問題的高效分析能力可與線性問題相媲美。

設有K類訓練樣本，其中，第i類的訓練樣本集為[Ai=[ai1，ai2，…，aink]∈Rm×nk]，[Ai]共包含[nk]個樣本，每個樣本向量都屬于[Rm]。由所有類別的訓練樣本共同構成一個過完備字典：[A=[A1，A2，…，Ak]∈Rm×n]。設[φ]為由低維到高維的非線性映射，映射[φ]能將原始數據從樣本空間映射到高維核空間[H]，把過完備字典矩陣[A]由[φ]映射到高維核空間得到新的過完備字典：

[B=φ（A）=[φ（a1，1），φ（a1，2），…，φ（ak，nk）]] ? ?（1）

同時，將測試樣本[y]也用[φ]映射到核空間，[y→φ（y）]。因此可將稀疏表示方程[y=Ax]轉化為核空間中的方程[φ（y）=Bα]，求解測試樣本[φ（y）]在基空間[B]中的稀疏表示系數可轉化為[l0]范數上的最優化問題。

[α～=argminα0 s.t. ? ?φ（y）=Bα] （2）

有關理論已經證明s范數上的最優化問題為NP?hard問題，該問題可轉化為[l1]范數上的最優化問題進行求解。

[α～=argminα1 s.t. ? ?φ（y）=Bα] （3）

求解稀疏表示系數允許存在一定的誤差，則有：[α～=argminα1 s.t. ? Bα-φ（y）2≤θ] ? ? ?（4）

已知存在定理：如果存在[θ≥0]，使得不等式成立，則可以找到[δ≥0]，使得不等式[BTBα-BTφ（y）2≤δ]成立。

故式（4）可轉化為：

[α～=argminα1 s.t. ?BTBα-BTφ（y）2≤δ] ? （5）

設函數[K（x，y）=φ（x）Tφ（y）]為核函數，引入函數[K（x，y）]，則有：

[BTB=[φ（a1，1），φ（a1，2），…，φ（ak，nk）]T·[φ（a1，1），…，φ（ak，nk）]][ ?=K（a1，1，a1，1）K（a1，1，a1，2）…K（a1，1，ak，nk）K（a1，2，a1，1）K（a1，2，a1，2）…K（a1，2，ak，nk）????K（ak，nk，a1，1）K（ak，nk，a1，2）…K（ak，nk，ak，nk）] ? ? ? ? ?（6）

[BTφ（y）=[φ（a1，1），φ（a1，2），…，φ（ak，nk）]Tφ（y） ? ? ? ? ? ? ? ?=K（a1，1，y）K（a1，2，y） ? ? ? ?K（ak，nk，y）] （7）

當核函數[K（x，y）]確定，[BTB]和[BTφ（y）]可通過式（6）和式（7）計算得到，則核稀疏表示方程式（5）可以用稀疏表示方程的求解方法進行直接求解。

2 ?基于核稀疏表示的人臉人耳融合識別算法

基于核稀疏表示的人臉人耳融合識別算法是在基于稀疏表示算法的基礎上引入核方法得到，本文采用的核函數為多項式核函數，其表達式為：[Kx，y=1+xTyd]，具體實驗時參數d一般取1。

2.1 ?特征提取

稀疏表示理論指出特征提取重要的是特征的數量，只要特征數量大，都可以利用稀疏向量近似精確地重構原始信號。但是，相比于傳統的分類識別算法基于稀疏表示的分類識別算法（SRC）計算量更大，為了節省計算耗時，本文使用簡單高效的PCA[8]算法進行人臉和人耳的特征提取。

2.2 ?特征融合

本文的人臉人耳融合層次采用特征級融合[9]，因為特征級融合既能實現冗余信息的有效壓縮，又能充分利用不同模態生物特征的可區分性。同時特征融合方法采用的是串聯融合法。因為串聯融合法簡單高效，更容易擴展到超過兩種模態的多模生物融合，并且當一種或多種模態的生物信息無法獲取時，串聯融合方法更容易調整特征融合模型的數據集，用可獲取的生物模態信息來進行識別。考慮到不同模態的生物特征信息對身份識別可能有不同的鑒別能力，故本文在進行特征向量的串聯融合時加入了權重系數，以此來充分利用不同模態生物特征信息對身份識別的影響能力。特征融合具體過程如下。

2.2.1 ?特征向量的歸一化表示

為了中和不同生物特征向量的量綱效應，使每種模態的生物特征向量都具有同等的表現力，故在特征向量融合之前，需要對人臉、人耳的特征向量進行歸一化處理[10]。經過歸一化處理后的所有人臉和人耳樣本特征向量的均值為0，方差為1。

2.2.2 ?特征向量加權串聯融合

設D為人臉人耳測試樣本的特征向量融合之后的特征矩陣，[di，j]為D中第i個類別中的第j個樣本融合后的特征向量，人臉人耳特征向量的加權融合方法如下：

[di，j=αdfi，jβdei，j ， ? i=1，2，…，c; j=1，2，…，m] （8）

式中，[α]和[β]要滿足約束條件[α+β=1]。

2.3 ?稀疏表示系數求解

本文的稀疏表示系數的求解算法采用的是正交匹配追蹤算法[11]。因為正交匹配追蹤算法收斂速度較快、對目標向量的分解較為稀疏。

在獲得人臉、人耳特征融合后的訓練樣本矩陣D，測試樣本對應的人臉、人耳特征融合后的向量為z，由正交匹配追蹤算法可求得測試向量z在訓練樣本構成的字典矩陣D上的稀疏表示系數[x]，[x]為[n （n=c×m）]維空間中的向量，稀疏表示系數[x]要滿足條件[Dx-z22≤φ]，其中，[φ]為迭代閾值范圍。

2.4 ?分類識別

本文最終的分類識別算法是通過最小殘差法[12]分類得到。設[xi（i=1，2，…，m）∈Rn]為稀疏表示系數[x]中第i個類別對應的系數，其余類別對應的系數全為0。故通過稀疏系數[xi]可得到由第i類別訓練樣本重構的測試樣本，[zi=Dxi]，其中[zi]為第i類別訓練樣本重構的測試樣本向量。第i類別訓練樣本的重構殘差為[ri=zi-z22]，其中重構殘差最小的類別即為測試樣本所在的類別，故可以判定測試樣本z所在的類別為：[identity（z）=mini=1，2，…，cri]。

綜上所述，基于核稀疏表示的人臉人耳多模識別算法過程具體如下：

1） 輸入：分別包含c個類別的人臉訓練樣本矩陣[Af=[Af1，Af2，…，Afc]]和人耳訓練樣本矩陣[Ae=[Ae1，Ae2，…，Aec]]，其中[Ai=[ai，1，ai，2，…，ai，m] （i=1，2，…，c）]代表第i個類別的m個測試樣本，人臉測試樣本為[yf]，人耳測試樣本為[ye]，核函數為[K（x，y）=（1+xTy）]。

2） 對人臉人耳字典樣本矩陣分別進行PCA特征提取，[Df=（Pf）TAf]，[De=（Pe）TAe]，其中[Pf，Pe]分別為人臉人耳的投影觀測矩陣。然后，對人臉人耳測試樣本進行PCA特征提取，[zf=（Pf）Tyf]，[ze=（Pe）Tye]。

3） 將經過特征提取后的訓練樣本矩陣和測試樣本向量分別進行歸一化處理，用向量[dfi，j]來代表人臉訓練樣本中第i個類別的第j個向量，則[dfi，j=（dfi，j-μf）σf]，其中[μf]為[Df]中所有列向量的均值向量，[σf]為[Df]中所有列向量的方差向量。同理，用相同方法對經過核映射后的人耳訓練矩陣進行歸一化處理，[dei，j=（dei，j-μe）σe]。然后，對特征提取后的測試向量進行歸一化處理：[zf=（zf-μf）σf]，[ze=（ze-μe）σe]。

4） 將經過核映射后的人臉人耳訓練樣本對應的特征向量矩陣進行加權融合，[di，j=αdfi，jβdei，j ，（i=1，2，…，c;j=1，2，…，m）]，同時，將人臉人耳測試樣本核向量進行融合，[z=αzfβze]。

5） 根據式（6）分別計算訓練樣本核映射矩陣[H=（D）TD]，其中，[H]表示核映射后的人臉人耳融合樣本矩陣。然后根據式（7）計算測試樣本向量的核映射向量[u=（D）Tφ（z）]。

6） 用正交匹配追蹤OMP算法求解測試樣本向量[u]在字典樣本矩陣[H]中的稀疏表示系數[x]，即用OMP算法求解最小化問題[argminx1，s.t. Hx-u22≤φ]，其中[φ]為允許最小的迭代誤差。

7）計算每個類別的重構殘差[ri=Hxi-u22，i=1，2，…，c]，其中向量[xi]表示第i個類別的稀疏表示系數，其他類別的稀疏表示系數為0。

8） 輸出[identity（u）=mini=1，2，…，cri]。

3 ?實驗仿真及分析

本文選用的人臉數據庫是英國劍橋大學拍攝制作的ORL標準人臉庫。圖1為ORL人臉庫中的每個類別對象具有豐富的拍攝角度變化、拍攝時間變化、人臉表情變化及不同的臉部細節。

本文選用的人耳數據庫總共采集30個人的人耳圖像，其中每個人包含11張不同的人耳圖像，人耳數據庫總共圖片數為330張。因為人耳生物特征具有剛性特點，人耳圖片不會因表情或姿態變化而有所不同，拍攝的人耳庫主要包含光照和拍攝角度變化，其中拍攝角度主要包含正面、左面、右面、上面和下面，其角度變化在[5°～15°]范圍內。圖2展示了人耳庫中部分類別的人耳圖像。

在具體實驗時，取ORL人臉庫中的前30個類別的人臉圖像與人耳庫中的30個類別的人耳圖像進行搭配實驗。其中，每個類別的人臉和人耳圖像各選取10張進行實驗。

3.1 ?人臉人耳特征融合權重系數對識別率的影響

為了確定最佳的人臉人耳特征融合權重系數[α，β]，充分利用不同模態生物特征的辨識能力。本文進行實驗來尋求最佳權重系數[α，β]，將權重系數[α]從0.1開始以0.1為步長逐步調整到0.9，對應的權重系數[β=1-α]，統計每次權重系數對應的識別率。統計結果如圖3所示。

從圖3可以看出，隨著權重系數[α]的增大識別率先增后減，當權重系數[α]為0.3時，識別率達到最大值，此時對應的權重系數[β]為0.7。從權重系數可以看出，人耳生物特征對最終識別結果的影響更大，究其原因，本文實驗用的人臉數據庫光照、表情和姿態變化更加豐富，而人耳數據庫相對人臉數據庫來說變化較弱，故人耳生物特征對識別結果具有更大的貢獻。因此，在本文的算法中，權重系數[α]定為0.3，權重系數[β]定為0.7。需要注意的是，此系數不是一成不變的，在實際應用中，權重系數應根據應用環境和背景訓練產生。

3.2 ?基于核稀疏表示的人臉人耳融合識別與人臉人耳單模識別的比較

實驗中分別將人臉和人耳數據庫中每個類別的 7張圖像用作訓練樣本，其余3張用作測試樣本。在實驗前首先對人臉人耳圖像進行預處理，人臉圖像都統一處理成為100×100像素大小的圖像，人耳圖像都統一處理成為100×70像素大小的圖像，用PCA進行特征提取后，人臉圖像和人耳圖像分別降為64維，42維特征向量。本文分別在單模生物識別和本文算法識別上進行了實驗。其識別結果如表1所示。

從表1中可以看出，本文提出的算法識別率要明顯高于人臉或人耳單模生物識別的識別率，這充分說明了多模生物識別技術比單模生物識別技術在識別性能上表現更優。

3.3 ?MKSRC算法與其他人臉人耳融合識別算法對比

從表2可以看出，相比于文獻[6]提出的PLR人臉人耳融合識別算法，本文提出的基于核稀疏表示的人臉人耳識別算法在識別性能上表現更優。即使實驗用的數據庫包含豐富的光照、表情、姿態及拍攝角度變化，本文的算法仍能取得比較滿意的識別率，很好地解決了訓練樣本與測試樣本的非線性可分問題。該算法對光照及表情變化等表現出了較強的魯棒性。

4 ?結 ?語

本文將核稀疏表示理論應用于人臉人耳多模融合識別的研究中，提出基于核稀疏表示的人臉人耳融合識別算法。與單模人臉人耳融合識別算法相比，所提算法識別率大大提高，同時與文獻[6]提出的PLR識別算法相比，該算法不僅解決了基于稀疏表示的人臉人耳融合識別中的非線性可分問題，對人臉人耳圖像光照變化、表情變化、拍攝角度變化等識別表現出了更強的魯棒性。

參考文獻

[1] SCHEIRER W J， WILBER M J， ECKMANN M， et al. Good recognition is non?metric [J]. Pattern recognition， 2015， 47（8）： 2721?2731.

[2] 崔言偉.基于人耳和側面人臉的身份識別[D].北京：北方工業大學，2013.

CUI Yanwei. Human identification based on the ear and profile face [D]. Beijing： North China University of Technology， 2013.

[3] 李懿，劉曉東.一種新的模糊稀疏表示人臉識別算法[J].大連理工大學學報，2017，57（2）：189?194.

LI YI， LIU Xiaodong. A new fuzzy sparse representation algorithm for face recognition [J]. Journal of Dalian University of Technology， 2017， 57（2）： 189?194.

[4] 田瑩，張德斌，馬浩迪.一種稀疏表示的多姿態人耳識別方法[J].系統仿真學報，2014，26（9）：2126?2129.

TIAN Ying， ZHANG Debin， MA Haodi. Muli?pose ear recognition using sparse [J]. Journal of system simulation， 2014， 26（9）： 2126?2129.

[5] 袁立，李文明，穆志純.人臉人耳多模態生物特征模板保護方法研究[J].儀器儀表學報，2012，33（12）：2767?2773.

YUAN Li， LI Wenming， MU Zhichun. Face and ear multimodal biometric template protection [J]. Chinese journal of scientific instrument， 2012， 33（12）： 2767?2773.

[6] AMIRTHALINGAM G. Face and ear biometric recognition using PCA and LLE algorithm [J]. International journal of information science and intelligent system， 2014， 3（2）： 47?54.

[7] YANG M， ZHANG L. Gabor feature based sparse representation for face recognition with Gabor occlusion dictionary [C]// Proceedings of 11th European Conference on Computer Vision. Berlin： Springer， 2010： 448?461.

[8] BENGIO Y， DELALLEAU O， ROUX N L， et al. Learning eigenfunctions links spectral embedding and kernel PCA [J]. Neural computation， 2014， 16（10）： 2197?2219.

[9] 王科俊，閻濤，呂卓紋.基于耦合度量學習的特征級融合方法及在步態識別中的應用[J].東南大學學報（自然科學版），2013，43（z1）：7?11.

WANG Kejun， YAN Tao， L? Zhuowen. Feature level fusion method based on the coupled metric learning and its application in gait recognition [J]. Journal of Southeast University （Natural science edition）， 2013， 43（S1）： 7?11.

[10] ZHANG B， YANG H， YIN Z. A region?based normalized cross correlation algorithm for the vision?based positioning of elongated IC chips [J]. IEEE transactions on semiconductor manufacturing， 2015， 28（3）： 345?352.

[11] 孫子璇，易榮華.基于小波變換的正交匹配追蹤算法及其應用[J].計算機科學，2012，39（z3）：273?275.

SUN Zixuan， YI Ronghua. wavelet transform?based orthorgonal matching pursuit algorithm and its application [J]. Computer science， 2012， 39（S3）： 273?275.

[12] SARMADI H， KARAMODIN A， ENTEZAMI A. A new iterative model updating technique based on least squares minimal residual method using measured modal data [J]. Applied mathematical modelling， 2016， 40（23）： 10323?10341.