基于深度學習的虹膜人臉多特征融合識別

肖 珂，汪訓昌，何云華，李超飛，田玉通

(北方工業大學 信息學院，北京 100144)

0 引 言

生物特征識別方法是利用指紋、虹膜、人臉和聲音等個人獨有生理或行為特征實現身份認證識別，便利性和可靠性明顯強于基于身份證或口令的傳統識別方法[1]。然而受環境、噪聲和欺騙攻擊等不利因素的影響，單一生物特征識別的安全性有待加強，識別精度還有待提高。提取多種生物特征信息融合識別，單一生物特征識別的某些缺陷得以彌補，系統的識別性能(如識別精度與安全性)得到有效提升[2,3]。

相對于其它生物特征，虹膜和人臉由于其優良的特性在現實生活中應用更為廣泛。然而虹膜對采集的虹膜有效區域遮擋率以及清晰程度異常敏感[4]，人臉會受到質量、姿態、表情和光照變化等影響[5]。

多生物特征融合主要分為特征層融合、分數層融合和決策層融合。分數層與決策層融合的融合層次較高，損失特征信息較多，可用信息較少，融合效果往往不夠理想。而特征層融合，損失信息較少，融合效果理論上能達到最優值[6]。

在多生物特征的特征層融合中，直接串聯的融合策略容易引起“維度災難”問題。Reddy等[7]在提取人臉和指紋兩種生物特征向量并進行串聯融合后再采用PCA降維，最后利用概率神經網絡對融合特征向量進行分類，實現特征層融合識別。Bahrampour等[8]提出在利用字典學習提取出指紋、虹膜的特征字典后，利用稀疏表達特征降維得到聯合表達字典用于后續分類識別。

近幾年來，深度學習作為一種有效的特征表示學習方式，通過建立多層神經網絡，能挖掘生物特征的本質信息進行融合識別，有效彌補人工設計特征存在盲目性和差異性缺陷[9]。Mobamed等[10]提出利用融合條件受限玻爾茲曼機(conditional restricted Boltzmann machine，CRBM)來挖掘噪音環境下的音視頻特征本質信息用于融合。Kurban等[11]提出卷積神經網絡(CNN)來挖掘人臉和手勢特征本質信息以用于融合識別。

因此，本文提出一種基于深度學習的虹膜與人臉特征層融合識別方法，通過卷積神經網絡提取特征本質信息，使用參數化t-SNE解決特征串聯后維度過高問題，并采用最好分類方法之一SVM來進行分類識別。

1 基于卷積神經網絡的虹膜與人臉多生物特征融合識別

本文提出的融合識別方法整體框架如圖1所示，首先進行人臉和虹膜的檢測定位，之后對兩者進行預處理操作并對虹膜進行額外的虹膜歸一化操作，然后使用CNN模型進行特征提取并對提取的特征進行串聯融合，最后利用參數化t-SNE和SVM進行特征降維和分類識別。

圖1 虹膜與人臉多特征融合識別系統框架

1.1 卷積神經網絡CNN

由于經典CNN框架VGG16在圖像分類和目標檢測任務中具有優越表現效果[12]。本文在參考此網絡的基礎上通過采用激活函數為線性整流函數(rectified linear unit，ReLU)的卷積層和池化函數為最大池化的池化層對單幅人臉和虹膜圖像進行降采樣特征提取工作，利用SVM替換softmax輸出層進行分類輸出工作。圖2表示改良后的網絡框架。

圖2 CNN神經網絡模型框架

1.2 參數化t-SNE算法降維

參數化t-SNE[13]算法可用于數據降維和數據可視化。其核心思想是通過訓練網絡模型，嘗試在數據降維過程中盡量保證數據間相似度改變程度最小，而數據間的相似度矩陣則是由距離矩陣轉化。其原理如圖3所示。

圖3 參數化t-SNE算法降維

在高維空間，數據間相似度定義pij如式(1)所示

(1)

在低維空間，數據間的相似度定義qij定義如式(2)所示

(2)

由于聯合概率分布P和Q分別代表高低維空間數據相似度，P與Q的差異越小，高低維空間數據相似度越高，而Kullback-Leibler散度可以有效量化P和Q的差異，其定義如式(3)所示

(3)

1.3 SVM多分類器

SVM因其優秀的泛化能力，成為目前最常用，效果最好的方法之一。SVM是通過構造出對樣本集盡可能正確的劃分且幾何間隔最大的分類超平面來進行分類。當樣本空間不可分時，可先將樣本空間進行映射變換，進而得到一個高維線性特征空間(如圖4所示)，最后在這個高維映射空間中構造分類超平面。此類映射變換函數被稱作核函數。

圖4 SVM樣本空間映射

現階段的SVM多分類方法主要由直接分類和間接分類兩種方法組成。直接分類方法原理簡單但容易受類別數量影響分類效果。而間接分類方法可以將多類問題轉化成二分類問題，受類別數量的影響很小，可以實現良好的分類效果。因此，本文SVM多分類選取的是間接分類方法。

2 實 驗

2.1 數據集

CASIA Iris Distance數據集[14]常用于測試人臉和虹膜融合方法性能的驗證評估工作，該數據集相對其它數據集的優勢在于能在單幅圖像中采集出人臉和虹膜兩種特征，確保了虹膜與人臉的匹配性。數據集包含了142個人的2567張圖像，圖像的分辨率為2352×1728。

2.2 實驗結果與分析

從表1可知，卷積層的層數增加會提升系統的識別率。而全連接層的層數的增加則不一定能提升系統的識別率。選取5層卷積層，1層全連接層的神經網絡結構識別效果最優。

表1 不同網絡結構的識別率

為了更好驗證本文所提融合方法的優越性，本文增加了單獨的人臉與虹膜識別以及多種人臉虹膜融合識別方法實驗作對比，表2和圖5是實驗數據結果。

表2 不同多生物特征融合識別方法性能比較

圖5 單一生物特征與多生物特征融合識別方法ROC曲線

從圖5和表2的實驗數據結果可知，相對于單一生物特征識別方法、傳統加權融合方法以及傳統CNN識別方法，本文提出的多生物特征融合識別方法，識別精度更高，魯棒性更強，識別性能更為優良。

同時，本文通過與近年他人給出的融合方法作對比來進一步驗證本文所提方法的優良識別性能。表3為對比實驗數據結果。

從表3可知，相對他人提出的3種融合識別方法，本文提出的融合識別方法在(FAR和GAR)方面更佳，且具有更低的EER率，融合識別效果更好。

表3 近幾年人臉和虹膜融合識別方法性能比較

3 結束語

本文通過對虹膜和人臉兩種實際應用范圍較廣的生物特征來進行生物特征融合研究，提出了一種基于深度學習的多生物特征融合識別方法。其利用卷積神經網絡CNN提取人臉和虹膜特征、參數化t-SNE算法特征降維和支持向量機SVM組合來進行融合識別。在CASIA Iris Distance數據集的實驗數據結果表明，本文提出的融合識別方法效果很好，相比其它融合方法，識別精度和魯棒性更高，性能更為優良。