聯合人臉與指紋的多模態生物特征識別方法綜述

肖建力, 張 靜

(上海理工大學 光電信息與計算機工程學院,上海 200093)

聯合人臉與指紋的多模態生物特征識別方法綜述

肖建力, 張 靜

(上海理工大學 光電信息與計算機工程學院,上海 200093)

由于基于生物特征識別的方式不但簡單快速,而且安全可靠,近年來,作為生物特征識別的典型技術,人臉識別與指紋識別被廣泛應用.然而,使用單一特征的生物特征識別系統，其正確率和穩定性還有待提高,且容易被作弊手段攻破.因此,側重于回顧聯合人臉與指紋的多模態生物特征識別方法.首先分別回顧了人臉、指紋識別的研究現狀;然后對單模態生物特征識別面臨的挑戰進行了總結;在此基礎上,為了解決單模態生物特征識別存在的正確率不夠高和穩定性不夠強等問題,重點討論了聯合人臉與指紋進行多模態生物特征識別的方法和未來的發展方向.

人臉; 指紋; 身份識別; 多模態

近年來,人臉識別與指紋識別等利用生物特征識別進行身份認證的方式被廣泛應用,逐漸取代了傳統基于令牌的方式(例如按鍵、刷卡或密碼等).基于生物特征識別的方式不但簡單快速,而且安全可靠[1].所謂生物特征識別是指利用人體的行為特征或是生物特征進行身份識別的技術.基于生物特征識別技術所建立的系統稱為生物特征識別系統.長期以來,生物特征識別系統采用單一的生物特征進行身份識別,即單模態生物特征識別,獲得了不錯的識別效果.然而,使用單一特征的生物特征識別系統,其正確率還有待提高,更為重要的是這種識別系統的穩定性不是很好,容易被作弊手段攻破,例如通過偽造假的指紋或人臉來通過身份認證等[2].

為了提高身份認證的正確率和穩定性,研究人員試圖通過同時使用不同種類的生物特征來進行身份認證,即多模態生物特征識別[3-4],以期進一步提高識別的正確率和安全性.多模態識別技術的難點在于生物特征的選擇以及融合方式的選擇.在眾多的生物特征中,指紋由于其特征的唯一性和顯著性,是最為理想的生物特征;而人臉則是最熟悉、最敏感和發展迅速的生物特征[5].目前,基于人臉和指紋特征的身份認證具有廣闊的應用前景和市場價值,成為國內外研究者關注的焦點.本文首先分別回顧了人臉、指紋識別的研究現狀;然后對單模態生物特征識別面臨的挑戰進行了總結;在此基礎上,為了解決單模態生物特征識別存在的問題,重點討論了聯合人臉與指紋的多模態生物特征識別的方法和未來的發展方向.

1 人臉識別的研究現狀

人臉識別的研究始于20世紀60年代中后期[6],經歷了人工識別、人工交互識別以及自動識別3個階段而日趨變得成熟,并獲得了廣泛的應用,初步實現了“刷臉”考勤、“刷臉”通關、“刷臉”支付等功能.人臉識別是將待識別的人臉圖像與模板庫中的標準圖像進行比較,從模板庫中找出最相似的人臉圖像,以其標簽作為待識別的人臉圖像的標簽,其實現過程主要包括人臉檢測和人臉識別[7].

人臉檢測是從含有人臉的圖像或視頻中獲得人臉的具體位置和大小.早期的人臉檢測算法從包含簡單背景的正面人臉圖像中檢測出人臉,這些算法包括:基于幾何特征的方法[8]、基于模板匹配的方法[9]、基于學習的方法[10-11]等.近些年提出的人臉檢測的方法主要致力于復雜背景(包含遮擋、光照、多視角等)條件下的人臉檢測.典型的方法包括:基于AdaBoost的人臉檢測方法、基于可變形部件模型(deformable parts model,DPM)人臉檢測方法、基于卷積神經網絡(convolutional neural network,CNN)人臉檢測方法[12].基于AdaBoost的人臉檢測方法采用AdaBoost模型與膚色模型相融合[13-15].它充分利用了AdaBoost模型檢測速度較快以及膚色模型檢測精度高的優點,獲得了較好的檢測速度與精度.DPM是目標檢測領域中的一個經典算法,它由Felzenszwalb等[16]提出.它能夠較好地解決由于光照變化、人臉嚴重遮擋等單一條件變化產生的問題,但是對于多種變化所產生的問題還未能有效解決.此外,DPM還存在運算時間長的缺陷.為了改善上述問題,一些改進的DPM[17-19]加速方法被提出.CNN[20-22]是最新發展起來的一種學習方法,基于CNN的檢測算法在準確率和多目標檢測中顯示了較好的執行效果,用于魯棒地檢測多視角、光照、遮擋條件下的人臉圖像.

基于分類器的人臉識別的關鍵在于選擇合適的分類器,常用的分類器有最近鄰分類器[23]、人工神經網絡[24-25]、支持向量機[26]、隱馬爾可夫模型[27]等.

近年來,基于稀疏表示的分類方法引起了研究者的廣泛興趣.Wright等[28]將其成功應用于人臉識別,通過求解L1范數最小化問題,將查詢樣本表示成訓練樣本稀疏線性組合的形式,解決了人臉圖像的遮擋問題.之后基于稀疏表示的分類方法的改進算法[29-30]被提出,通過與局部特征提取相結合,從而提高了識別率,為解決人臉識別中的遮擋、腐蝕和對齊問題提供了方案.進一步考慮到提高識別的速度,Zhang等[31-32]引入了協同稀疏表示的概念,用L2范數替代L1范數.由于L2范數稀疏性不如L1范數,繼而提出了L1范數與L2范數相融合的范數[33].這些方法主要關注于遮擋、腐蝕、多視角、姿態變化等復雜環境下的人臉識別.此外,Liu等[34]還提出使用雙線性稀疏表示的字典來識別人臉,從而提高了人臉識別模型的性能.現實中人臉識別通常是一個非線性問題,受核函數處理非線性問題中的啟發,Yin等[35]提出了核稀疏表示,將數據投影到一個非線性判別子空間進行人臉識別.總之,現階段的稀疏表示方法主要聚焦于解決目標函數的構建和特征空間的降維等問題.

目前,基于深度學習識別人臉是人臉識別的發展趨勢.2012年底百度將深度學習算法成功應用于人臉識別中,不僅提高了識別的準確率,還提升了在線學習的效率.一些頂級期刊也紛紛發表采用深度學習進行人臉識別的文章[36-38],預計基于深度學習的人臉識別將替代“人工特征+機器學習”而成為主流方法.

2 指紋識別的研究現狀

指紋識別技術追溯于Lee等[39]的研究,起初應用于刑事偵破方面,后來逐漸商業化.近幾年,與指紋識別相關的產品陸續出現,有加裝指紋識別功能的手機、ATM提款機、指紋考勤系統、指紋門禁系統等.由于指紋識別具有唯一性、易采集和較穩定的特點,因此成為目前使用最廣泛的一項生物特征識別技術.指紋識別技術的研究主要包括指紋預處理、特征提取、特征匹配3個部分.

圖像預處理作為指紋識別的第一步,目的是從采集到的指紋圖像中去除噪聲,得到清晰的點線圖,主要包括圖像增強、圖像分割和細化等主要步驟.a.在圖像增強[40]中,考慮到指紋紋理的方向性,最典型的方法是Gabor濾波器,該算法利用了Gabor具有頻域和方向選擇的特性,之后的算法重點是對于潛在指紋或是低質量指紋的改進Gabor算法的研究.例如,正交曲線的Gabor濾波器[41]、傅立葉域的方向濾波[42]、彎曲Gabor濾波器的方向場和頻率場估計[43]等,此外還將稀疏表示的概念應用到指紋增強算法中[44-45].b.在圖像分割中,需要將指紋圖像作為前景圖像從完整的圖像中分割出來,以便后續的細化處理.c.在圖像細化中,主要目標是將指紋圖像變成單像素連接圖.文獻[46]給出了基于鄰域搜索的OPTA(one-pass thin-ning algorithm)指紋細化算法,將圖像轉化為單像素連接圖.

在特征提取中,一般使用的指紋特征包括全局特征(奇異點)和局部特征(端點、分叉點和脊線).對指紋圖像提取特征后,可用于后續的指紋匹配和分類工作.指紋特征提取涉及的主要技術包括指紋方向場和頻率估計、指紋分割增強、紋路提取細化、節點提取和過濾以及脊線數計算等[1].

特征匹配是指紋識別的最終目標,主要方法包括基于圖匹配和基于特征點匹配的指紋識別方法.基于圖匹配的方法在低質量指紋識別中具有明顯的優勢.基于特征點的匹配方法是現階段研究最多的匹配方法,可以細分為如下3大類:基于單個特征點、基于桿特征(矢量線段)以及特征點組的匹配[47].

3 單模態識別面臨的挑戰

現階段,指紋識別和人臉識別等單模態的生物特征識別方式已經取得了突破性的進展,在許多場合也得到了應用,但也面臨許多挑戰,主要表現為:

a. 正確率.

人臉識別中,人臉變化是影響識別性能至關重要的因素,既包括化妝、整形、頭發遮擋、胡須等內在因素,也包括光照、成像角度等外在條件因素;指紋識別中,指紋圖像是影響指紋識別的關鍵因素,低質量的指紋圖像由于計算紋路方向和頻率困難,導致難以進行圖像分割和特征點的提取.此外還有傳感器端引入的噪聲信號也會增加錯誤拒絕率.

b. 獨特性.

單模態的生物特征識別雖然在技術方面有了很大的突破,但是當要選擇某一種模態時主要依賴于具體的應用而異,因為沒有一種模態在許多方面都很好,都勝過于其他.通過大量的科研結果表明,人臉識別在識別率和安全性上要高于指紋識別,即當人臉識別利用紅外掃描,進行人臉特征點的立體掃描時,要想破解是非常不容易的,而指紋識別比人臉識別在速度上要快,一些類似于公司考勤、手機解鎖等大都采用的是指紋識別系統.

c. 適用性.

當采集設備存在局限性或者當人因身體原因而不能提供所需的生物特征或提供的生物特征質量低下時,單模態識別過程將變得比較困難.例如,一些特殊的場合中,攝像機不能夠近距離地靠近人體,造成攝像機距離人體較遠,從而捕捉到的人臉圖像分辨率較低、畸變較大,以至于人臉識別困難;在指紋采集時,有些人因手指殘疾、手指受傷或手出汗,以致無法進行指紋圖像采集或者采集到的指紋圖像不理想,從而增加指紋識別難度.

d. 安全性.

伴隨著科學技術的發展,信息攻擊、竊取和復制變成了一件簡單的事情.如美國斯坦福大學科研團隊近期研究了一項“Face2Face”的新技術,可以通過某個人的人臉動作去控制目標對象的人臉動作,輕易實現名人的人臉表情和動作的復制;又如,新聞中經常會看到黑客竊取人臉或指紋信息,從而攻破安全系統的監控,實施犯罪活動.

4 聯合人臉與指紋的多模態生物特征識別

由于使用人臉或指紋等單模態特征進行生物特征識別具有一定的局限性,受多源信息融合能降低錯誤率、增強穩定性的啟發,近年來國內外掀起了多模態識別研究的熱潮.多模態生物特征識別通過融合不同種類的生物特征進行身份識別,實現不同特征之間的優勢互補,以提升生物特征識別系統的性能.相比單模態,多模態具有更廣的適用性、更高的安全性和更好的準確性,其主要思想是在單模態識別技術的基礎上,綜合利用來自不同種類的生物特征,采用信息融合技術在某一層或多層進行信息的融合,最終獲得融合后的識別結果[48].由于人臉和指紋特征是生物特征識別中最為普遍采用的特征,研究人員試圖聯合人臉與指紋特征進行多模態生物特征識別.

聯合人臉和指紋對生物特征進行識別的關鍵步驟是信息的融合.根據融合的層級不同,可分為[2]:傳感器層融合、特征層融合、匹配層融合、決策層融合.

傳感器層融合是在硬件采集數據階段即對數據進行融合,以便減少數據采集的硬件投入.目前,有些傳感器還可以在數據傳輸開始前在傳感器本地端進行初步的數據處理,將處理后的結果傳給后續處理的終端,減少數據的傳輸量,提高數據傳輸的效率,改變所有的數據處理流程都放在終端的模式,從而降低終端的工作壓力.

特征層融合需要對提取出的人臉和指紋特征進行融合,并利用降維算法對特征進行降維表示.特征層融合的核心目標是通過融合后找到更加顯著的特征,從而提高生物特征識別的正確率和穩定性.

匹配層融合的思想在于:為了衡量待識別的生物特征與模板庫中的匹配模板的相似程度,每一種生物特征識別系統需要提供一個匹配參數,而匹配層融合就是通過把不同的匹配參數進行融合來進行身份認證[49].匹配層融合是多模態生物特征識別的重點研究內容,很多研究人員關注于此問題的研究.

決策層融合是將每個獨立的識別系統的結果進行融合,得到更加魯棒的結果.對每個識別系統的結果進行投票是最常見的方法之一,此外卡爾曼濾波方法也常常被用于進行決策層的融合[50].

圖1詳細地給出了聯合人臉與指紋的多模態生物特征識別的框架圖,在此框架圖中,最底層的是傳感器融合層;對傳感器采集得到的人臉和指紋數據進行特征提取后可以進行特征層的融合;在當前待識別的特征與模板庫中的特征進行匹配的階段,可以進行匹配層融合,從而提高相似度計算的正確性;最后的決策階段,可以對獨立的識別結果進行決策層融合,從而使最終的識別結果更加正確和魯棒.

圖1 聯合人臉與指紋進行生物特征識別的融合策略

5 聯合人臉與指紋的多模態生物特征識別展望

由于聯合人臉與指紋的多模態生物特征識別具有更好的正確率和穩定性,可以預見,其在將來的實際應用場合將具有更加廣闊的應用前景.這一領域將會吸引更多的研究人員加入,可以在如下方面進行更深入的研究.

a. 克服特征空間的不兼容性.

對于特征空間的不兼容問題,主要依賴于提取互補的特征以及建立合適的特征級融合規則.如在人臉和指紋的多模態識別中,人臉的PCA特征和指紋的細節點特征被證明是一組互補的特征.研究者可以進一步發掘更多互補的特征.

b. 探索對融合后得到的高維特征進行稀疏表示的新方法.

不同源的特征經過融合后,所得到的新特征往往維度很高.高維的特征將使后續的計算需要更多的時間,需要更為強大的硬件進行支撐.因此,在研究融合后的特征進行稀疏表示的方法中,得到低維度的顯著特征將會降低后續計算的時間成本.特別是在針對大數據的實時應用場景中,這顯得極為重要.

c. 聯合人臉和指紋樣本進行協同學習的新方法.

不同的生物特征識別系統,其學習過程往往是獨立的.能否在學習的過程中讓不同種類的樣本進行交叉,即將不同種類的樣本加入對方的訓練集進行協同學習,以期取得模型構建上的突破,這也是非常值得嘗試的新思路.

d. 基于深度學習的識別新方法.

深度學習作為機器學習領域革命性的技術,正在各個應用場合取得突破.在人臉和指紋識別領域,深度學習必然也會有所作為.在聯合人臉和指紋進行多模態生物特征識別的研究領域,引入深度學習的框架,可以進一步地提高識別的正確率和穩定性,值得研究人員進行嘗試.

[1] 劉歡喜.人體生物特征的綜合分析與應用[D].上海:上海交通大學,2010.

[2] WILD P,RADU P,CHEN L L,et al.Robust multimodal face and fingerprint fusion in the presence of spoofing attacks[J].Pattern Recognition,2016,50:17-25.

[3] ABDOLAHI M,MOHAMADI M,JAFARI M.Multimodal biometric system fusion using fingerprint and iris with fuzzy logic[J].International Journal of Soft Computing and Engineering,2013,2(6):504-510.

[4] SUDHISH P S,JAIN A K,CAO K.Adaptive fusion of biometric and biographic information for identity de-duplication[J].Pattern Recognition Letters,2016,84:199-207.

[5] YAO Z G,LE BARS J M,CHARRIER C,et al.Literature review of fingerprint quality assessment and its evaluation[J].IET Biometrics,2016,5(3):243-251.

[6] KAUFMAN G J,BREEDING K J.The automatic recognition of human faces from profile silhouettes[J].IEEE Transactions on Systems,Man,and Cybernetics,1976,SMC-6(2):113-121.

[7] JOSHI J C,GUPTA K K.Face recognition technology:a review[J].The IUP Journal of Telecommunications,2016,8(1):53-63.

[8] YANG G Z,HUANG T S.Human face detection in a complex background[J].Pattern Recognition,1994,27(1):53-63.

[9] SAKAI T,NAGAO M,FUJIBAYASHI S.Line extraction and pattern detection in a photograph[J].Pattern Recognition,1969,1(3):233-236.

[10] ROWLEY H A,BALUJA S,KANADE T.Neural network-based face detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(1):23-38.

[11] CHEN D,HUA G,WEN F,et al.Supervised transformer network for efficient face detection[C]∥European Conference on Computer Vision.Cham:Springer,2016:122-138.

[12] ZAFEIRIOU S,ZHANG C,ZHANG Z Y.A survey on face detection in the wild:past,present and future[J].Computer Vision and Image Understanding,2015,138:1-24.

[13] JI S P,LU X B,XU Q Z,et al.A fast face detection method combining skin color feature and AdaBoost[C]∥Proceedings of 2014 International Conference on Multisensor Fusion and Information Integration for Intelligent Systems(MFI).Beijing:IEEE,2014:1-5.

[14] DU C H,ZHU H,LUO L M,et al.Face detection in video based on AdaBoost algorithm and skin model[J].The Journal of China Universities of Posts and Telecommunications,2013,20(S1):6-9,24.

[15] WANG K,ZHANG H F.Research on an improved algorithm of face detection based on skin color features and cascaded AdaBoost[C]∥Proceedings of the 2015 IEEE 16th International Conference on Communication Technology(ICCT).Hangzhou:IEEE,2015:779-782.

[16] FELZENSZWALB P,MCALLESTER D,RAMANAN D.A discriminatively trained,multiscale,deformable part model[C]∥Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition.Anchorage,AK:IEEE,2008:1-8.

[17] KOKKINOS I.Rapid deformable object detection using dual-tree branch-and-bound[C]∥Advances in Neural Information Processing Systems 24:25th Annual Conference on Neural Information Processing Systems.Granada,Spain:NIPS,2011:2681-2689.

[18] DUBOUT C,FLEURET F.Exact acceleration of linear object detectors[C]∥Proceedings of the 12th European Conference on Computer Vision.Berlin Heidelberg:Springer,2012:301-311.

[19] YAN J J,LEI Z,WEN L Y,et al.The fastest deformable part model for object detection[C]∥Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Columbus,OH:IEEE,2014:2497-2504.

[20] KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neural networks[C]∥Proceedings of the 25th International Conference on Neural Information Processing Systems.Lake Tahoe,Nevada:ACM,2012:1097-1105.

[21] SUN Y,CHEN Y H,WANG X G,et al.Deep learning face representation by joint identification-verification[C]∥Proceedings of the 27th International Conference on Neural Information Processing Systems.Cambridge,MA,USA:ACM,2014:1988-1996.

[22] ZHANG C,ZHANG Z Y.Improving multiview face detection with multi-task deep convolutional neural networks[C]∥Proceedings of 2014 IEEE Winter Conference on Applications of Computer Vision (WACV).Steamboat Springs,CO:IEEE,2014:1036-1041.

[23] COVER T,HART P.Nearest neighbor pattern classification[J].IEEE Transactions on Information Theory,1967,13(1):21-27.

[24] FLEMING M K,COTTRELL G W.Categorization of faces using unsupervised feature extraction[C]∥Proceedings of 1990 IJCNN International Joint Conference on Neural Networks.San Diego,CA,USA:IEEE,1990,2:65-70.

[25] RANGANATH S,ARUN K.Face recognition using transform features and neural networks[J].Pattern Recognition,1997,30(10):1615-1622.

[26] OSUNA E,FREUND R,GIROSIT F.Training support vector machines:an application to face detection[C]∥Proceedings of 1997 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Juan:IEEE,1997:130-136.

[27] SAMARIA F,YOUNG S.HMM-based architecture for face identification[J].Image and Vision Computing,1994,12(8):537-543.

[28] WRIGHT J,YANG A Y,GANESH A,et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.

[29] YANG M,ZHANG L.Gabor feature based sparse representation for face recognition with Gabor occlusion dictionary[C]∥Proceedings of the 11th European Conference on Computer Vision:Part VI.Berlin Heidelberg:Springer-Verlag,2010:448-461.

[30] ZHOU Z H,WAGNER A,MOBAHI H,et al.Face recognition with contiguous occlusion using Markov random fields[C]∥Proceedings of the 2009 IEEE 12th International Conference on Computer Vision.Kyoto:IEEE,2009:1050-1057.

[31] ZHANG L,YANG M,FENG X C.Sparse representation or collaborative representation:which helps face recognition[C]∥Proceedings of the 2011 IEEE International Conference on Computer Vision.Barcelona:IEEE,2011:471-478.

[32] PENG X,ZHANG L,YI Z,et al.Learning locality-constrained collaborative representation for robust face recognition[J].Pattern Recognition,2014,47(9):2794-2806.

[33] SHI X S,YANG Y J,GUO Z H,et al.Face recognition by sparse discriminant analysis via jointL2,1-norm minimization[J].Pattern Recognition,2014,47(7):2447-2453.

[34] LIU H D,YANG M,GAO Y,et al.Bilinear discriminative dictionary learning for face recognition[J].Pattern Recognition,2014,47(5):1835-1845.

[35] YIN J,LIU Z H,JIN Z,et al.Kernel sparse representation based classification[J].Neurocomputing,2012,77(1):120-128.

[36] HINTON G E,OSINDERO S,TEH Y W.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18(7):1527-1554.

[37] CHEN X W,ASLAN M S,ZHANG K L,et al.Learning multi-channel deep feature representations for face recognition[C]∥Proceedings of the 1st International Workshop on “Feature Extraction:Modern Questions and Challenges.NIPS,2015:60-71.

[38] ZHANG J,HOU Z J,WU Z R,et al.Research of 3D face recognition algorithm based on deep learning stacked denoising autoencoder theory[C]∥Proceedings of the 2016 8th IEEE International Conference on Communication Software and Networks (ICCSN).Beijing:IEEE,2016:663-667.

[39] LEE H C,GAENSSLEN R E.Advances in fingerprint technology[M].2nd ed.Boca Raton:CRC Press,2001.

[40] HONG L,WAN Y F,JAIN A.Fingerprint image enhancement:algorithm and performance evaluation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(8):777-789.

[41] MEI Y,ZHAO B,ZHOU Y,et al.Orthogonal curved-line Gabor filter for fast fingerprint enhancement[J].Electronics Letters,2014,50(3):175-177.

[42] POPOVIC B M,BANDJUR M V,RAICEVIC A M.Robust fingerprint enhancement by directional filtering in Fourier domain[J].Elektronika ir Elektrotechnika,2011,107(1):37-40.

[43] RAJAN R A,SUDHA N,KUMAR P A.O-F Estimation based on curved Gabor filter for fingerprint image enhancement[C]∥Proceedings of the 2013 5th International Conference on Advanced Computing (ICoAC).Chennai:IEEE,2013:405-412.

[44] LIU M H,CHEN X Y,WANG X D.Latent fingerprint enhancement via multi-scale patch based sparse representation[J].IEEE Transactions on Information Forensics and Security,2015,10(1):6-15.

[45] WEI K F,LIU M H.Latent fingerprint enhancement based on orientation guided sparse representation[M]∥YOU Z S,ZHOU J,WANG Y H,et al.Biometric Recognition.Chengdu:Springer,2016:205-213.

[46] CHEN G,CHEN N,ZENG Y.An improved OPTA fingerprint thinning algorithm based on neighborhood searching[C]∥Proceedings of 2012 International Conference on Computer Science and Information Processing (CSIP).Xi′an:IEEE,2012:637-640.

[47] 張永良.滑動指紋拼接與指紋匹配的算法研究[D].上海:上海交通大學,2006.[48] DARWISH A A,ZAKI W M,SAAD O M,et al.Human authentication using face and fingerprint biometrics[C]∥Proceedings of the 2010 2nd International Conference on Computational Intelligence,Communication Systems and Networks.Liverpool:IEEE,2010:274-278.

[49] 葛彥平.基于匹配融合的指紋與指靜脈雙模態生物識別技術的研究[D].南京:南京郵電大學,2012.

[50] CAO Z X,ZHANG R D,YANG Y,et al.Discrete-time robust iterative learning Kalman filtering for repetitive processes[J].IEEE Transactions on Automatic Control,2016,61(1):270-275.

(編輯:丁紅藝)

Survey on the Multimodal Biometric Identification by Fusing Faces and Fingerprints

XIAO Jianli, ZHANG Jing

(SchoolofOptical-ElectricalandComputerEngineering,UniversityofShanghaiforScienceandTechnology,Shanghai200093,China)

Face and fingerprint recognition,the two most popular biometric identification technologies,are widely used in recent years due to their simplicity,rapidity and safety.However,the accuracy and robustness of the biometric identification systems using a single feature need to be improved further.Meanwhile,these systems are easy to be cracked by forged faces or fingerprints.Thus,multimodal biometric recognition methods by fusing faces and fingerprints were focued.A review on the researches of face and fingerprint recognition technologies was afforded,and then the challenges of monomodal biometric recognition was summerized.On this basis,the multimodal biometric recognition methods by fusing faces and fingerprints were described to solve the defects of the monomodal biometric recognition.Finally,the future developments of the multimodal biometric recognition methods were presented.

face;fingerprint;personidentification;multimodal

1007-6735(2017)01-0051-07

10.13255/j.cnki.jusst.2017.01.009

2016-12-09

國家自然科學基金資助項目(61503250);上海高校青年教師培養資助計劃(ZZslg15018);上海理工大學國家級項目培育課題(16HJPY-QN03)

肖建力(1982-),男,講師.研究方向:數據挖掘與大數據技術、機器學習與計算機視覺、智能交通與智慧城市.E-mail:audyxiao@sjtu.edu.cn

TP 391

A