動態分數選擇的多視角非接觸指紋識別融合

李 永，殷建平，祝 恩，李 寬，趙志恒

(1.國防科技大學 計算機學院，410073 長沙;2.武警工程大學信息工程系，710086 西安)

動態分數選擇的多視角非接觸指紋識別融合

李 永1，2，殷建平1，祝 恩1，李 寬1，趙志恒1

(1.國防科技大學 計算機學院，410073 長沙;2.武警工程大學信息工程系，710086 西安)

與傳統的二維指紋采集方式相比，非接觸的指紋采集方式可以提供更豐富的特征，并能克服二維采集方式某些不足.基于多視角非接觸指紋識別融合問題，提出了基于聚類的動態分數選擇(CDSS)算法.首先，通過聚類將匹配分數分為兩類，分別計算兩類中匹配分數的個數以及其他統計量，然后通過參數的判斷選擇相應的統計量作為整個系統最終用于決策的匹配分數.實驗表明:相比單視角非接觸二維指紋識別，基于CDSS的多視角非接觸指紋識別的識別性能有顯著提高.與sum、max、SVM和Fisher線性判別算法等的實驗比較也驗證了CDSS在多視角非接觸指紋識別融合方面的優越性.

指紋識別;動態分數選擇;融合;非接觸;多視角

經過近30年的研究和應用，指紋識別技術已比較成熟，特別是針對高質量指紋的預處理、特征提取和匹配.但尚有部分低質量指紋難以被識別，究其主要原因是傳統的二維指紋采集方式仍存在著一些自身的不足.傳統的二維指紋采集方式一般是通過手指與平面的傳感器接觸而獲取指紋.在這種方式下，由于每次手指與傳感器平面接觸的壓力不同而使得同一手指的不同指紋樣本之間有一定的形變，從而使得指紋對齊比較困難［1－3］;在采集指紋時，傳感器平面上會留下指紋痕跡，這些痕跡可以被利用來偽造指紋，也使得指紋分割困難，容易產生干擾特征［4－5］;手指皮膚的干濕情況或者油漬等臟物也會降低采集的指紋圖像的質量;手指在傳感器平面上移動則會降低圖像質量;手指與傳感器接觸的面積太小時易使得特征太少而識別困難.為了解決圖像采集過程中的這些問題，B.F.Hiew［6］、Y.Song［7］和 C.Lee［8］等通過數字照相機非接觸地獲取指紋圖像;美國TBS North AmericaInc.［9］和 奧 地 利 JOANNEUM RESEARCH［10］合作對三維指紋進行研究，開發了基于非接觸的三維指紋采集系統.香港理工大學在香港政府的資助下啟動了三維指紋識別的研究，目前已經開發出三維指紋采集系統.

目前的三維指紋采集系統的原理均為多視角非接觸采集，然后通過三維重建獲得三維指紋模型.多視角非接觸三維采集方式可以提供更豐富的特征用于識別，并能克服二維指紋采集方式的一些不足.盡管目前三維采集儀成本較高，但隨著身份認證需求的不斷增加、硬件技術的發展和制造成本的降低，三維指紋采集儀將逐步被用戶接受.三維指紋識別過程包括三維重建，再次展開為二維指紋圖像，特征提取和匹配.同時，三維指紋識別過程離不開二維指紋識別，現有方法最終歸結為二維指紋匹配.從三維指紋識別過程輸入輸出看，本質上是一個將多幅不同角度非接觸指紋圖像的信息進行融合做出最終的身份認證.因此本文嘗試以非接觸二維指紋識別研究為基礎，從融合的角度來研究多視角非接觸指紋識別問題.

1 多視角非接觸指紋識別系統

多視角指紋圖像采集系統原理如圖1所示，多個(本文為3個)高分辨率攝像頭環繞手指共面間隔排列，同步采集獲得多幅二維指紋圖像，每幅圖像對應一個成像視角.如圖2所示為一個真實的多視角非接觸指紋采集系統實際采集過程.在指紋采集過程中，采集者將手指放在采集位置，操作者通過確定即可同時獲得手指的左中右3個不同角度的指紋圖像.在圖2的采集過程中，系統會發出藍色光，這是因為通過藍色光反射能夠較好的獲取指紋的紋路信息.多視角識別系統每一次采集的圖像如圖3所示，從左到右依次為左中右視角攝像頭所采集的圖像.每幅圖像為768×576，像素深度為8.可以看到，該系統可以完整的采集到手指輪廓信息、手指第1關節的位置和紋路信息.圖像中紋路的對比度相比接觸式指紋采集的對比度降低.

多視角指紋采集系統原理多視角指紋采集儀記多視角系統認證時模板和查詢樣本分別為

圖1 多視角指紋采集系統原理

圖2 多視角指紋采集儀

圖3 多視角指紋采集儀的非接觸指紋圖像

式中:s為第i次匹配時模板和輸入特征之間的匹配分數，s越近1，則表示輸入特征來自合法用戶的概率越大.記式中:為第i次匹配時左視角指紋模板特征與查詢樣本的左視角指紋的輸入特征的匹配分數，slli越接近于1，則表示輸入特征來自合法用戶的概率越大.同理，可以得到如果Ti，Qi來自于同一個對象，那么匹配分數，s，越接近于1;同時由于多視角指紋采集系統采集的中間視角與左右視角差異小，圖像相互重疊較大，因此也會相對接近于1;而由于視角差異大，重疊區域小，因此不能體現出接近于1這個特點.實驗也證實了這一點，具體的實驗結果數據如表3所示.表3列出了不同視角匹配分數的等錯誤率(Equal Error Rate，EER)，可以看到slir，sril的等錯誤率遠遠大于其他7種不同視角組合.因此，在本文中，選用其余7種視角組合的匹配分數，稱之為有效視角匹配.則

定義有效視角組合的匹配分數集合為

多視角指紋識別系統的匹配分數可以通過對以上7個不同視角組合的匹配分數的融合得到，將多視角系統的識別問題轉化為基于匹配分數的融合問題.

信息化調查既是犯罪調查領域的一場信息化變革也是監察體制改革的自身要求，這一戰略需要以常態化工作機制為載體才能充分發揮其效用，對于信息化調查來說，除了需要建設軟件硬件等方面之外，建立完善一套信息引導犯罪調查的工作機制至關重要。信息引導犯罪調查工作機制是一套成體系的科學機制，從獲取線索到調查終結都有信息引導犯罪調查機制的作用，還要勇于突破之前職務犯罪偵查原有“由人到案”和“由供到證”的習慣性做法。

2 多視角非接觸指紋識別融合算法

2.1 非接觸指紋識別

非接觸指紋識別建立在一般的二維指紋識別基礎之上，其過程也包括圖像預處理、特征提取、特征匹配.非接觸指紋與接觸式指紋相比，數據量較大，可以看到完整的手指輪廓，同時紋路的對比度相對降低.這些特點都是非接觸指紋識別與接觸式指紋識別的不同所在.

1)圖像預處理階段.首先采用金字塔采樣去除噪聲，并用自適應的閾值分割圖像，實現二值化;用3*3的矩形元素腐蝕圖像，去除圖像背景中的細節部分;用Canny算子［11］進行邊緣檢測，從黑色背景中提取出手指輪廓;圖像預處理階段的主要任務就是提取手指輪廓，同時實現手指和背景分離.

2)特征提取階段.在預處理階段實現手指輪廓和背景分割的基礎上，計算紋路方向，根據方向正確性對紋路方向進行修正和分割［12］，然后使用圓形Gabor濾波器進行指紋圖像增強［13］.最后對圖像進行二值化和細化，提取細節點特征.

3)特征匹配階段.首先根據手指輪廓進行粗對齊，然后使用結合節點和方向場的指紋匹配算法［14］，結合BP神經網絡，實現最終的匹配算法.

2.2 融合算法

基于匹配分數融合的多視角非接觸指紋識別，從融合分類來說類似于多單元或者多模板生物特征識別.J.Kittler等［15］提出了5 種簡單的融合規則:sum，Product，min，max，Median.文獻［15－17］研究表明sum算法通常優于其他固定規則算法.考慮到同一個分類器產生的匹配分數，因此各個分數之間具有可比性.同時，匹配分數位于［0，1］，無需進行標準化.

考慮到匹配分數的相似性以及可能出現的噪音分數，本文提出了基于聚類的動態分數選擇的多視角非接觸指紋識別算法CDSS.層次聚類的特點是在算法運行過程中，聚類中心不斷修正，但模式一旦歸為一類后就不再被分開.首先將匹配分數聚成2類.表1是程序對某次匹配所產生的匹配分數進行聚類所得的結果.

表1 匹配分數聚類舉例

在聚類中，將均值較大一類標記為 +1，而將均值較小的一類標記為 -1.通過聚類可以發現，第4個匹配分數實際上是一個錯誤的匹配分數，那么在融合算法中，就可以排除這個干擾.通過聚類算法，將每一次的匹配分數集合Si劃分為兩個子類中匹配分數均值分別為 Avg，Avg(+)，Avg(-)，Si的匹配分數最大、最小值分別為max，min，記S，S中元素個數分別為N(+)，N(-).在本文的算法中，需要設定3個初始參數t-M、t-G、t-I，其中:t-M為用來分開合法用戶匹配分數和非法用戶匹配分數;t-I為用來限定非法用戶匹配分數;t-G為用來限定合法用戶匹配分數.在聚類后，可以計算出中匹配分數的一些統計量以及中元素個數的統計量N(+)，N(-).當N(+)較大時，說明均值較大的一類匹配分數樣本較多，則該次匹配為合法匹配的可能性較大，否則，當N(-)較大時，則說明均值較小的一類匹配分數樣本較少，則該次匹配為非法匹配的可能性較大.

CDSS算法的流程如圖4所示，具體的算法過程如圖5所示.算法首先通過Avg和max確定最終的匹配分數是否取 max，min，否則，將根據N(+)，N(-)進一步確定最終的匹配分數是否取Avg(+)或Avg(-)，在前兩步沒有決定取值時，說明關于此次匹配為合法還是非法的判斷證據還不明顯，因此就將最終值設定為Avg.總之，CDSS根據匹配分數的大小以及聚合關系判斷此次匹配為合法或者非法可能性的大小，然后決定最終的匹配分數所采用的統計值，從而避免采用單一統計量帶來的系統性誤差.算法的基本思想是為合法匹配的概率越大則取較大的統計量，概率越小則取較小的統計量，而對于概率居中的則取均值.

當匹配分數均值 ＜t-M時，該次匹配為非法入侵者的概率較大，反之，則為合法用戶的概率較大.當某個匹配分數 ＞t-G時，說明該次匹配為合法用戶的概率非常大，而當某個匹配分數 ＜t-I時，說明該次匹配為非法入侵者的概率非常大.參數的確定可以在訓練集上通過不同的參數組合來確定最優組合來確定.另外，實驗也發現，本文的算法具有很好的魯棒性，因此參數的選擇可以通過估計得到.記u{I}，σ{I}，u{G}，σ{G}分別為非法入侵者匹配分數和合法用戶匹配分數的均值和方差，則 t-I＜=t-M ＜=t-G，t-M的值滿足u{I}＜t-M ＜ u{G}.在實驗中，t-M，t-G，t-I的值分別取為 0.230，0.600，0.001.

圖4 CDSS算法流程圖

圖5 基于匹配分數的多視角非接觸指紋識別融合算法HFC

3 實驗結果

目前尚無公開的多視角非接觸指紋數據庫，為了研究和評價多視角非接觸指紋識別系統的識別性能，采集了120(個手指)×8(次采樣)×3(種視角)總計2 880個指紋的實驗數據庫.每個手指的采集分兩次進行，每次采集4次，共計(4×3種視角)12個指紋，兩次采集之間至少間隔15 d.凡是采集的用戶都給予了簡單說明，但沒有特別限制用戶手指的放置方式.

3.1 性能參數

當生物特征識別系統對兩個樣本進行匹配時，會得到它們的匹配分數，可以將匹配分數看做相似度.不失一般性，可以更進一步地將相似度規約到［0，1］.相似度越接近1，則兩個指紋越相似;相似度越接近0，則兩個指紋差異越大.如果給定一個相似度閾值t，若匹配分數≥t，則判斷兩個樣本為匹配(來自同一用戶)，否則判斷兩個指紋為不匹配(來自不同用戶).這樣，給定相似度閾值t，則可以得到兩個錯誤率，即錯誤拒絕率和錯誤接受率.

1)錯誤接受率(False Accept Rate，FAR).對兩個不同手指的指紋進行匹配，系統認為兩個指紋來自相同手指的概率.

2)錯誤拒絕率(False Reject Rate，FRR).對來自相同手指的兩個不同指紋樣本進行匹配，系統認為兩個指紋樣本來自不同手指的概率.其中，正確接受率(Genuine Accept Rate，GAR)對來自相同手指的兩個不同指紋樣本進行匹配，系統認為兩個指紋樣本來自相同手指的概率，GAR=1－FRR.

3)相等錯誤率(Equal Error Rate，EER).FAR和FRR相等時FAR或FRR的值，即求取t0滿足FAR(t0)=FRR(t0)，則EER=FAR(t0).對于生物特征識別系統來說，EER的值越小越好.

4)ROC曲線下的面積AUC(Area Under the ROC curve)［18］，定義為

AUC的具體計算為

式中:n+、n-分別為合法用戶和非法用戶的數量.I(xq，yp)的定義為

式中:xp、yp分別為合法用戶匹配分數和非法用戶匹配分數.

5)d-prime定義為

式中:μgen、σ分別為合法用戶匹配分數的均值和方差;μimp、σ分別為非入侵者匹配分數的均值和方差.

對于生物特征識別系統而言，其中的EER，AUC，d－prime都可以用來評價生物特征識別系統的總的性能.EER越小，AUC、d－prime越大，則系統的識別性能越好.

3.2 單視角非接觸指紋識別比較

為了驗證7種組合選擇的合理性，首先研究各種視角匹配組合的單獨性能.表2列出了全部可能的視角匹配組合的EER，其中前7種為所選用的進行融合的視角組合，后兩種為沒有選用的視角組合的匹配分數，從表中可以看出，后2種LR，RL視角組合的識別的準確率非常低.因此根據多視角非接觸指紋識別系統分析以及表2的數據，文中選用了前7種組合作為基本的融合分類器.

表2 不同視角組合識別的EER

3.3 與其他多生物特征融合算法比較

由單視角非接觸指紋識別比較分析可知，基于7種視角組合的匹配融合的非接觸指紋識別是必要的.相對于單一視角組合非接觸指紋識別，基于多視角融合的非接觸指紋識別可以顯著提高系統的識別性能.同時，將本文的工作與幾種典型的算法sum、max、SVM和Fisher線性判別做了比較.sum規則主要思想就是取各個匹配分數的均值，而max規則的就是取各個匹配分數的最大值.圖6給出了幾種算法比較的ROC曲線圖，其中x軸為錯誤接受率(FAR)，y軸為正確接受率(GAR).表3給出了5種融合算法的EER以及FAR=0.1%時的GAR.在SVM實現時，實驗嘗試了各種不同的參數組合，不同參數組合對最終識別性能有一定影響，但是SVM的性能始終不能超過CDSS和sum算法.實驗中采用了徑向基函數為SVM的核函數，圖6中SVM的性能為其中的一個最優解.由圖6以及表3可以看到本文的算法優于以上4種算法，另外sum算法在實驗中表現出了比SVM和Fisher線性判別更好的性能.

圖6 本文的算法與其他融合算法的比較

表3 當FAR=0.1%時5種融合算法的EER和GAR%

3.4 不同數量視角組合的非接觸指紋識別比較

每次認證所產生的Si集合中的匹配分數是有冗余的，為此本文考慮在不同數量視角組合中的匹配分數可能帶來的性能變化.從視角組合的角度的意義考慮，選取了基于前3種視角組合的融合和后4種視角組合的融合以及所有9種組合匹配.由與其他多生物特征融合算法比較分析sum規則也是相當穩健的算法，因此在比較這幾種組合的識別的相對性能差異時，選用了sum規則作為比較的算法.圖7比較了幾種數量組合的性能，可以看出，前7種組合的融合性能優于前3種以及后4種，而全部9種的組合反而沒有更好的性能表現.

圖7 不同數量組合的多角度非接觸指紋識別融合比較

4 結論

1)采集了一個小規模多視角非接觸指紋數據庫，研究了非接觸指紋的預處理、特征提取和特征匹配過程，初步實現了非接觸指紋識別.非接觸指紋識別在采集過程中手指不發生形變，不會在采集儀器上留下痕跡，可以通過多視角采集到手指的輪廓和指紋的全景視圖，還能同時采集多個手指的指紋.

2)區別與已有的三維指紋重建展開再匹配方法，提出了CDSS的多視角非接觸指紋識別融合算法，通過聚類獲得了匹配分數之間一些新的特征，將這些新的特征以及匹配分數一些統計量的數值大小關系，靈活的選擇不同融合規則作為最終的融合策略.

3)將 CDSS算法與 sum、max、SVM 和 Fisher線性判別算法進行了比較，實驗結果顯示本文的算法優于sum、max、SVM和Fisher線性判別能夠取得較好的性能.原因是在聚類過程中考慮了各個分數之間的關系，將合法匹配分數和非法匹配分數的可能性做了區分，合法匹配分數可能性大的賦予了較大的值，非法匹配分數可能性大的賦予了較小的值.

4)比較了SVM、Fisher線性判別、sum規則的識別性能.總體而言，CDSS性能最優，sum次之，而均優于max算法、基于分類器的SVM和Fisher線性判別.可以看到除了CDSS算法，sum算法的性能表現也很穩健，比較復雜的分類器算法如SVM和Fisher線性判別效果反而不是很理想.

［1］ZHU En，YIN Jianping，ZHANG Guomin，et al.Fingerprint minutiae relationship representation and matching based on curve coordinate system［J］.International Journal of Image and Graphics，2005，5(4):729 －744.

［2］ZHU En，YIN Jianping，ZHANG Guomin.Fingerprint matching based on global alignment of multiple reference minutiae［J］.Pattern Recognition，2005，38(10):1685－1694.

［3］DASS S C，JAIN A K.Fingerprint-based recognition［J］.Technometrics，2007，49(3):262 －276.

［4］JAIN A K，FEN Jianjiang，NAGAR A，et al.On matching latent fingerprints［C］//Proceedings of the 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.Washington，DC:IEEE，2008:1－8.

［5］YIN Jianping，ZHU En，YANG Xuejun，et al.Two steps for fingerprint segmentation［J］.Image and Vision Computing，2007，25(9):1391 －1403.

［6］HIEW B Y，ANDREW B J，PANG Y H.Digital camera based fingerprint recognition［C］//Proceedings of the 2007 IEEE International Conference on Telecommunications and Malaysia International Conference on Communications.Washington，DC:IEEE，2007:676－681.

［7］SONG Y，LEE C，KIM J.A new scheme for touchless fingerprint recognition system［C］//Proceedings of 2004 International Symposium on Intelligent Signal Processing and Communication Systems.Washington，DC:IEEE，2004:524－527.

［8］LEE C，LEE S，KIM J.A study of touchless fingerprint recognition system［C］//Proceedings of the 2006 Joint IAPR International Conference on Structural，Syntactic，and Statistical Pattern Recognition.Berlin，Heidelberg:Springer-Verlag，2006:358－365.

［9］PARZIALE G，DIAZ-SANTANA E，HAUKE R.The surround imagerTM:a multi-camera touchless device to acquire 3d rolled-equivalent fingerprints［C］//Proceedings of the 2006 International Conference on Advances in Biometrics. Berlin， Heidelberg:Springer-Verlag，2006:244－250.

［10］JOANNEUM RESEARCH.Touchless 3D fingerprinting［EB/OL］.http://www.joanneum.at/en/fb3/dib/projects/touchless －3D-fingerpri-nting.html.

［11］CANNY J.Finding edges and lines in images［C］//Technical Report Finding Edges and Lines in Images.MA，USA:Massachusetts Institute of Technology Cambridge，1983.

［12］ZHU En，YIN Jianping，Hu Chunfeng，et al.A systematic method for fingerprint ridge orientation estimation and image segmentation［J］.Pattern Recognition，2006，39(8):1452－1472.

［13］ZHU En，YIN Jianping，Zhang Guomin，et al.A gabor filter based fingerprint enhancement scheme using average frequency［J］.International Journal of Pattern Recognition and Artificial Intelligence，2006，20(3):417－429.

［14］祝恩，殷建平，周婧.一種結合節點和方向場的指紋匹配算法［J］.計算機工程與科學，2005，27(9):54－56.

［15］KITTLER J，HATEF M，DUIN R P，et al.On combining classifiers［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(3):226 －239.

［16］ALKOOT F M，KITTLER J.Improving the performance of the product fusion strategy［C］//Proceedings of the 15thInternational Conference on Pattern Recognition.Washington，DC:IEEE Computer Society，2000:164－167.

［17］Tax DAVID M J，Van BREUKELEN M，Duin ROBERT P W.Combining multiple classifiers by averaging or by multiplying?［J］.Pattern Recognition，2000，33(9):1475－1485.

［18］TRONCI R，GIACINTO G，ROLI F.Designing multiple biometric systems:Measures of ensemble effectiveness［J］.Engineering Applications of Artificial Intelligence，2008，22(1):66－78.

Dynamic score selection for multi-vision touchless fingerprint recognition fusion

LI Yong1，2，YIN Jian-ping1，ZHU En1，LI Kuan1，ZHAO Zhi-heng1

(1.School of Computer Science，National University of Defense Technology，410073 Changsha，China;2.Dept.of Information Eingeering，The Chinese People's Armed Police Force Engineering University，710086 Xi'an，China)

Touchless fingerprint capturing can provide richer features and overcome the deficiency of 2D fingerprint recognition.In this paper，a clustering-based dynamic score selection(CDSS)algorithm is proposed for the combination of scores which are generated by different vision touchless fingerprint recognition systems.First，the scores are divided into two classes and the number of elements in each class and other statistic variables is computed.Then appropriate statistic value is chosen as the score for final decision of the whole system.The experimental results show that the performance of CDSS-based multi-vision touchless system can be enhanced efficiently compared to touchless fingerprint recognition and better than those of sum，max，SVM and Fisher linear discrimination algorithms.

fingerprint recognition;dynamic score selection;fusion;touchless;multi-vision

TP391

A

0367－6234(2012)07－0108－06

2011－04－26.

國家自然科學基金資助項目(60970034，60603015);高等學校全國優秀博士學位論文作者資助項目(2007B4);湖南省教育廳資助科研項目(湖南省優秀博士學位論文獲得者資助項目).

李 永(1981—)，男，博士，講師;

殷建平(1963—)，男，教授，博士生導師.

李 永，ylee.nudt@gmail.com.

(編輯 張 紅)