基于多維匹配距離融合的指節紋識別

黃 杰，魏 欣，楊子元，閔衛東,3

基于多維匹配距離融合的指節紋識別

黃 杰1，魏 欣2，楊子元1，閔衛東2,3

(1. 南昌大學信息工程學院，江西 南昌 330031；2. 南昌大學軟件學院，江西南昌 330047；3. 江西省智慧城市重點實驗室，江西 南昌 330047)

指節紋識別(FKP)作為一種新型的生物特征識別方式，以其安全性和穩定性而備受關注。基于編碼的方法被認為是該領域最有成效法之一，在模板匹配階段通常根據所提取的特征信息計算出2張圖片之間的匹配距離來判斷樣本。然而，一些模糊樣本無法通過單一的匹配距離進行有效區分，從而導致較高的錯誤接受率和錯誤拒絕率。針對這一問題，提出了一種輕量化且有效的多維匹配距離融合方法。主要思想是基于多種編碼方法中不同匹配距離之間的差異性和互補性，利用支持向量機(SVM)對多種匹配距離所構造出的多維特征向量進行分類。其具有極強的通用性，易嵌入到現有的基于編碼的方法中。在公開的指節紋數據庫PloyU-FKP上進行了從二維到四維匹配距離的大量實驗。結果表明，該方法能夠普遍提高認證的性能，EER最多可降低22.19%。

指節紋識別；多維匹配距離；差異互補；支持向量機；通用性

在網絡化信息社會，許多場合需要準確地識別一個人身份，生物特征技術為身份識別提供了有效地解決方案[1-2]。目前常用的生物特征包括面部、虹膜、指紋和掌紋[3-4]。指節紋作為一種重要的生物特征，具有信息豐富、限制少、保密性好、成本低等特點，也逐漸進入了研究者的視線。指節紋的研究始于2004年，并在近十年來取得了豐碩的成果[5-6]。

現有的編碼類指節紋識別(finger-knuckle- print，FKP)方法在模板匹配階段大多使用單一的匹配距離判斷2幅圖像是否屬于同一個人。但是，對于部分模糊樣本，單一匹配距離無法對其進行準確地區分，從而導致較高的錯誤接受率和錯誤拒絕率。因此，通過單一匹配距離認證身份的方式不具有足夠的辨別力。本文提出了一種基于多維匹配距離融合的輕量化方法，基于多種特征提取算法，利用不同特征空間所計算出匹配距離之間的差異性和互補性。該方法在模板匹配階段將不同的匹配距離構造成多維匹配距離向量再用支持向量機(support vector machine，SVM)進行分類以緩解現有方法識別精度不足的問題。其核心思想是將單一匹配距離擴展為多維匹配距離，使單一匹配距離無法識別的模糊樣本能夠通過多維匹配距離被準確識別，能夠嵌入到各種編碼類方法中，無論是現存的，還是未來即將出現的，其具有極強的通用性。

在特征提取階段，深度學習通常需要大量地訓練樣本調整網絡中的參數，實際應用中一般很難獲取用戶大量的手指圖像，因此會導致深度學習方法不適用[7]。本文方法在匹配分類階段僅涉及二維到四維的特征(與匹配距離的個數相對應)。傳統的分類器，如SVM能實現理想的效果，無需通過深度神經網絡(deep neural network，DNN)進行分類。此外，SVM相對DNN而言，無需存儲大量參數且計算成本低。綜上，本文方法采用SVM分類器完成最終的分類。

1 相關工作

1.1 指節紋識別流程及相關進展

FKP框架通常由圖片采集、預處理、特征提取和模板匹配4部分組成。其通用流程如圖1所示。同時，圖2展示了指節紋圖片感興趣區域(region of interest，ROI)的裁剪。

圖1 基于指節紋的個人認證系統的結構

圖2 圖像ROI提取

近年來，越來越多的算法表現出高精度、抗光照變化魯棒性、特征提取和匹配速度快等優點[8]。LI等[9]首先提出了內指指關節模式識別框架，包括內指指關節模式預處理和識別算法，充分展示了整個識別過程。YANG等[10]利用二維Gabor濾波器提取圖像局部方向和角距離信息，以衡量2個競爭碼映射之間的相似性，該算法被稱為競爭編碼(Comp)。SUN等[11]提出了對2個方向正交的線性圖像區域進行比較的新方法，然后生成一位特征碼，稱之為序數碼。XU等[12]提出了一種基于判別性和魯棒競爭碼的方法(discriminative robust competitive code，DRCC)，可對鄰域的方位信息進行加權，提高了優勢方向碼的精度和穩定性。ZHANG等[13]利用Gabor濾波的方向信息和幅值信息相結合的特征提取方案，是一種改進競爭碼并融合幅度碼的算法。ZHANG和LI[14]則利用Riesz變換對生物特征圖像的局部模式進行編碼的方法，提出了2種Riesz變換編碼方案，即RCode1和RCode2，使用3位表示每一個編碼，并采用歸一化Hamming距離進行匹配。GUO等[15]提出了一種將圖像與6個不同方向的Gabor濾波器實部卷積的響應進行二值化的編碼方法，并將其命名為BOCV，能夠較好地描述局部方向特征，對圖像旋轉具有較強的魯棒性。卷積神經網絡(convolutional neural network，CNN)與傳統的基于編碼的方法一樣，在計算機視覺任務中具有顯著的性能，因此CNN也開始被應用于FKP的特征提取中[16-17]。然而，CNN需要大量的數據來訓練模型。相比之下，基于編碼的方法具有計算復雜度低、存儲成本低、參數少、速度快等優點。

1.2 特征提取濾波器

Gabor濾波器可以從圖像中提取3種類型的特征——幅度、相位和方向，這些特征可以在不同的情況下單獨使用或聯合使用[18]。本文采用的方法均利用Gabor濾波器提取指節紋特征，即

2 基于多維匹配距離的指節紋識別

本節介紹了一維匹配距離到多維匹配距離的原理分析和本文方法的總體流程。圖3為本文方法的認證流程圖。

2.1 單一匹配距離到多維匹配距離的原理分析

編碼類方法往往是在特征提取和編碼階段之后，通過計算2幅模板之間的匹配距離對用戶身份進行判斷。由于單一方法匹配距離的鑒別性不足，其存在大量模糊區間。為了減少歧義并方便后續的描述，首先對相關概念進行定義：一對圖片之間的一維或多維匹配距離向量在向量空間可以視為一個新的樣本點。如果一對圖片屬于同類，則稱其之間的匹配距離向量所對應的樣本為類內樣本；如果一對圖片屬于不同類，則稱其之間的匹配距離向量所對應的樣本為類間樣本。圖4為類內、類間樣本分布圖，模糊樣本存在類內和類間的重疊區域。

圖3 本文方法的認證流程圖

圖4 類內、類間和模糊樣本分布圖

模糊樣本的出現主要是因為噪聲的影響和特征提取算法本身的缺陷，部分類內樣本的匹配距離會偏大，而部分類間樣本的匹配距離會偏小。這些因素都將導致類內和類間樣本的匹配距離分布出現重疊。因此，單一閾值無法準確區分這些模糊樣本，圖5可以更加直觀地闡釋上述內容。

受單一匹配距離局限性的啟發，本文將多種匹配距離融合成多維匹配距離向量提高模板匹配階段的性能。不同的特征算法可以學習到不同的特征，其匹配距離也存在差異。因此，不同算法所計算的匹配距離具有一定的差異性和互補性，可以將其視為樣本的不同特征，并將其結合成匹配距離向量，再利用SVM進行分類。以二維匹配距離為例，如圖6所示，二維匹配距離判決錯誤的樣本數小于單一匹配距離判決錯誤的樣本數。這是因為不同特征提取算法計算出的匹配距離存在差異性和互補性。其差異性使得當樣本被一個匹配距離錯誤判斷時，另一個匹配距離可以補充進行準確地判斷。此外，2種匹配距離的結合或將產生新的樣本間的差異使得樣本之間的差異更為明顯。

圖5 一維匹配距離的局限性

圖6 單一匹配距離和二維匹配距離分隔效果比較

SVM的基本思想是求解能正確劃分訓練數據集和幾何間隔距離最大的分離超平面，即使分離面最近的數據點之間距離最大。對于線性可分的數據集而言，劃分的超平面有無窮多個(感知機)，但是幾何間隔最大的分離超平面卻是唯一的。利用SVM的算法原理和公式。假設特征空間上的訓練數據集為

為了解決這個優化問題，首先需要構造拉格朗日函數以得到其對偶問題，即

可化簡得到

當對一個數據點進行分類時，只需將數據點放入()中，并將結果與符號進行比較，即

2.2 本文方法的總體流程

首先通過各個特征提取算法E提取每張圖片的特征信息E,i，接著根據各自算法所提取的不同特征計算2張圖片之間的匹配距離(E,i,E,j)，然后將2張圖片的不同匹配距離融合成多維匹配距離向量(,)用于分類

其中，E為第個特征提取算法；E,i為用第個算法提取到第張圖片的特征信息；d為第個特征提取算法下，第和張圖片之間的匹配距離；D為第和張圖片所構成的維匹配距離向量，也就是2.1中所定義的一個樣本點。

理論上，該方法適用于二維至維匹配距離向量，其中為大于2的正整數。在實驗中，具體選取了二維匹配距離至四維匹配距離3種不同的維度進行研究。類內樣本的標簽為1，類間樣本的標簽為0，從整個數據集中隨機抽取一定數量的類間樣本進行訓練。

式(8)匯總了本文方法計算樣本最終距離的3種情況，即

其中，和分別為第和張圖像；1和2分別為相應的類內和類間匹配的置信度分數；1,2,···,d為根據各自特征提取算法計算的匹配距離；1,2,···,為各個匹配距離的權重，且所有權重之和等于1。

3 實 驗

3.1 指節紋數據庫

本文所有的實驗均在公共指節紋數據庫PolyU-FKP數據庫[13]上進行測試。一共選取了147人的左食指、左中指、右食指、右中指的圖像，每根手指有12張圖像，總計588類手指，7 056張指節紋圖像。

3.2 參數與環境

實驗中計算機配置環境為：Inter-Xeon E-2136CPU@3.30GHz16 GB內存，Matlab R2017B，Visual C++ 2015專業版。為了減少匹配時間，采用Matlab和C++混合編程。

3.3 實驗結果

實驗結果是通過接收機工作特性(receiver operating characteristic，ROC)曲線來描述各個算法的認證效果，曲線的橫坐標表示真實接受率(geniune acceptance rate，GAR)，曲線的縱坐標表示錯誤接受率(false acceptance rate，FAR)。評價指標還包括錯誤拒絕率(false rejection rate，FRR)和等錯誤率(equal error rate，EER)，其是ROC曲線與=+1相交的橫坐標。本文對8種經典編碼類識別方法進行復現比較，分別為BOCV[15]，ImComp[13]，Comp[10]，Magcode[13]，DRCC[12]，Ordinalcode[11]，RCode1[14]和RCode2[14]。8種特征提取算法各自的EER見表1，同時圖7展示了其ROC曲線。

表1 經典算法的EER (%)

圖7 經典算法的ROC曲線比較

3.3.1 二維到四維的多維匹配距離

首先，將其中的2種匹配距離融合成二維匹配距離向量。表2展示了各組合使用該方法后的EER以及提升程度，提升程度指的是將各組合使用該方法后的EER與各組合中效果更好的一種匹配距離的EER進行比較。

表2 二維組合的EER及比較(%)

表2中的方法均可在一定程度上提高二維距離組合的性能，其中，RC2和Comp這組的EER下降程度高達21.03%。進一步的分析可發現Comp，RC1和RC2的3種算法的匹配距離均能很好地與其他匹配距離融合，算法之間較大的差異性是導致這一現象的根本原因。圖8展示了部分二維組合使用本文方法后的ROC曲線，并與其各自組合中的2種匹配距離的ROC曲線進行比較。下文所有實驗結果使用該方法均用Ours (xD，xxx+···+xxx)的形式表示，xD代表的是匹配距離的維數。

隨后本文對3種匹配距離的特征融合的效果進行了研究，將3種不同的匹配距離融合成三維匹配距離向量，同樣也在性能上取得了一定地提升。結合圖9和表3比較了三維、二維和單個匹配距離的ROC曲線圖，其中二維匹配距離是選取3種匹配距離中在上述二維實驗中效果較好的一種。不難發現，在所有的組合情況中，三維匹配距離向量得到的鑒別性遠好于任意一種匹配方法。然而，在和二維距離匹配方法相比則并不能達到更好的效果。

圖8 二維及其對應一維ROC的比較

圖9 三維、二維和一維ROC的比較

主要原因是對合理特征數量進行融合時，所融合出的有效判別信息遠大于融合所產生噪聲帶來的精度損失；相反的，當特征融合數量增多時，不同特征之間的差異性和互補性會越來越小，額外噪聲信息所帶來的精度損失會由于提取的不同特征之間相似度的提升而增多，特征融合帶來的精度增益逐漸小于噪聲帶來的精度損失，以致出現維數增高后，效果不升反降的情況，因此3種匹配距離組合不及其中2種較好匹配距離組合所能得到的效果好。在先前的工作[19]中，也進行過類似的實驗，發現了類似的現象，即隨著特征融合數量的增多，噪聲帶來的精度損失逐漸超過精度增益，最終導致精度的下降。具體來說，三維特征組合的精度優于一維特征，而五維特征組合的精度卻有部分不及三維特征組合。

表3 三維組合的EER(%)

為了進一步驗證，最后繼續對四維匹配距離進行探究。表4列出了部分四維組合的結果，圖10展示了2幅四維、三維和二維的ROC比較曲線，從中可以看出，使用該方法后四維匹配距離組合的結果優于組合中各個單維匹配距離的結果，且與對應較好的三維組合相比，四維組合的性能幾乎沒有什么變化。然而，四維組合的EER均高于相應的二維組合。

3.3.2 分數融合有效性驗證

最后，為了驗證分數融合的有效性，本文進行了更多的對比實驗。為了體現魯棒性和一般性，表5中將權重設置為0.5，對多組算法進行了性能提升比較和分析，圖11中對2組算法分數融合中權重的敏感性進行了分析。

結合圖11和表5前3行和后3行對比分析，2種特征相似時，分數融合可略微提升性能；2種特征不同時，分數融合能夠較為明顯地提升性能。因此，無論哪種情況，分數融合在本文方法中是有效的。

表4 四維組合的EER (%)

圖10 四維、三維和二維ROC的比較

表5 分數融合后的EER(%)

圖11 權重x敏感性分析

3.4 小 結

本文實驗從3個不同維度探究了多維匹配距離融合的提升效果，結果表明二維匹配距離融合結果相比于其他維度具有最佳的性能。表6列出了2組本文算法與其他算法的比較。

表6 各類算法EER的比較(%)

4 結束語

本文提出了一種融合多種特征算法的匹配距離提高指節紋認證識別性能的方法。該方法主要利用不同特征提取算法計算出匹配距離之間的差異性和互補性，可有效地判決單一匹配距離無法判決的模糊樣本，其具有極強的通用性，且易于嵌入到各種編碼類方法中。

實驗從二維至四維3種維度驗證了本文方法的有效性。結果表明，多維匹配距離組合的性能優于對應的單一匹配距離，而二維匹配距離組合在多維匹配距離組中具有最好的性能。

本文方法在準確率和魯棒性方面均可獲得較優的效果。然而，總體效果在很大程度上是依賴于原有單個特征提取算法本身的精度，在未來的工作中，將針對指節紋特征提取算法進行更多深入研究，提升單個算法的精度，從而進一步提升該方法的效果。

[1] LENG L, YANG Z Y, MIN W D. Democratic voting downsampling for coding-based palmprint recognition[J]. IET Biometrics, 2020, 9(6): 290-296.

[2] LIM M H, YUEN P C. Entropy measurement for biometric verification systems[J]. IEEE Transactions on Cybernetics, 2016, 46(5): 1065-1077.

[3] FEI L K, LU G M, JIA W, et al. Feature extraction methods for palmprint recognition: a survey and evaluation[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2019, 49(2): 346-363.

[4] YANG Z Y, LENG L, MIN W D. Extreme downsampling and joint feature for coding-based palmprint recognition[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-12.

[5] 于霞, 王瑋. 內指節紋識別方法研究[J]. 信息與電腦: 理論版, 2020, 32(8): 115-117.

YU X, WANG W. Research on recognition method of internal finger knuckles[J]. China Computer & Communication, 2020, 32(8): 115-117 (in Chinese).

[6] LI S Y, ZHANG B, FEI L K, et al. Joint discriminative feature learning for multimodal finger recognition[J]. Pattern Recognition, 2021, 111: 107704.

[7] FEI L K, ZHANG B, TENG S H, et al. Joint multiview feature learning for hand-print recognition[J]. IEEE Transactions on Instrumentation and Measurement, 2020, 69(12): 9743-9755.

[8] 陸勁挺, 賈偉, 葉慧, 等. 指節紋識別綜述[J]. 模式識別與人工智能, 2017, 30(7): 622-636.

LU J T, JIA W, YE H, et al. Finger-knuckle-print recognition: a preliminary review[J]. Pattern Recognition and Artificial Intelligence, 2017, 30(7): 622-636 (in Chinese).

[9] LI Q, QIU Z D, SUN D M, et al. Personal identification using knuckleprint[M]//Advances in Biometric Person Authentication. Heidelberg: Springer, 2004: 680-689.

[10] YANG W M, HUANG X L, ZHOU F, et al. Comparative competitive coding for personal identification by using finger vein and finger dorsal texture fusion[J]. Information Sciences, 2014, 268: 20-32.

[11] SUN Z N, TAN T N, WANG Y H, et al. Ordinal palmprint represention for personal identification[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2005: 279-284.

[12] XU Y, FEI L K, WEN J, et al. Discriminative and robust competitive code for palmprint recognition[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2018, 48(2): 232-241.

[13] ZHANG L, ZHANG L, ZHANG D, et al. Online finger- knuckle-print verification for personal authentication[J]. Pattern Recognition, 2010, 43(7): 2560-2571.

[14] ZHANG L, LI H Y. Encoding local image patterns using Riesz transforms: with applications to palmprint and finger-knuckle-print recognition[J]. Image and Vision Computing, 2012, 30(12): 1043-1051.

[15] GUO Z H, ZHANG D, ZHANG L, et al. Palmprint verification using binary orientation co-occurrence vector[J]. Pattern Recognition Letters, 2009, 30(13): 1219-1227.

[16] TRABELSI S, SAMAI D, MERAOUMIA A, et al. Finger-knuckle-print recognition using deep convolutional neural network[C]//2020 1st International Conference on Communications, Control Systems and Signal Processing. New York: IEEE Press, 2020: 163-168.

[17] 羅威. 基于深度卷積網絡和局部紋理描息融合的指節紋識別方法研究[D]. 合肥: 合肥工業大學, 2020.

LUO W. Research on finger-knuckle-print recognition based on fusion of basis and depth convolution network and local texture mapping[D]. Hefei: Hefei University of Technology, 2020 (in Chinese).

[18] NANNI L, LUMINI A. On selecting Gabor features for biometric authentication[J]. International Journal of Computer Applications in Technology, 2009, 35(1): 23.

[19] WEI X, WANG H, GUO G D, et al. Multiplex image representation for enhanced recognition[J]. International Journal of Machine Learning and Cybernetics, 2018, 9(3): 383-392.

Finger-knuckle-print recognition based on multi-dimensional matching distances fusion

HUANG Jie1, WEI Xin2, YANG Zi-yuan1, MIN Wei-dong2,3

(1. School of Information Engineering, Nanchang University, Nanchang Jiangxi 330031, China; 2. School of Software, Nanchang University, Nanchang Jiangxi 330047, China; 3. Jiangxi Key Laboratory of Smart City, Nanchang Jiangxi 330047, China)

As a novel biometric modality, finger-knuckle-print (FKP) recognition has gained much attention for its security and stability. Coding-based methods are considered as one of the most effective methods in this field. Such methods can distinguish samples according to one single matching distance between two images computed from the extracted features in the template matching stage. However, some fuzzy samples cannot be effectively distinguished by one single matching distance, leading to false acceptance and false rejection. To address this problem, a light-weight and effective method based on multi-dimensional matching distances fusion was proposed in this paper. The proposed method utilized the difference and complementarity between different matching distances of multiple coding-based methods, and applied support vector machine (SVM) to the classification of the multi-dimensional feature vectors constructed by the multiple matching distances. What’s more, the proposed method is a general method, which can be easily embedded into the existing coding-based methods. Extensive experiments were conducted for the range from two-dimensional matching distances to four-dimensional matching distances on the public FKP database, PolyU-FKP. The results have shown that the proposed method can generally improve their performances, with a maximum reduction of 22.19% in EER.

finger-knuckle-print recognition; multi-dimensional matching distances; difference complementarity; support vector machine; general method

TP 391

10.11996/JG.j.2095-302X.2022020279

A

2095-302X(2022)02-0279-09

2021-06-24；

2021-09-15

國家自然科學基金項目(62076117，61762061)；江西省自然科學基金重大項目(20161ACB20004)；江西省智慧城市重點實驗室項目(20192BCD40002)

黃 杰(1997–)，男，碩士研究生。主要研究方向為生物特征識別和計算機視覺。E-mail：jiehuang@email.ncu.edu.cn

閔衛東(1966–)，男，教授，博士。主要研究方向為圖形圖像處理和計算機視覺等。E-mail：minweidong@ncu.edu.cn

24 June，2021；

15 September，2021

National Natural Science Foundation of China (62076117, 61762061); The Natural Science Foundation of Jiangxi Province, China (20161ACB20004); Jiangxi Key Laboratory of Smart City (20192BCD40002)

HUANG Jie (1997–), master student. His main research interests cover biometric identification and computer vision. E-mail：jiehuang@email.ncu.edu.cn

MIN Wei-dong (1966–), professor, Ph.D. His main research interests cover graphic image processing, computer vision, etc. E-mail：minweidong@ncu.edu.cn