基于深度卷積網絡的非接觸式掌紋識別與驗證

許赫庭，木特力甫·馬木提，阿力木江·艾沙，3，努爾畢亞·亞地卡爾，3，庫爾班·吾布力，3

(1.新疆大學信息科學與工程學院，新疆 烏魯木齊 830046；2.新疆大學圖書館，新疆 烏魯木齊 830046；3.新疆大學新疆多語種信息技術重點實驗室，新疆 烏魯木齊 830046)

0 引言

在社會和科技不斷發展的大時代背景下，身份鑒別技術的準確性和安全性逐漸引起人們的關注.而實用性恰恰是身份鑒別技術不可忽視的一部分.生物特征識別技術正好具備這幾種特性，因而它在近幾年身份鑒別技術的研究中變得十分熱門，其中掌紋識別所具有的便捷性和穩定性更是當下人們所需要的，所以掌紋識別成為廣大學者的研究熱點之一.掌紋擁有更豐富且穩定的紋理信息，它的采集方式更便捷且廉價.此外非接觸式掌紋的采集方式非常衛生，它無接觸的采集方式受到人們的廣泛認可和喜愛，被更多人所接受.掌紋特征具有很強的分類性，該特征十分穩定，紋理信息又十分豐富，所以非接觸式掌紋研究更具價值和意義.

相較于傳統方法，卷積神經網絡的深度卷積層在特征提取方面有著更好的表現.文獻[1]用在ImageNet上進行過預訓練的AlexNet提取深層特征，然后用Hausdorff距離進行匹配；Svoboda等[2]將一種判別式的損失函數引入到掌紋識別中，并使用Siamese網絡進行訓練，目的是區分兩個掌紋圖像是否來源于同一個人；Tarawneh等[3]使用了3個模型(VGG16、VGG19和AlexNet)提取掌紋圖像中的深層特征，最后送入SVM進行分類；Zhang等[4]使用Inception-ResNetV1模型，通過中心損失和交叉熵的組合來計算損失；Matkowski等[5]提出了EE-PRnet，該模型用于提取掌紋特征，它是一種端到端的識別模型；陸展鴻等[6]針對接觸式掌紋ROI的提取，提出了一種U-Net的神經網絡結構.

目前國內外對非接觸式掌紋的研究相對較少.這是由于非接觸式掌紋圖像的不確定因素(如采集設備、光照、手掌姿勢、采集距離、采集角度等)較多.本文提出使用深度卷積網絡來提取非接觸式掌紋特征的識別方法，該方法的識別性能更好，更具魯棒性.

1 相關模型和數據集介紹

1.1 本文使用的模型

1.1.1 ResNet

He等[7]提出的殘差網絡(ResNet)解決了隨網絡深度增加而導致梯度消失和梯度爆炸的問題.ResNet榮獲了2015年ImageNet比賽分類任務上的冠軍，準確率達到了95.51%，且計算效率遠超VGG.ResNet在結構方面做出了創新，引入了殘差模塊(Residual Block)，如圖1所示，該模塊減少了網絡參數，同時增加了網絡的非線性表達能力.圖1(a)用于更深層次的網絡中(50層以上的ResNet).本文使用的ResNet18的殘差模塊如圖1(b)所示.

圖1 ResNet中的兩種殘差模塊

1.1.2 DenseNet

2016年，Huang等[8]提出了DenseNet，該模型是對ResNet中旁路通道思想延伸，它提出了一種密集連接的思想，如圖2所示.在Dense Block中，每一層的輸出都連接到后續層，讓后面的層能更好地復用前面層的特征.DenseNet改善了整個網絡中的梯度和信息流，更易于訓練.此外Dense Block還具有正則化的效果，它有效地降低了小數據集過擬合現象的發生.

圖2 密集模塊結構

1.1.3 MobileNetV2

MobileNetV2[9]屬于輕量級網絡，是對MobileNetV1的改進.MobileNetV2的創新點是引入Inverted Residual Block(如圖3所示)和ReLU6(如圖4所示).

圖3 倒殘差模塊

圖4 ReLU6函數圖像

InvertedResidual Block是先升維再降維，其結構像柳葉，兩邊寬中間窄.值得注意的是Inverted Residual Block中使用的卷積操作是Depthwise卷積.Depthwise卷積是從Xception網絡發明而來的.它首先對每個通道都進行各自卷積的操作.所以有多少個通道就用多少個過濾器.在得到新通道的特征圖后，再對這些新通道特征圖進行標準的1×1跨通道卷積操作降維，這樣大大減少了計算量.

1.1.4 RegNet

RegNet[10]的基本結構主要由3部分組成：stem、body和head，如圖5所示.其中：stem是一個包含bn和relu的普通卷積層，卷積核大小為3×3，步長為2，卷積核個數為32.body由4個stage堆疊，每經過一個stage都會將輸入特征矩陣縮為原來的一半.每個stage又由若干個block堆疊而成，每個stage的第一個block中存在步距為2的組卷積(主分支上)和普通卷積(捷徑分支上)，剩下的block中的卷積步長都是1，兩種block見圖6.head就是分類網絡中常見的分類器，由一個全局平均池化層和全連接層構成.

(a)網絡；(b)主體；(c)階段i

(a)步長為1；(b)步長為2

RegNet分為RegNetX和RegNetY，兩者的區別在于RegNetY在block中的Group Conv后接了個SE(Squeeze-and-Excitation)模塊.

1.1.5 Siamese Network

Siamese Network是1993年Bromley提出來的，當時用來驗證美國支票簽名.孿生網絡是神經網絡框架的一種.它包含有兩個分支.這兩個分支具有相同的結構而且共享參數.但這兩個分支有著不同的輸入，這兩個分支最終的輸出會被連接，并通過距離度量的方式計算這兩個分支輸入的相似度.Taigman等[11]將該網絡用于人臉的驗證.

本文提出的Siamese Network網絡模型見圖7.該模型由兩部分組成，第一部分是特征描述器，有兩個參數共享的DenseNet網絡構成，見圖7(a)；第二部分是決策網絡，見圖7(b)，它由兩個全連接層構成.決策網絡的輸入是特征描述器提取到特征差值的絕對值.

1.2 評估所使用的數據集

IITD數據集[12]的全稱為IIT Delhi Touchless Palmprint Database(Version 1.0)，IITD數據集用非接觸式的設備采集，且在室內穩定的環境下進行的，采集的對象是學校里的學生和工作人員，一共采集了230人的左、右手掌，即460個手掌，采集要求志愿者在規定呈像區以不同的手姿變化獲得7張圖片，志愿者均來自12～57歲年齡組.圖8是IITD數據集中不同手掌的4幅ROI圖像，用于非接觸式掌紋的識別.圖9是IITD數據集中掌紋原圖像，用于非接觸式掌紋的驗證.

圖8 IITD數據集掌紋ROI圖像

圖9 IITD數據集掌紋原圖像

Tongji數據集[13]的目標是建立一個大規模的、公共的、高質量的數據集.此數據集總共收集了300人志愿者的掌紋圖像，共600個不同的手掌，每個手掌有20張，總共12 000幅圖像.其中的志愿者192人男性，108人女性，年齡均在20～50歲之間.圖10是Tongji數據集中不同手掌的4幅ROI圖像.

圖10 Tongji數據集掌紋ROI圖像

MPD數據集[14]的全稱是Tongji Mobile Palmprint Dataset.該數據集由手機的內置攝像頭采集，包含了400個手掌，每個手掌40張.圖11是Tongji數據集中不同手掌的4幅ROI圖像.

圖11 MPD數據集ROI圖像

2 實驗部分

2.1 實驗設置

由于非接觸式掌紋數據集較小，又考慮到減少訓練時間，本文使用遷移學習的思想，將在ImageNet上預訓練好的模型參數遷移至本文所使用的卷積神經網絡模型中.

由于IITD數據集每個掌紋的實際數據參差不齊(一般每個手掌有5～7張)，為了卷積神經網絡能更好進行識別訓練，本文從IITD數據集中統一選取了每類包含有6張圖片的手掌，共299個手掌，1 794張手掌圖像.其中每個手掌4張用于訓練，2張用于測試.對于Tongji和MPD數據集，本文選取了全部的數據.其中Tongji共12 000張圖片，600個手掌，每個手掌20張圖片，其中16張用于訓練，4張用于測試.MPD數據集共400個手掌，共16 000張掌紋圖像，每個手掌有40張，其中32張用于訓練，8張用于測試.

Siamese Network的特征描述器和決策網絡在IITD數據集上的訓練是分開的.特征描述器DenseNet的訓練任務是識別，使用的是IITD原圖像，共460個手掌，2 601張掌紋圖像.訓練好后特征描述器凍結該模型參數，再對決策網絡進行訓練.此次驗證使用的是IITD數據集2 601張原圖像，并不是掌紋ROI圖像，因為后續非接觸式掌紋驗證系統使用的也是掌紋原圖像(用小米10手機拍攝的，不限定環境和手勢).該網絡首先利用DenseNet網絡提取兩張掌紋圖片的特征，特征維數為1×1 024.然后將兩幅掌紋圖像的特征作差，并取絕對值，形成新的特征向量：維數還是1×1 024，并打上標簽(用以表示是否來自于同一類別).在決策網絡訓練的過程中，隨機從訓練集里選取兩幅非接觸式掌紋圖像，若其來自于不同類別(負樣本)，則標簽為0，否則為1(正樣本)，同時將正負樣本的比例置為1∶1.

本文實驗的配置如下：CPU處理器為Intel(R)Core(TM)i5-8300H @ 2.30 GHz；運行內存為16 GB內存；顯卡為NVIDIA GeForce GTX 1060；Python版本為3.7.此外本文使用了Pytorch(1.7.1)深度學習框架對卷積神經網絡模型進行構建，選取交叉熵損失和Adam優化器對參數進行優化更新.經過實驗，本文選取了最適合非接觸式掌紋的學習率為5×10-5.為了更好地提取特征，將非接觸式掌紋圖像進行了縮放，卷積神經網絡的輸入統一為224×224像素大小的圖片.通過數據增強的方式對數據集進行擴充，將隨機旋轉、翻轉、平移和裁剪等應用于動態補償不同圖像中手掌特征的差異.

2.2 實驗結果與分析

2.2.1 不同結構CNN的識別結果

不同結構CNN的識別結果見圖12—14.從圖12—14可以看出，RegNet在Tongji、MPD兩個數據集上的收斂速度明顯快于另外3個網絡.RegNet在3個數據集上的識別率均最高(見表1).

圖12 不同網絡在IITD上識別率隨迭代次數變化關系

圖13 不同網絡在Tongji上識別率隨迭代次數變化關系

圖14 不同網絡在MPD上識別率隨迭代次數變化關系

表1 不同結構CNN在不同數據集上的識別率 %

2.2.2 與現有方法識別性能的對比

本文提出用深度卷積網絡提取非接觸式掌紋特征的方法在3個數據集上均有較好的識別效果，見表2—4，實驗證明了本文方法的有效性.

表2 IITD數據集現有方法對比 %

表3 Tongji數據集現有方法對比 %

表4 MPD數據集現有方法對比 %

3.2.3 Siamese Network非接觸式掌紋驗證方法

驗證不同于識別，驗證只是通過生物特征來判斷是否為已存有個體的身份.這只是一個二分類的問題，即輸入的生物特征跟目標特征是否屬于一個類別.在驗證問題中，通常會計算輸入特征與目標特征之間的相似度，并根據實際的訓練情況設置一個閾值.當相似度高于閾值時，表明二者是屬于同一類的，匹配成功，反之是不同類別，匹配失敗.驗證問題一般使用等誤率(Equal Error Rate，EER)作為評判標準，EER越小，表明系統的驗證性能越好.通過對閾值的調整，使得FAR等于FRR.此時的FRR和FAR稱為等誤率EER.

錯誤拒絕率(False Rejection Rate，FRR)的計算公式為

(1)

錯誤接受率(False Acceptance Rate，FAR)的計算公式為

(2)

其中：TTP(True Positive)是正樣本正確預測的個數；TTN(True Negative)負樣本正確預測的個數；TFN(False Negative)是正樣本錯誤預測的個數；TFP(False Positive)是負樣本錯誤預測的個數.

本文提出的Siamese Network非接觸式掌紋驗證方法在IITD數據集上進行了訓練和驗證.驗證結果EER為3.461 4%，EER圖見圖15.

圖15 隨機取樣時的EER圖

導致EER較大的原因：IITD數據集中單類掌紋的樣本數太少(只有5～6張)，為了提高實用性，并沒有使用掌紋ROI圖像，而是使用原圖像進行訓練.

本文根據該非接觸式掌紋驗證方法，實現了一個非接觸式掌紋驗證系統，該系統可用于驗證智能手機拍攝的掌紋圖像.使用小米10手機采集掌紋圖像進行了驗證，具體實驗結果如圖16所示.在IITD數據集上選取的閾值為0.65，即相似度大于0.65則判斷這兩個圖像來源于同一手掌，低于0.65則為不同手掌.實驗說明該系統對自然場景下的掌紋圖像有較好的驗證結果，且對光照和手姿態具有一定的魯棒性.

圖16 小米10手機拍攝掌紋圖片的驗證結果

3 結束語

本文提出使用深度卷積網絡來提取非接觸式掌紋特征的識別方法，并選用了ResNet、DenseNet、MobileNetV2和RegNet 4個較為流行的卷積神經網絡模型，在IITD、Tongji和MPD 3個非接觸式掌紋數據集上做了識別性能的評估實驗.結果表明，RegNet提取非接觸式掌紋特征的性能最好，且較傳統方法有所提高.還運用遷移學習的思想，在一定程度上提高了在小數據集上的識別率，縮短了訓練時間.提出的基于Siamese Network的非接觸式掌紋驗證方法，可以對智能手機在自然場景下采集的掌紋圖像進行驗證，對光照和手姿態具有一定的魯棒性.