基于遷移學習的指靜脈與指關節紋分數級融合的識別研究

陶志勇 馮 媛 林 森

1(遼寧工程技術大學電子與信息工程學院 遼寧 葫蘆島 125105)2(阜新力興科技有限責任公司 遼寧 阜新 123000)

0 引 言

安全性在信息技術高速發展的今天越來越受到人們的重視。在這種時代背景下傳統的身份識別技術(如密碼、口令、證件等)面臨著巨大的挑戰。與傳統的識別認證技術相比，生物特征識別技術具有唯一性、不易丟失、難以偽造防欺詐能力強的特點，因此成為信息安全領域的發展重點和學者們的研究熱點，并廣泛應用于電子支付、門禁系統、身份認證等各個領域。

生物特征識別技術是利用個人獨特的行為及生理特征作為鑒別身份的認證技術，這些特征包括人臉、指紋、虹膜、手指關節紋和手指靜脈[1-5]等。在以上提及的生物特征中，手指的各類特征作為人體感官的重要器官，富含大量信息，備受青睞。但由于單一模態的固有屬性限制，已不能滿足現如今人們對安全性的要求，多模態身份識別技術成為研究新熱點。多模態融合技術是通過對同一對象的不同特征采用某種規則，融合成為一個整體進行識別，相比于單模態識別來說具備更高的安全性能。

本文關注于指靜脈與指關節紋兩類生物特征。指靜脈特征位于皮膚組織下，具有活體識別、難以偽造、安全性高的特點，但其圖像清晰度受皮膚生理結構影響較大。指關節紋特征具有紋路變化范圍小，易于采集的特點，但該特征易受外部環境損傷。綜合這兩種特征優劣勢，發現沒有任何一種單模態生物特征能夠達到完美，每種生物特征都有各自的適用范圍，因此結合多種生物特征來提高識別精度是發展之必然。且指靜脈與指關節紋特征均來自手指，可以利用同一設備實現同時采集，并且兩特征之間具有固定的位置關系，可以通過圖像配準的方法進行保存[6-7]。這為進一步推進實際應用提供了可行性。

近年來，越來越多的國內外學者致力于手指多模態特征識別領域。彭加亮[8]關注指靜脈、指關節紋、指紋和指形特征相融合，提出了基于特征層的手指多模態特征融合方法，采用基于多尺度與多方向Gabor小波與局部二值模式(LBP)結合的靜脈提取方法，應用線性判別的多集相關分析方法融合特征。林坤明[9]提出基于指紋與指靜脈的動態加權的特征層融合方法以及基于序列分類器的匹配層融合方法。Khellatkihel等[10]提出指靜脈、指紋、指關節紋在特征級和決策級進行融合，采用SVM和KNN算法進行識別分類。以上提及的方法均需要針對不同的特征制定不同的特 征提取方案，這對系統的識別準確率影響較大。隨著卷積神經網絡的發展，利用深度學習技術來解決分類問題成為一種趨勢。卷積神經網絡是一種不依賴人工提取特征的自我學習的方法，通過引入局部連接、權值共享、池化操作、非線性激活等，允許網絡從數據中自主學習特征，比傳統方法具有更強大的特征學習和特征表達能力[9]。但采用卷積神經網絡方法需要大規模帶標注樣本進行網絡的訓練，從而引入了新的難題。

近年來，遷移學習在小數據集領域得到了廣泛的認可與研究。楊晶東等[11]利用遷移學習在全連接神經網絡進行舌像分類，有效提高了分類準確率且縮短了訓練時間；李冠東等[12]利用遷移學習在深度卷積神經網絡下進行高分影像場景分類，有效提高了分類精度。遷移學習能夠運用已有知識對不同但相關領域問題進行求解，可有效解決目標領域數據匱乏的問題。本文針對指靜脈、指關節紋單模態固有屬性的局限以及傳統方法主觀提取特征的隨機性和指靜脈與指關節紋數據樣本匱乏等問題，提出一種基于遷移學習的對指靜脈與指關節紋進行分數級融合的身份識別方法。

1 研究方法

1.1 卷積神經網絡

卷積神經網絡(Convolutional Neural Network，CNN)是一種采用卷積運算代替一般矩陣乘法的特殊前饋神經網絡，一個典型的CNN結構由輸入層、卷積層、激勵層、下采樣層(池化層)、全連接層和輸出層組成[13]，如圖1所示。

圖1 卷積神經網絡結構

卷積層(Convolutions)：用于進行特征學習，該層通過稀疏連接和權值共享機制更好的學習特征。卷積運算的表達式[14]如下：

(1)

激勵層：在卷積層之后應用，該層的目的是在系統中引入非線性。常用的激勵函數有tanh、sigmoid函數。但經過研究者大量實驗發現Relu函數能有效緩解梯度消失，收斂快，節省網絡訓練時間，成為最常用的激勵函數。Relu函數的表達式如下：

(2)

下采樣層(Subsampling)：也稱為池化層，在卷積層之后使用，通過壓縮數據進而達到減少運算量和數據維度的目的。常用的池化層有最大池化(Max pooling)和平均池化(Average pooling)。Max pooling是指在每個過濾器圍繞的子區域內選擇最大值輸出。Average pooling是指在每個過濾器圍繞的子區域內選擇平均值輸出。池化過程如下：

(3)

全連接層(Fully connection)：應用于卷積神經網絡的尾部，全連接層接收前一個層的輸出，生成一個N維向量，N通常取值為1 024、2 048、4 096等。當前面層次丟棄信息過多時，通過全連接層將信息擬合回來。

Softmax分類器：是logistic回歸的一般形式，可用作多分類問題。在多分類問題中，類標簽可以取m個值，訓練集為{(x(1),y(1)),(x(2),y(2)),…,(x(m),y(m))}，類標簽y(n)∈{1,2,…,m}對于給定的輸入x(n)，用假設函數hλ(x(n))針對每一個類別估算出概率p(y(n)=k丨x(n)),k=1,2,…,m。hλ(x(n))是一個和為1的m行列向量，每一行表示不同類別出現的概率。假設函數hλ(x(n))的公式為：

(4)

(5)

式中：λ1，λ2，…，λm為模型參數。將x(n)分為第k類的概率記為：

(6)

把p(y(n)=k|x(n);λ)取最大值時對應的類別k作為當前樣本的分類結果，并與樣本實際標簽比較，若一致，則分類正確，否則分類錯誤。

卷積神經網絡的訓練目標是通過隨機梯度下降法(Stochastic gradient descent，SGD)使得損失函數達到最小，損失函數計算公式為：

(7)

隨機梯度下降法權重迭代表達式[15]為：

(8)

(9)

式中：η為學習率，用于控制反向傳播的強度。

1.2 遷移學習

遷移學習的目標是從一個場景中學習到的知識應用到新場景中。定義為：給定源域DS和源任務TS，目標域DT和目標任務TT，遷移學習是用DS和TS中獲取的知識幫助提高DT到TT的學習，且Ds≠DT或Ts≠TT[16]。具體分為：① 樣本遷移：將DS的樣本融入到DT當作DT的加權樣本直接用于訓練，通過一些算法調整DS樣本的權重。② 關系遷移：DS與DT盡管不同，但存在相關性，將該關聯遷移到TT中。③ 特征遷移，凍結網絡的最后一個全連接分類層，將前面層網絡提取的特征輸入相應分類器進行分類訓練。④ 參數遷移，又稱模型遷移是應用其他大批量數據集(如：ImageNet)訓練得到的模型保存權重，將新數據集輸入該模型進行Fine-tune(參數調優)進而達到新任務的分類目的。本文采用的第四種遷移學習方式。

2 方法設計

2.1 網絡結構

Vgg19[17]模型是牛津大學Karen等于2014在ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)大賽上取得第二名的網絡模型。從網絡結構層面上來看，Vgg19采用的是早期卷積神經網絡常用的無分支模型。

Inceptionv3[18]模型采用了一種模塊堆疊的結構對網絡進行加深加寬，使用(1×n和n×1)的形式代替n×n卷積，實現在增加網絡規模的同時保證計算高效率。Inceptionv3的網絡模塊如圖2所示。

圖2 Inceptionv3網絡模塊

Xception[19]是Inceptionv3基礎上發展的網絡模型，是先進行通道合并再進行空間卷積，而Xception相反，Xception網絡模塊如圖3所示。

ResNet[20]網絡模型解決了深層網絡的退化問題，ResNet由多個殘差塊堆疊而成，網絡引入Identity mapping(恒等映射)，將原始網絡所要學習的H(x)轉換成F(x)+x。殘差塊的表示如圖4所示。

針對傳統特征提取方法的局限性，提出利用上述優異的網絡預訓練模型分別在指靜脈、指關節紋數據集上進行參數調優再進行相應類目識別。啟用無分支網絡模型Vgg19；加入Inception結構加寬網絡的Inceptionv3、Xception；引入殘差塊進一步加深網絡的Resnet等網絡模型進行此次學習任務的遷移。

2.2 分數級融合

如圖5所示，指靜脈與指關節紋數據分別通過Vgg19、Inceptionv3、Xception、ResNet50等網絡經softmax分類器得到匹配分數再通過分數級融合得到最終的匹配分數，分數級融合方案是基于指靜脈與指關節紋模型的加權和，S1為指靜脈相應類別的匹配分數，S2為指關節紋相應類別的匹配分數，ωv為手指靜脈占的分數融合權重，ωp為手指關節紋占的分數融合權重，且ωv+ωp=1，分數融合計算公式為：

圖5 網絡模型

S=ωv×S1+ωp×S2

(10)

3 實 驗

本文算法實驗環境的內存為32 GB，CPU為Inter Core i7-6850k，GPU為GeForce GTX Titan-X，編程語言為Python2.7，深度學習框架為keras。

3.1 數據集介紹

由于目前尚無來自同一個體的手指靜脈與手指關節紋的雙模態數據集，因此實驗中考慮將兩種模態的數據集以一一對應的方式作為同一主體的判別依據。

本文采用了FV-USM指靜脈數據集[21]和IIT Delhi finger-knuckle-print指關節紋數據集[22-23]。FV-USM指靜脈數據集中包括123人(83名男性和40名女性)共492個不同手指的指靜脈圖像樣本，每個手指有6幅分辨率為640×480的bmp格式圖片，且已進行感興趣區域提取。IIT Delhi finger-knuckle-print指關節紋數據集包含158人的158個不同手指的指關節紋圖像樣本，每個手指有5幅分辨率為80×100的bmp格式圖片，且已進行感興趣區域提取。

為了有效防止網絡過擬合，增加網絡的泛化性能，在進行網絡訓練前，需先使用python腳本語句對指靜脈和指關節紋圖像通過翻折變換和旋轉變換[24]方法進行數據擴充。擴充后的數據集樣本總數達60 300。之后為了適應不同微調網絡的輸入限制，需將數據集處理為224×224以及299×299大小。數據集預處理結果如圖6所示。

圖6 數據集預處理結果

數據集劃分方式分為兩個部分：第一部分為識別，第二部分為帶拒絕識別閾值判定的識別。這兩部分在進行網絡模型訓練時均使用150類圖像。第一部分，識別實驗的測試部分使用訓練過的150類圖像的測試集部分；第二部分，在拒絕識別閾值判定的識別實驗過程中除去網絡模型的訓練外還要進行閾值選定的訓練，該部分需加入一部分未知類別圖像。如表1、表2所示。

（1）高職院校仍然沿用傳統講授式教學，由于高數課程的困難，很難構建討論式、學生活動式、探究式、發現式課程體系。微積分難度較高，本科學生尚且望而生畏，清華大學的學生甚至都存在不感興趣的情況，更不用說高職院校的學生了。（2）應試教育的評價方式讓專業課程難以建立，高職高數課時相對知識體系較少，學生為了通過考試只能硬背題型，照葫蘆畫瓢，既不能宏觀理解，也不能應用，在畢業以后也很少應用到高數。（3）教材脫離專業，枯燥繁瑣，傳統高數教材的特點就是虛，沒有服從專業的內在需求，過度緊張的教學和功利化的傾向，加上學而不用，造成了高數學習的焦慮。

表1 指靜脈數據集描述及劃分

表2 指關節紋數據集描述及劃分

3.2 實驗方案

數據集劃分方案分為兩種：第一種訓練及測試數據集全部為已知類別；第二種訓練及測試數據集是在已知類別的基礎上加入未知類別，未知類別部分用來尋找不同網絡模型下的最優拒絕識別閾值。

在啟用第一種數據集劃分方案時，實驗分為三個部分：單指靜脈模型，單指關節紋模型，指靜脈與指關節紋分數級融合模型的識別準確率測試。將測試集部分輸入到訓練好的網絡模型中，經過Softmax函數返回所有類別的概率值，其中最大概率值對應的標識類別就是網絡認定的匹配對象，分別記錄在不同的網絡模型下這兩種生物特征的識別準確率，以及經過分數級融合后的識別準確率。

在啟用第二種數據集劃分方案時，為了模擬真實情境非注冊用戶入侵系統的情況，引入了一個拒絕識別閾值，若Softmax輸出最大匹配概率小于該閾值，就將該測試圖像視為“拒絕識別的”。不同網絡模型的閾值設定依據是y取最大值：

(11)

式中：T_illegal_users為正確阻隔的非法用戶數；All_illegal_users為全部的非法用戶數；F_illegal_users為錯誤阻隔的合法用戶數；All_valid_users為全部的合法用戶數。這里的合法是指進行過網絡訓練的類別用戶。在訓練集上找到y取最大值時對應的閾值即為最優拒絕識別閾值，用選定的該閾值在測試集進行識別準確率測定。

3.3 實驗結果及分析

根據3.2節實驗方案的敘述可知，實驗分為兩個部分。采用第一種數據集劃分方式時，衡量系統好壞的指標是識別準確率，識別準確率越高反映系統性能越好。采用第二種數據集劃分方式時，衡量系統性能好的指標不僅要求識別準還要求拒絕準。

指靜脈的交叉驗證數據集通過各個網絡模型訓練過程的準確率與損失如圖7、圖8所示。隨迭代次數增高，模型的準確率與損失均達到收斂，且Resnet50網絡模型準確率始終高于其他三種模型，損失低于其他三種模型，且收斂速度更快，表現出更加優異的性能。

圖7 指靜脈數據集訓練準確率圖示

圖8 指靜脈數據集訓練損失圖示

指關節紋的交叉驗證數據集通過各個網絡模型訓練過程的準確率與損失如圖9、圖10所示。與指靜脈數據集的訓練圖示相比，指關節紋的訓練結果波動略大，且最終達到收斂時的準確率也略低，這與數據集本身質量有關。隨迭代次數增高，模型的準確率與損失均達到收斂，盡管Resnet50網絡模型達到收斂速度更快，但InceptionV3網絡模型的訓練過程更加穩定。

圖9 指關節紋數據集訓練準確率圖示

圖10 指關節紋數據集訓練損失圖示

表3 不同網絡模型下單模態識別準確率 %

根據2.2節可知，指靜脈權重參數為ωv，指關節紋權重參數為ωp，二者權重和為1。表4記錄的是這兩種特征在不同的權重占比下對分數級融合識別準確率的影響。

表4 不同分數融合權重參數下各網絡模型的識別率比較

由表3、表4的實驗結果可以得出，分數級融合指靜脈與指關節紋特征較單指靜脈特征、單指關節紋特征更具識別準確率的優勢。當ωv=0.5與ωp=0.5時有兩個網絡達到識別準確率最高，在ωv=0.6與ωp=0.4時均有三個網絡達到識別準確率最高，但Vgg19網絡模型準確率較ωv=0.5與ωp=0.5時下降兩個百分比，反觀其余三個網絡模型準確率波動不大，為了統一起見，將所有網絡模型下的兩特征權重均設置為ωv=0.5與ωp=0.5。本文提出的方法與應用超小波域圖像級融合[25]和采用NBP算子提取多模態特征進行識別對比如表5所示。

表5 本文方法與其他方法識別能力對比

在提高系統識別準確率的同時，又應考慮到實際生活中身份識別系統一方面要求準確識別，一方面要求準確拒絕。如果對未知類別的“非法用戶”直接進行識別會對系統準確率影響較大。針對這一情況，本文提出用拒絕識別閾值來控制這類用戶進入系統，對不同網絡模型的閾值選定原則按照式(10)取最大值時對應的閾值為最優閾值。圖11的橫軸為閾值，縱軸為設定不同閾值時式(10)的取值。

圖11 拒絕識別閾值選定

拒絕識別閾值從0至0.8，以0.01為步長進行測定，得到在不同網絡模型下的拒絕識別閾值。應用選定出的閾值在測試集上進行測定，結果如表6所示。第一行實驗結果含義為：識別正確的用戶占系統接納可以進行識別用戶個數的百分比。第二行實驗結果整體準確率包含正確識別與正確拒絕，即識別正確的用戶與正確拒絕的用戶數之和占所有測試用戶個數的百分比。

表6 帶拒絕識別閾值的實驗結果 %

可以看出，加入拒絕識別閾值對阻隔非法用戶有一定的積極意義，但存在一部分合法用戶被錯誤拒絕導致整體準確率下降的情況。

4 結 語

多模態生物特征識別能夠克服單模態生物特征識別的局限，近年來成為生物特征識別領域的研究熱門。指靜脈與指關節紋是兩種典型手部的生物特征，它們優劣互補，并且可以實現同時采集，這兩種特征的融合必將成為本領域的研究熱點。本文提出了一種基于遷移學習的指靜脈與指關節紋分數級融合的雙模態生物識別方法。通過卷積神經網絡識別分類分別得到手指靜脈和手指關節紋識別的匹配分數，再經過分數級融合得到最終的匹配分數進行決策。實驗表明，將手指靜脈與手指關節紋分數級融合后的識別性能比手指靜脈或手指關節紋單一特征識別性能有明顯提高。同時本文還提出了如何尋找拒識閾值的方法對“非法用戶”進行有效的拒絕，在測試集上的測試結果證實提出方法有效。但通過設定拒絕識別閾值，可以有效阻隔大部分的“非法用戶”同時也有一部分合法用戶被錯誤拒絕，這就是下一步仍需繼續思考和解決的重點。