基于近鄰三值模式和協作表示的三維掌紋識別

劉玉珍 蔣政權 趙娜

摘 要：針對二維掌紋圖像存在易偽造、抗噪能力差的問題，提出一種基于近鄰三值模式（NTP）和協作表示的三維掌紋識別方法。首先，利用形狀指數把三維掌紋的表面幾何信息映射成二維數據，以彌補常用均值或高斯曲率映射無法精確描述三維掌紋特征的缺陷;其次，對形狀指數圖作分塊處理，利用近鄰三值模式提取分塊形狀指數圖的紋理特征;最后，利用協作表示的方法進行特征分類。在三維掌紋庫上和經典算法進行的對比實驗中，該方法的識別率為99.52%，識別時長為0.6738s，優于其他算法;在識別率方面，與經典的局部二值模式（LBP）、局部三值模式（LLTP）、CompCode、均值曲率圖（MCI）法相比分別提高了7.77%、6.02%、5.12%和3.97%;在識別時間方面，與Homotopy、對偶增廣拉格朗日法（DALM）、SpaRSA方法相比分別降低了6.7s、15.9s和61s。實驗結果表明，所提算法具有良好的特征提取和分類能力，能夠有效地提高識別精度并減少識別時間。

關鍵詞：三維掌紋;形狀指數;局部三值模式;紋理特征;協作表示

中圖分類號： TP391.4

文獻標志碼：A

Abstract： Concerning the problem that two Dimensional （2D） palmprint images are eaasily to be forged and affected by noise， a three Dimensional （3D） palmprint recognition method based on Neighbor Ternary Pattern （NTP） and collaborative representation was proposed. Firstly， a shape index was used to map the surface geometric information of 3D palmprint into 2D data， avoiding the inaccurate description of 3D palmprint features by common mean value or Gaussian curvature mapping. Secondly， the shape index image was divided into several blocks， and NTP algorithm was used to extract texture features of divided shape index images. Finally， collaborative representation was used to classify the features. Experiments on 3D palmprint base show that compared with the classical algorithms， the proposed method has the best recognition effect with recognition rate of 99.52% and recognition time of 0.6738s. The proposed method improves the recognition rate by 7.77%， 6.02%， 5.12% and 3.97% respectively compared to Local Binary Pattern （LBP）， Local Ternary Pattern （LTP）， CompCode and Mean Curvature Image （MCI） method; the proposed method reduces the recognition time by 6.7s， 15.9s and 61s compared to Homotopy， Dual Augmented Lagrangian Algorithm （DALM） and SpaRSA method. The experimental results show that the proposed algorithm has good feature extraction and classification ability， which can effectively improve the recognition accuracy and reduce the recognition time.

Key words： three dimensional palmprint; shape index; local ternary pattern; texture feature; collaborative representation

0 引言

目前，傳統掌紋識別大多基于二維（two Dimensional， 2D）掌紋圖像進行識別研究。在研究過程中，2D掌紋的不足之處也漸漸突顯出來，如：手掌不是純平面，不能捕捉手掌的深度信息，系統的光照變化會影響2D掌紋的圖像質量，2D掌紋圖像獲取較為容易，易被竊取和復制。3D掌紋作為相比2D掌紋特征更為準確、有效、穩定的生物特征，進入人們的視線。

2008，文獻[1]中首次提出了三維掌紋識別。同年，文獻[2]中詳細介紹了3D掌紋識別系統，文中提取手掌表面的高斯曲率、均值曲率和表面信息作為特征，采用特征匹配分數級融合的算法進行識別，有效提高了識別精度。文獻[3]中通過提取掌紋的均值曲率、Gabor特征進行匹配識別，實驗表明該方法具有精度高、識別率低、存儲空間小等優點。文獻[4]中為了克服樣本量小和一對多識別速度低的局限性，采用表面形狀直方圖作為有效的掌紋特征，利用主成分分析（Principal Component Analysis， PCA）法進一步壓縮了三維信息，減少了數據維數，實現了準確、高效的識別。

掌紋識別系統中關鍵的問題是如何提取特征向量，為了更完整地描述掌紋特征，采用近鄰三值模式方法提取掌紋的紋理特征。文獻[5-6]表明基于協作表示的分類方法在模式識別領域取得了良好的效果，本文采用基于協作表示的分類方法。所以，本文提出基于近鄰三值模式與協作表示的三維掌紋識別方法，利用形狀指數將3D掌紋映射成二維數據，并將形狀指數圖像均勻分塊，提取分塊形狀指數圖像的近鄰三值模式紋理特征，最后通過協作表示方法分類，達到掌紋識別的目的。

1 3D掌紋紋理特征提取

1.1 3D掌紋的形狀指數表示

3D掌紋數據存儲的是掌紋每一點到參考平面的深度信息。文獻[7]中表明曲率能夠很好地描述3D掌紋的特征，曲率特征能夠克服手掌的旋轉、平移帶來的不利影響，是一種比較穩定的特征。曲率特征分為高斯曲率和均值曲率，但是單用一種特征描述掌紋信息存在一定的局限性，導致識別結果不夠準確。本文將高斯曲率特征和均值曲率特征相結合共同表示掌紋特征，利用形狀指數（Shape Index， SI）特征來更加完整地表示3D掌紋的幾何細節信息。

1.2 局部三值模式

局部三值模式（Local Ternary Pattern， LTP）算法是傳統局部二值模式（Local Binary Pattern， LBP）算法的改進形式，也是一種應用在數字圖像領域中的紋理分析算子[9]。與LBP算法相比，LTP算法中定義了一個閾值，由此增加了算法的抗噪性。LTP算法采用三值編碼的模式，在原來LBP算法中“0”碼和“1”碼的基礎上增加了“-1”碼，并且自定義一個閾值t。其中心思想是在像素矩陣中，將鄰域像素gi與中心像素gk作比較，差值大于等于t，則標記為1;差值小于-t，則標記為-1;差值在[-t，t]內，則標記為0。式（7）為LTP的編碼方式。

1.3 近鄰三值模式

LTP算法是利用中心像素點與周圍相鄰像素點間的差異，通過對比鄰域像素與中心像素灰度值的方式確定數量關系[10]。該算法忽略了相鄰的像素點之間的關系，沒有考慮到相鄰像素的對比度信息，最終得到的特征會丟失局部的差異信息。為了改善這種情況，對LTP算法作出改進，提出一種基于相鄰像素間差異性的紋理描述方法，稱為近鄰三值模式（Neighbor Ternary Pattern， NTP），NTP針對的是相鄰像素灰度值的差別信息。

NTP算法既有LTP算法對光照不敏感、抗噪能力較強的優點，又增加了相鄰像素間的對比度。NTP的編碼思想是將相鄰兩個像素的差值與閾值t作對比，差值在（-t，t）范圍內標記為0，差值大于等于t標記為1，差值小于-t標記為-1。將二進制編碼中除1以外的值標記為0后得到的編碼，定義為上模式。將原編碼除-1以外的值標記為0后，用1代替原來的-1，此編碼定義為下模式。上模式和下模式作為兩個獨立的局部二值模式，分別獲得上、下模式的直方圖統計，最后將圖像的上、下模式直方圖向量串聯起來作為特征用于分類識別。

1.4 紋理特征提取

在對二維掌紋圖像的處理過程中，文獻[11-12]通過實驗證明基于分塊統計的特征提取是一種有效的方案。當分塊區域大小與圖像的紋理特征相互匹配時，將會得到較好的識別效果，能夠提高系統的識別精度，因此，將分塊思想應用到三維掌紋的特征提取中來。首先將三維掌紋映射成形狀指數圖像，然后把形狀指數圖像均勻地分割成若干塊，把新分割的區域看作獨立的樣本。分塊以后，提取的是以每一小塊為單位的局部特征，而不是整個圖像的全局特征，這樣能夠有效地改善基于全局特征的提取方法對局部變化的敏感程度。

三維掌紋紋理特征提取的具體過程可描述為如下幾個步驟：

1）首先將三維掌紋映射成二維形狀指數圖。

2）將形狀指數圖像對應的M維矩陣G作分塊處理，將矩陣均分為大小相等的若干個矩陣。

4）將提取的直方圖特征，用于匹配識別。

2 基于NTP和協作表示的掌紋識別算

“協作表示”是在稀疏表示（Sparse Representation for Classification， SRC）的基礎上發展而來的[13]，文獻[14]中對SRC分類方法的基本原理作了詳細的分析，指出在SRC分類方法中，樣本類別之間的協作表示特性比l1范數的稀疏特性更加重要。文中提出了用l2范數來替代SRC算法中的l1范數，這種分類方法叫作基于協作表示和規則最小二乘法的分類識別（Collaborative Representation Classification with Regularized Least Square， CRC_RLS）方法。通過實驗表明，CRC_RLS不僅具有良好的分類效果，而且識別速度快于SRC，因此本文采用CRC_RLS的分類方法。

在本章中，首先對模式識別領域中的經典分類方法SRC算法原理作了具體的分析，分析該算法的優缺點，并進一步提出了基于NTP特征與協作表示的三維掌紋識別，即NTP_CRC（NTP with Collaborative Representation Classification）。

2.1 SRC算法

SRC的主要思想是通過訓練樣本字典中原子的線性組合來表示測試樣本的特征。對于每個類別，字典用于原始圖像的重建，并將具有最小殘差的類別判定為測試圖像類別。在訓練樣本庫足夠大的情況下，將與測試樣本屬于同一類別的系數看作非零，與測試樣本類別不同的系數看作零，稱這種表示為稀疏表示[15]。

對于K類掌紋的訓練樣本集A記作A=[A1，A2，…，AK]，第i類訓練樣本用Ai=[vi，1，vi，2，…，vi，ni]∈Rm×ni表示，vi，j（j=1，2，…，ni）為第i類掌紋的第j個樣本的特征向量，特征向量維度為n。假設一個測試樣本的特征向量為y，則y可以用訓練樣本集的特征線性表示出來，即y≈Aγ，γ=[γ1;γ2;…;γK]，其中γi為第i類的編碼系數矢量，表示為γi=[γi，1，γi，2，…，γi，ni]T。若測試樣本的特征向量y屬于第i類掌紋，則y≈Aiγi成立。因此，可以通過系數矢量γ和訓練樣本集A來完成樣本重構過程，通過計算重構后的殘差來確定各類樣本的最終類別信息。

2.2 CRC_RLS算法

SRC在模式識別領域被廣泛使用，在相關工作中體現了該方法的重要性。研究人員在對稀疏表示的研究中對l1范數所起的作用表現出質疑的態度，沒有相關的經驗與理論知識表明l1范數的稀疏約束條件能夠完善識別性能，l1范數求解過程過于復雜，使得計算復雜度增加。同時，從SRC算法的主要流程中可以看到兩個重點部分：一是測試樣本特征向量y的編碼系數矢量必須呈稀疏分布;二是測試樣本特征向量y的稀疏編碼并不是每類訓練樣本單獨作用的結果，而是所有訓練樣本協作共同作用的結果。目前很多文獻都在強調l1范數稀疏特性的重要性，而忽略了協作表示的重要性。協作表示就是使用來自所有類的訓練樣本來表示測試樣本[16]。基于協作表示的分類原理與稀疏表示分類算法類似，都是依據重建殘差最小作為分類標準。

CRC_RLS的基本過程如下：

對K類掌紋的訓練樣本集A記作A=[A1，A2，…，AK]，第i類訓練樣本用Ai=[vi，1，vi，2，…，vi，ni]∈Rm×ni表示，vi，j（j=1，2，…，ni）為第i類掌紋的第j個樣本的特征向量，特征向量維度為n。假設一個測試樣本的特征向量為y∈Rm，則y可以用訓練樣本集的特征向量線性表示出來，y≈Aχ，χ=[χ1;χ2;…;χK]，其中χi為第i類的編碼系數矢量，表示為χi=[χi，1，χi，2，…，χi，ni]T。若測試樣本的特征向量y屬于第i類掌紋，y≈Aiχi成立。用所有訓練樣本來協同表示測試樣本，為了簡化運算，y可以將SRC算法中的基于l1范數的約束條件簡化為求解規則化最小二乘問題。這實際上解決了以下優化問題：

其中I∈Rn×n是單位矩陣，令P=（ATA+λI）-1AT，可以看出，P獨立于y，并且可以通過樣本集預先計算，P可作為投影矩陣。在對測試樣本y進行識別過程中，只需將y投影到P上，直接計算系數向量，進而得到Py，從而降低了計算復雜度，表明與SRC相比，CRC更具有速度優勢。

2.3 本文算法NTP_CRC

本文利用1.4節所提出的三維掌紋特征提取方案，首先提取三維掌紋的形狀指數圖像，將形狀指數均勻分成若干小塊后，分別提取每塊的NTP直方圖，將所有直方圖級聯起來，作為最終特征，最后利用CRC_RLS算法實現掌紋類別的分類，即基于NTP與協作表示的三維掌紋識別算法NTP_CRC。

基于NTP特征和協作表示的三維掌紋識別算法的詳細步驟如下：

1）將訓練和測試3D掌紋感興趣區域（Region Of Interest， ROI）映射成形狀指數圖像。

2）將各樣本的形狀指數圖進行均勻分塊，提取各樣本的NTP直方圖。

3）將提取的NTP直方圖級聯起來，成為一個特征矩陣。

4）將每個樣本的NTP特征作歸一化處理，計算得到訓練字典A與y。

5）解決式（16）規則化最小二乘問題。

計算可得=（ATA+λI）-1ATy，投影矩陣P=（ATA+λI）-1AT。

6）計算規則化殘差。

3 實驗結果與分析

3.1 實驗環境與評價指標

3.2 實驗圖庫

香港理工大學的生物識別研究中心開發了一個實時的3D掌紋采集設備，通過該設備能夠同時采集2D和3D掌紋圖像，構建一個大型的2D和3D掌紋數據庫。本文在兩個掌紋庫進行實驗，庫中包含了從200人的左、右手掌采集的8000個樣本。掌紋分兩次采集，平均間隔為30d。每次采集左、右手掌各10個掌紋。第一次采集的掌紋數據作為訓練樣本集，第二次采集的掌紋數據為測試樣本。三維掌紋庫中的每個樣本都包含一個三維感興趣區域（ROI），每個3D ROI數據存儲在二進制文件記錄，該二進制文件包含128×128浮點值，表示掌紋每一點到參考平面的深度信息。每個2D ROI圖像的格式為BMP，大小為128pixels×128pixels，與3D ROI一一對應。

3.3 結果分析

3.3.1 確定最佳分塊方式

本文在進行紋理特征提取時，將形狀指數圖作了分塊處理。圖像分為若干個大小相同的子塊，當子塊大小與圖像的紋理特征相互匹配時，將得到較好的識別效果。通過計算不同分塊情況下的識別率，比較識別率大小，確定最佳的分塊方式。

表1分別給出了不同分塊情況下的CRR。從表1中可以看出，在不作分塊處理的情況下，CRR值為89.98%;當采用4×4分塊方式時，CRR值最高，為99.52%;當采用5×5、6×6、7×7分塊方式時，CRR值分別為97.35%、95.25%和91.80%;隨著塊數的增加，CRR值呈現出下降的趨勢。經過分析可知，分塊區域過大，不能精確提取掌紋的局部紋理特征;分塊區域過小，則導致局部的紋理特征被分割，不能有效地表征掌紋的紋理結構，得到的紋理特征區分度不大，從而影響識別精度。因此，適當的分塊方式能夠有效地提高系統的識別性能。

3.3.2 2D掌紋對比實驗

3D掌紋與2D掌紋進行對比實驗，采用基于NTP和協作表示的二維掌紋識別方法。對2D掌紋作分塊處理，提取各塊的NTP紋理直方圖，將各塊級聯的直方圖作為特征向量，最后利用CRC_RLS方法進行類別分類。3D掌紋識別的CRR值為99.52%，2D掌紋識別的CRR值為98.98%，表明3D掌紋的特征信息比2D掌紋更為豐富，因此識別效果較好。

3.3.3 驗證本文算法的有效性

在基于NTP特征和協作表示的3D掌紋識別中，首先將3D掌紋的ROI映射成形狀指數圖像，然后將形狀指數圖均勻分塊，利用NTP提取各塊的形狀指數直方圖特征，將所有塊的直方圖連接在一起作為特征向量，最后利用CRC_RLS方法進行類別分類。在本節中，為了驗證本文所提算法的性能，與其他幾種經典算法進行了比較。本次實驗選擇較為經典的算法作對比實驗，如LBP法、LTP法、CompCode[17]、均值曲率圖（Mean Curvature Image， MCI）法[18]及高斯曲率圖（Gaussian Curvature Image， GCI）法[19]。

表2為不同方法的識別效果。根據表2中的實驗結果能夠看出，利用本文特征提取方法得到的CRR值為99.52%，與經典LBP、LTP、CompCode、MCI法相比分別提高了7.77、6.02、5.12、3.97個百分點，表明本文提出的方法具有較強的表征3D掌紋局部紋理特征的能力，識別效果優于其他方法。

3.3.4 驗證CRC_RLS分類方法的性能

本文提出利用CRC_RLS方法進行3D掌紋識別，具有較快的計算速度，為了更加準確地體現該方法的優越性能，在本次實驗中采用統一的特征提取方法，即NTP形狀指數直方圖特征，然后利用不同的分類方法進行匹配識別。選擇目前較為流行的解決基于l1范數最小化問題的方法，如Homotopy[20]、SpaRSA[20]、對偶增廣拉格朗日法（Dual Augmented Lagrangian Algorithm， DALM）[20]，分別記作CR_L1_Homotopy、CR_L1_SpaRSA、CR_L1_DALM。實驗過程中，分別記錄每種分類方法的CRR及識別時間。

表3為各分類方法的識別效果和識別時間。根據表3中的數據可知，本文所利用的CRC_RLS方法的識別時間為0.6738s，與Homotopy、DALM、SpaRSA方法相比分別降低了6.7s、15.9s、61s，表明求解基于規則化最小二乘的問題比求解基于l1范數的最優解問題要簡單很多，CRC_RLS方法具有較快的計算速度。

4 結語

基于二維掌紋圖像具有獲取容易、易被仿冒，并且手掌不是純表面、不能體現手掌的深度信息等缺點。本文以三維掌紋為研究對象，提出基于近鄰三值模式與協作表示的三維掌紋識別方法。該方法首先采用形狀指數來描述三維掌紋的表面幾何信息，并對形狀指數圖作分塊處理，然后利用NTP算法提取形狀指數圖像的紋理特征，最后利用協作表示的方法進行特征分類。在香港理工大學PolyU 3D掌紋庫上進行實驗，實驗結果表明本文方法正確識別率為99.52%，識別時間為0.6738s，具有一定的應用前景。

參考文獻 （References）

[1] AGGITHAYA V K， ZHANG D， LUO N. A multimodal biometric authentication system based on 2D and 3D palmprint features [C]// Proceedings of the SPIE 6944 — the International Society for Optical Engineering， Biometric Technology for Human Identification V. Bellingham： SPIE， 2008： 69440C.

[2] ZHANG D， LU G M， LI W， et al. Three dimensional palmprint recognition using structured light imaging [C]// Proceedings of the 2008 IEEE Second International Conference on Biometrics： Theory， Applications and Systems. Piscataway， NJ： IEEE， 2008： 1-6.

[3] BAI X， HUANG S， GAO N， et al. Person identification by using 3D palmprint data[C]// Proceedings of the SPIE 10025， Advanced Sensor Systems and Applications VII. Bellingham： SPIE， 2016： 100250Q.

[4] BAI X， GAO N， ZHANG Z， et al. 3D palmprint identification combining blocked ST and PCA [J]. Pattern Recognition Letters， 2017， 100： 89-95.

[5] 林國軍，解梅.一種魯棒協作表示的人臉識別算法[J].計算機應用研究，2014，31（8）：2520-2522，2531.（LIN G J， XIE M. Face recognition algorithm of robust collaborative representation [J]. Application Research of Computers， 2014， 31（8）： 2520-2522， 2531.）

[6] GUO X M， ZHOU W D， ZHANG Y L. Collaborative representation with HM-LBP features for palmprint recognition [J]. Machine Vision and Applications， 2017， 28（3/4）： 283-291.

[7] ZHANG D， LU G M， LI W， et al. Palmprint recognition using 3-D information [J]. IEEE Transactions on Systems， Man and Cybernetics， Part C： Applications and Reviews， 2009， 39（5）： 505-519.

[8] 楊冰，王小華，楊鑫.基于局部紋理特征的三維掌紋識別研究[J].光電工程，2014，41（12）：53-59.（YANG B， WANG X H ， YANG X. 3D Palmprint recognition based on local texture feature sets [J]. Opto-Electronic Engineering， 2014， 41（12）： 53-59.）

[9] 姚騁天，夏哲雷.一種改進的局部三值模式的人臉識別方法[J].中國計量學院學報，2016，27（1）：68-72.（YAO C T， XIA Z L. Face recognition based on improved local ternary patterns [J]. Journal of China University of Metrology， 2016，27（1）： 68-72.）

[10] 劉海軍.局部方向三值模式紋理描述子[J].計算機工程與設計，2015，36（5）：1260-1264，1303.（LIU H J. Texture descriptor of local directional ternary patterns [J]. Computer Engineering and Design， 2015， 36（5）： 1260-1264， 1303.）

[11] 林森，苑瑋琦，吳微，等.基于離散余弦變換和主線分塊能量的模糊掌紋識別[J].光電子·激光，2012，23（11）：2200-2206.（LIN S， YUAN W Q， WU W， et al. Blurred palmprint recognition based on DCT and block enrgy of principal lines [J].Journal of Optoelectronics·Laser， 2012， 23（11）： 2200-2206.）

[12] 李善廣.基于分塊的掌紋識別算法研究[D].哈爾濱：哈爾濱工業大學，2013：18-23.（LI S G. Research on modular palmprint recognition algorithms [D]. Harbin： Harbin Institute of Technology， 2013： 18-23.）

[13] 蘆鑫.基于稀疏表示的遮擋人臉識別算法的研究與實現[D].北京：華北電力大學，2016：7-16.（LU X. Research and implementation of occluded face recognition based on sparse representation [D]. Beijing： North China Electric Power University， 2016： 7-16.）

[14] ZHANG L， YANG M， FENG X C. Sparse representation or collaborative representation： which helps face recognition？ [C]// Proceedings of the 2011 IEEE International Conference on Computer Vision. Washington， DC： IEEE Computer Society， 2011： 471-478.

[15] 王文龍，金煒， 謝蕓，等.采用均勻局部二元模式及稀疏表示的掌紋識別[J].光電工程，2014，41（12）：60-65.（WANG W L， JIN W， XIE Y， et al. Palmprint recognition using uniform local binary patterns and sparse representation [J].Opto-Electronic Engineering， 2014， 41（12）： 60-65.）

[16] 張宏星，鄒剛，趙鍵，等.基于Gabor特征與協同表示的人臉識別算法[J].計算機工程與設計，2014，35（2）：666-670，676.（ZHANG H X， ZOU G， ZHAO J， et al. Face recognition algorithm based on Gabor feature and collaborative representation [J]. Computer Engineering and Design， 2014，35（2）： 666-670， 676.）

[17] ZHANG L， LI L D， YANG A Q， et al. Towards contactless palmprint recognition： a novel device， a new benchmark， and a collaborative representation based identification approach [J]. Pattern Recognition， 2017， 69： 199-212.

[18] 曹忠贊.基于2D和3D掌紋圖像方向特征融合的掌紋識別研究[D].秦皇島：燕山大學，2013：13-17.（CAO Z Z. Study on palmprint recognition based on 2D and 3D palmprint image orientation features fusion [D]. Qinhuangdao： Yashan University， 2013： 13-17.）

[19] 李春燕，盧光明，黎偉.基于曲面曲率和RLDA 3D掌紋識別方法[J].中國圖象圖形學報，2011，16（5）： 807-812.（LI C Y， LU G M， LI W. 3D palmprint recognition based on surface curvature and RLDA [J]. Journal of Image and Graphics， 2011， 16（5）： 807-812.）

[20] ZHANG L， SHEN Y， LI H Y， et al. 3D palmprint identification using block-wise features and collaborative representation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（8）： 1730-1736.