交互式多生物特征識別技術在電子商務中的應用

談 玲，張 琭

（1.南京信息工程大學計算機與軟件學院 南京 210044；2.南京郵電大學物聯網學院 南京210003；3.中國電信股份有限公司江蘇分公司操作維護中心 南京 210017）

1 引言

隨著信息技術的發展，電子商務中金融信息化程度越來越高，信息安全的重要性也同步提升。在互聯網中信息安全技術最重要的應用是電子支付，而基于計算機視覺的生物特征識別技術深刻地改變著人們的支付方式和支付習慣。作為一種新興的、有前景的在線電子商務技術，基于生物特征識別的支付得到越來越廣泛的關注和應用?？紤]到生物特征識別技術對經濟發展的重要作用，其安全性和可靠性必須得到嚴格和穩定的保障。

在安全領域，身份識別一直是研究的熱點。由于人體的生物特征具有采集簡便、個體差異顯著的特性，在進行個人身份識別時具有較好的安全性和可靠性，因此在電子商務中可以利用人體生物特征進行在線支付及消費行為的確認。在互聯網中，各支付主體之間的認證是電子商務的一個核心問題[1]，而終端認證是電子支付首先要面對的問題。考慮到電子支付的特殊性，需要支付終端具有盡可能簡便的認證，并降低對支付設備的依賴性。

本文提出一種交互式多生物特征識別方法，從第三方支付平臺的角度研究其在電子商務中的應用。主要利用客戶和支付終端的交互完成用戶身份驗證、消費確認以及支付簽名。該方法借鑒了現有的生物識別技術如人臉識別[2～4]、鼻子識別[5～7]、耳朵識別[8～10]、指關 節紋 識別[11，12]、指紋識別[13，14]等，并對這些方法進行改進和整合，實現了多重安全的支付，而交互式支付從第三方平臺的角度同時為消費者和商家提供支付保障。

2 基于多生物特征識別的身份認證

目前研究的生物特征主要包括人臉、指紋、掌紋、虹膜、血管、指關節紋等。從數據采集方式看，人臉識別是較為容易的一種，受到眾多電商青睞。在進行個體身份識別時，首先需要獲取人物臉部生物特征。其中存在一些不確定因素，人物的年齡、胖瘦、高矮、形態、表情、胡須、皺紋、發型、穿戴都會影響人臉特征，甚至外部光線也會對人臉有影響，從而降低人臉識別的準確性。人臉的很多顯著器官如鼻子、耳朵等在一生中形狀相對穩定，且不容易受到外在干擾，因此在本文中將耳朵和鼻子作為身份識別的多生物特征的一部分。其次是指關節紋生物特征，其比掌紋特征更明顯，也不易受到外在干擾，因此識別更簡易和可靠，本文將其作為第三重生物特征。在識別時，這3個區域圖像的數據量總和比人臉圖像的數據量更少，因此其平均識別時間要比臉部識別時間少得多。

2.1 多生物特征識別算法

在識別算法上，主要借鑒Gabor濾波器在鼻子、耳朵和指關節紋識別上的良好特性[15]，核函數和FDA（Fisher discriminant analysis）在非線性判別中的優異表現以及帶限相位相關算法在計算內容獨立性方面的穩定發揮，設計了基于鼻子—耳朵—指關節紋的多重識別算法模式。首先提取鼻子、耳朵和指關節紋的感興趣區域 （region of interest，ROI），采用 Gabor濾波器對圖像進行 Gabor濾波處理。其次，對濾波后的圖像進行對比度增強處理，利用帶限相位算法調整圖像頻譜范圍，利用位移校準法對圖像進行校準、微調和裁剪[15]。最后，對校準后的圖像進行基于閾值的匹配和識別。作為第一重生物特征的鼻子，需要區別耳朵和指關節紋的特別處理。在特征提取中，需要事先建立測試樣本及訓練樣本。對訓練樣本和測試樣本分別利用核函數將鼻子的Gabor小波特征非線性地映射到核空間，再通過計算類間和類內離散度矩陣，進而求解Fisher基向量。并將上述訓練樣本和測試樣本的Gabor小波特征分別投影到Fisher基向量，最后計算得到兩類特征的距離，并進行基于距離的分類判別。

2.2 身份識別

基于多生物特征識別模式的身份認證分別進行鼻子、耳朵、指關節紋的生物特征識別，根據鼻子、耳朵、指關節紋的特征強度和識別可靠度，予以三重生物特征不同的權重，最終的識別結果計算方法為：首先觀察3種生物特征識別的結果是否完全一致，若完全一致，則用戶身份確定；若不一致，再觀察耳朵和指關節紋識別的結果是否一致，若一致，則取耳朵和指關節紋的識別結果；若3種生物特征識別的結果各不相同，取鼻子生物特征識別的結果作為身份識別結果。

2.3 身份認證

在電子商務中，身份認證主要通過第三方支付平臺的支付終端進行。支付終端采集用戶的鼻子、耳朵、指關節紋圖像，并將其傳送到第三方支付平臺的支付服務器端進行身份識別。支付服務器上存放用戶個人生物特征庫，根據多生物特征識別算法進行用戶的身份識別。將其與注冊賬戶進行比對，確定用戶賬戶存在且有效，從而完成用戶的身份認證。

身份認證后，用戶繼續在第三方支付平臺的支付終端中進行支付活動。在電子商務中，支付是最后也是最關鍵的一步，需要嚴格控制其安全性和可靠性。因此本文主要研究第三方支付平臺上進行的交互式支付及消費確認機制。

2.4 多生物特征融合的SVM模型

為了對多生物特征識別進行效果驗證，本文首先構建了一個多生物特征融合模型，如圖1所示，這里采用的生物特征包括人臉和虹膜。在各種生物特征中，人臉識別是人類最自然和最容易接受的身份識別方法，在很多電子商務中得到了成功應用；而虹膜識別則具有較高的準確率。這兩種生物識別都有各自的局限。參考文獻[16，17]在不同層論證了人臉和虹膜的融合識別。在分類器的選擇上，本文考慮了SVM（support vector machine，支持向量機）。SVM是建立在統計學習理論的VC維理論和結構風險最小原理基礎上的機器學習方法，求解辦法是將分類問題轉化為二次規劃問題。作為一種二分類器，其基本思想是在樣本空間中構造出最優分類超平面，并使其達到最大的泛化能力[18]。

多特征SVM模型的處理過程為：首先，分別對人臉與虹膜圖像進行預處理及特征提取，得到人臉特征向量與虹膜特征向量。而后將兩種特征向量進行串行組合，得到融合特征向量。最后，將融合特征向量經過標準歸一化處理，利用SVM進行分類識別。

假設人臉特征提取的特征向量，xi={x1i,x2i,x3i,…,xmi},i=1,2,…,s（s是樣本數量）；虹膜提取的特征向量yi={y1i,y2i,y3i,…,yni}；融合特征向量是由xi與yi串接得到的向量zi={z1i,z2i,z3i,…,zki}，由該向量作為最終的實驗數據庫。上述特征向量中m,n,k是樣本的維度。

對該模型進行驗證，實驗運行工具為MATLAB，使用了LibSVM工具箱，分類方法采用one-against-one，二次規劃采用了改進的序列最小優化（sequential minimal optimization,SMO）算法[19]，工作集個數為2，對樣本及其 Lagrange乘子進行更新和迭代計算，對滿足約束優化條件的目標決策函數進行優化。該方法工作集小，迭代數據快，因此在大規模訓練情況下二次規劃的求解效率能顯著提升。

多生物特征識別的具體實現過程與生物特征不同的特征提取方法有關，人臉和虹膜預處理和特征提取的方法不同，提取出來的特征在分布和數量級上也會有所不同，直接融合可能會對識別結果有影響。為了排除這種特征數量級非均衡性對特征融合識別結果的影響，識別前需對融合特征做歸一化處理。這里采用兩個特征提取方法進行識別驗證。

方案1 PCA+WT。

算法過程如下。

步驟1 人臉處理。將以行向量的形式表示每一張人臉圖像，得到原始樣本集。再利用PCA（principal component analysis）提取人臉圖像的特征向量，實驗中選取前20個主分量，即特征向量X的維數是20維，作為第一組樣本。

步驟2 虹膜處理。對虹膜圖像進行預處理，得到64 dpi×512 dpi大小的歸一化虹膜圖像。再進行Triple WT（wavelet transform），計算7個通道的均值和方差作為特征值，最后得到14維的特征向量Y，作為第二組樣本。

步驟3 特征融合處理。將步驟1和步驟2得到的人臉和虹膜樣本中的特征向量一一對應進行串行連接，得到34維融合特征向量，并進行歸一化處理。

步驟4 將得到的標準數據集分為訓練集和測試集，用SVM法進行訓練測試。

方案 2 Fisherface+Gabor。

算法過程如下。

步驟1 人臉處理。對原始樣本集利用Fisherface方法[21]對人臉圖像進行特征提取，選擇適當的投影空間得到16維的特征向量X，作為第一組樣本。

步驟2 虹膜處理。對預處理后的歸一化虹膜圖像通過Gabor濾波器[20]，選擇中心頻率和相位角度不同的12個Gabor濾波通道，提取各通道的均值和方差作為特征值，得到24維的特征向量Y，作為第二組樣本。

步驟3 同方案1的步驟3和步驟4。

2.5 多生物特征識別性能驗證

圖1 多生物特征融合模型

本文以ORL人臉數據庫和CASIA虹膜圖像庫為實驗對象。在兩個庫中都按50 dpi×50 dpi規模選取原始圖像，對其一一制定配對得到實驗圖像庫。在不同數量的訓練集和測試集下對單一生物特征和多生物特征融合識別，對經典分類算法 （K-nearest neighbor,KNN）、神經網絡（neural network,NN）、SVM 3種分類識別方法進行了性能比較。實驗結果見表1（其中訓練集和測試集為歸一化后的數據）。

從表1可以看出，多生物特征識別準確率要超過單一特征識別準確率，隨著訓練樣本數量增加，所有識別方法的識別率也會逐步提高。此外，SVM在對比的幾種分類器中，識別效果更好。

從驗證結果看，多生物特征識別具有較高的識別性能，可以用于各種身份識別和認知的應用場合。基于多生物特征識別模式的身份認證進行融合生物特征識別，并通過第三方平臺進行身份認證。支付終端采集用戶的人臉及虹膜圖像，并將其傳送到第三方支付平臺的支付服務器端進行身份識別。支付服務器上存放用戶個人生物特征庫，根據多生物特征識別算法進行用戶的身份識別。將其與注冊賬戶進行比對，確定用戶賬戶存在且有效，從而完成用戶的身份認證。

3 交互式表情掃臉

人的形態尤其是面容很容易隨著時間而變化，這是人臉識別技術必須克服的一個難點，目前的技術可以做到在個體常規化妝、發型變化、一定程度下胖瘦變化、老化時進行身份識別。但如果變化過于劇烈，單一的掃臉模式將無能為力。此時可以借助其他生物特征輔助，比如掃臉和指紋驗證相結合。對于識別難度較大的情況可以采用多種生物識別方式組合的方式。即便如此，掃臉支付仍然存在人臉照片和人臉視頻的假冒問題，是人臉識別進入商用的一個技術難點。

近期國內外已經有若干家電子商家或實體商家利用掃臉技術來完成支付，他們大多采用“面對面”式刷臉或者功能僅限于密碼輸入的方式，對于用戶身份的準確識別以及消費行為的確認等方面考慮得還不夠深入。例如支付寶的掃臉技術“smile to pay”僅用于支付密碼，但其對于用戶身份的確認還存在諸多盲點。本文對第三方平臺在線支付問題的思路不同于其他電子商務只將掃臉用于支付，本文側重于利用交互式表情掃臉進行消費行為的第三方確認，明確將指紋和交互式表情掃臉結合起來完成支付。此外，本文將用戶身份認證和用戶支付操作的確認和簽名分開。身份認證利用鼻子—耳朵—指關節紋多生物特征完成認證，避免單一模式下產生的失誤。在用戶進入支付環節后，為進一步加強可靠性和安全性，利用交互式表情掃臉和指紋識別來完成。這種模式一方面可以避免人臉照片和人臉視頻的假冒，另一方面也可作為支付糾紛發生時的支付依據。

支付終端在交互式表情掃臉中需要用戶進行表情配合，即進行用戶和支付終端的交互，比如在當前情景中系統隨機給出頭/臉部動作及表情要求，支付者配合完成該過程，從而進行支付前的再次確認。這種利用應用情景模式配合掃臉和系統提示動作的模式可以有效防止視頻或者照片的欺騙行為。最后，利用表情操作進行臉部表情簽名。支付者按照預先設置的簽名表情完成相應動作之后完成簽名。

交互式表情掃臉簽名的優點是對支付者身份的不可偽造性和對支付行為的不可抵賴性。為了確保可靠性，除需交互式表情掃臉簽名，支付終端還需要有傳統的密碼機制作為補充。多種支付方式的存在為用戶提供了一種簡便和安全的支付選擇。在異地消費活動中，若客戶手機、錢包、信用卡丟失，無法進行移動支付、現金支付和信用卡支付，通過交互式表情掃臉進行身份的快速識別和認證，在支付前進行基于表情的消費簽名，從而在第三方支付終端完成可靠的消費活動。

4 交互式多生物特征識別技術在電子商務中的應用

在互聯網中進行的電子商務和支付活動中，買賣雙方不能面對面完成交易，這使得認證問題成為電子商務和支付的核心問題?；诘谌街Ц兜恼J證過程主要包括以下支付主體：顧客、WPKI（wireless public key infrastructure）商戶（產品或服務的提供者）、銀行[21]、第三方支付平臺。其中第三方支付平臺主要包括支付網關、支付服務器、支付終端等，如圖2所示。

表1 幾種分類方法的識別性能比較

圖2 基于第三方支付的在線支付系統構成

在第三方支付平臺，支付服務器主要完成顧客的生物特征身份信息的存儲和用戶身份驗證、支付確認處理等。用戶在支付前首先需在服務器端建立客戶多重生物特征庫，用以對客戶生物特征進行采集和預處理。支付網關主要完成基于線下信任的商戶認證，首先它在中間服務平臺（如商區或社區）對商戶進行初級認證的基礎上對中間服務平臺進行第二級認證。通過線下預認證機制與線上交互認證進一步強化線上支付主體與現實之間的聯系。支付終端完成顧客基于多重生物特征的身份認證和交互式消費確認。

為了解決第三方支付平臺沉淀資金風險隱患，并簡化第三方支付終端認證過程，取消了第三方支付平臺設立的中間賬號，以系統的第三方授權及確認付款功能來為交易雙方提供信用擔保。通過預先簽訂的客戶和付款賬號所在銀行中間的授權支付協議，在支付終端完成基于生物特征識別的身份認證后進行支付確認時，第三方支付平臺代表付款人直接通知付款銀行，無需付款人提供賬號和密碼而能直接利用跨行清算系統自動完成顧客與商家的支付交易。通過第三方支付平臺省卻了支付方、商家和銀行中間繁瑣的認證過程，并簡化了用戶在支付終端的支付操作。

交互式多生物特征識別的支付及消費確認機制將從兩方面著手，首先是顧客身份的認證，采用多重生物特征識別的安全認證模式來實現，其次是顧客對支付行為的確認和支付簽名。顧客身份認證中所使用的多重生物識別機制如上文所述。而在顧客支付行為中，需要配合顧客的表情和與終端的互動來完成，側重于利用掃臉進行消費行為的第三方確認，將指紋和掃臉結合起來完成支付和簽名。在出現消費行為的支付糾紛或者在一些應用中需要用戶產生不可抵賴的憑證時，可將掃臉的視頻作為支付憑證，掃臉的作用更像電子簽名。這種電子表情簽名結合指紋模式產生的互動效果更穩定、更安全。

第三方支付平臺通過建立“預認證”和在線交互激活、表情簽名認證模式來實現終端認證的簡化。預認證主要采用分層模型解決第三方支付平臺和商家、中間服務平臺、公共服務域之間的認證和信任問題以及第三方平臺上的支付者（顧客）的個人賬戶信息。該過程采集并預處理支付者的個體生物特征，建立用戶生物認證賬戶和商家賬號的個人服務域。用戶認證前必須先建立公共服務域。公共服務域由支付服務中心、跨行支付系統、商業銀行構成。該服務域級別越高，可信度越高，且能簡化支付協議和流程的設計。其中支付服務中心提供商業銀行賬戶的尋址服務?？筛鶕碳倚畔?、用戶手機信息與各銀行賬號的綁定關系，將用戶手機號和商戶信息轉換成商業銀行的賬戶信息。認證中利用支付服務中心賬戶尋址和管理手段確保商家和付款客戶雙方的不可否認性，從而降低相關的支付風險。跨行支付系統實現各個銀行的跨行支付與清算。該服務域省卻了銀行、用戶、商家相互之間的直接聯接，從而避開支付時繁瑣的認證過程。在線支付預認證分層模型如圖3所示。

圖3 在線支付預認證分層模型

交易過程中，支付終端首先利用鼻子—耳朵—指關節紋多生物特征對用戶進行身份識別。在預認證基礎上，通過指紋識別與交互式表情掃臉結合進行在線支付前確認及支付簽名。

5 結束語

本文主要研究生物特征識別技術在電子商務中的應用。提出了一種交互式多生物特征識別方法，并從第三方支付平臺的角度研究了這種識別方法在電子商務中的應用。交互式多生物特征識別方法主要利用鼻子、耳朵、指關節紋三重生物特征來完成用戶身份的識別。在電子商務中，基于交互式多生物特征識別的支付及消費確認機制從兩方面入手，首先是顧客身份的識別和認證，采用多生物特征識別算法來完成用戶身份的識別，并和支付服務器端中的個人生物特征庫進行對比，從而驗證用戶身份的存在和有效性。其次是顧客對支付行為的確認和支付簽名。在顧客支付行為中，利用顧客的表情和與終端的互動來完成，側重于利用交互式表情掃臉進行消費行為的第三方確認，將指紋和掃臉結合起來完成支付確認和表情簽名。從應用的角度設計了第三方支付系統的框架，并在此框架中搭建了一個簡便和輕量級的在線支付預認證分層模型。終端認證的簡化主要通過第三方支付平臺建立的 “預認證”和在線交互支付確認、表情簽名模式來實現。該方法能夠有效解決第三方支付平臺沉淀資金風險隱患，并簡化第三方支付終端的認證過程。為用戶、商家和銀行等多方提供可靠、安全、簡化的支付方式。

1 Hassinen M,Hypponen K,TrichinaE.Utilizing national public-key infrastructure in mobile payment systems.Electronic Commerce Research and Application,2008,7(2)

2 王科俊，鄒國鋒 .基于子模式的Gabor特征融合的單樣本人臉識別.模式識別與人工智能，2013，26(2)

Wang K J,Zou G F.A sub-pattern Gabor features fusion method for single sample face recognition.Pattern Recognition and Aitificial Intelligence,2013,26(2)

3 Faraji M R,Qi X J.Face recognition under illumination variations based on eightlocaldirectionalpatterns.IET Biometrics,2015,4(1)

4 Kim M.Sparse discriminative region selection algorithm for face recognition.Applied Intelligence,2015(1)

5 Li Y,Wang Y H,Wang B B,et al.Nose tip detection on three-dimensional faces using pose-invariant differential surface features.IET Computer Vision,2015,9(1)

6 Emambakhsh M,Evans A N.Self-dependent 3D face rotational alignmentusing the nose region.Proceedingsofthe 4th International Conference on Imaging for Crime Detection and Prevention,Stevenage,UK,2011

7 Peng X,Bennamoun M,Mian A S.A training-free nose tip detection method from face range images.Pattern Recognit,2011,44(3)

8 AdhikesavanS,FareedhaS A.Earbiometricsin human identification system.Biometrics&Bioinformatics,2014,5(4)

9 Galdamez P L,Arrieta M A G.Ear biometrics:a small look at the process of ear recognition.Proceedings of International Joint Conference SOCO’13-CISIS’13-ICEUTE’13,Salamanca,Spain,2013

10 Farida K,Mir A H.AR model based human identification using ear biometrics.int.Journal of Signal Processing Image Processing,2014,7(3)

11 Morales A,Travieso C M,Ferrer M A,et al.Improved finger-knuckle print authentication based on orientation enhancement.Electronics Letters,2011,47(6)

12 Gao G W,Yang J,Qian J J,et al.Integration of multiple orientation and texture information forfinger-knuckle-print verification.Nerocomputing,2014(135):180～191

13 Gandhi P V,Vanitha M,Rajkumar S.Preventing mobility device intrusion and information theft using biometric fingerprint recognition.Biometrics&Bioinformatics,2014,6(2)

14 Labati R D,Genovese A,Piuri V,et al.Touchless fingerprint biometrics:a survey on 2D and 3D technologies.Journal of Internet Technology,2014,15(3)

15 Kim M K，Flynn P J.Finger-knuckle-print verification based on vector consistency of corresponding interest points.Proceedings of 2014 IEEE Winter Conference on Application of Computer Vision,Steamboat Springs,USA,2014

16 Wang Y H,Tan T N,Jain A K.Combining face and iris biometrics for identity verification.Preceedings of International Conference on Audio-& Video-based Biometric Person Authenticat,Guildford,UK,2013:311～321

17 Chen C H,C hu C T.Fusion of face and iris features for multimodal biometrics.Lecture Notes in Computer Science,2005(3832):571～580

18 Cristianini N,Shawe T J.An Introduction to Support Vector Machines.Rechnical Report CSD-TR-98-04,1998

19 Zhang J P,Li Z W,Yang J.A parallel SVM training algorithm on large–scale classification problems.Proceeding of the 4th International Conference on Machine Learning and Cybernetics,Guangzhou,China,2009:18～21

20 Jing X Y,Wong H S,Zhang D.Face recognition based on 2D fisherface approach.Journal of Pattern Recognition,2006,39(4):707～710

21 Ou C M,Ou C R,Setnr A.An agent-based secure payment protocol for mobile commerce.Journal of Intelligent Information And Database Systems,2012,4(3)