基于ASIFT的離線簽名認證方法

唐有寶，卜巍，張恩澤，鄔向前

(1.哈爾濱工業大學 計算機科學與技術學院，哈爾濱150001;2.哈爾濱工業大學 媒體技術與藝術系，哈爾濱150001;3.哈爾濱工業大學 航天學院，哈爾濱150001)

基于簽名的身份認證技術(簡稱簽名認證)在防偽及刑偵等方面有重要的意義，一直以來是身份識別領域中的研究熱點.根據采集數據方式的不同，簽名認證可劃分為離線和在線簽名認證.離線簽名認證是用通過掃描或拍照等其他方式得到的簽名圖像來完成身份認證，其主要利用的是筆畫間的空間信息.而在線簽名認證則通過特殊的電子采集設備可獲得簽名的空間信息和時間信息.相比在線簽名認證，離線簽名認證精度更低、處理更困難.

離線簽名可分為真實簽名、模仿簽名和偽裝簽名.真實簽名是指與參考簽名為同一書寫人且正常書寫的簽名.模仿簽名是指他人模仿與參考簽名盡可能相似的簽名.偽裝簽名是指與參考簽名為同一書寫人且隱藏自身書寫習慣(或身份)的簽名.以往的離線簽名認證是基于模仿簽名，對偽裝簽名的研究甚少.模仿簽名的認證需要找出其與真實簽名間的不同之處，而偽裝簽名的認證則需找出其與真實簽名間的相似之處，因此要面臨的一個難題是如何正確認證模仿簽名和偽裝簽名.直到2010年，手寫識別領域國際會議(ICFHR)首次舉辦了有偽裝簽名的離線簽名認證競賽［1］，并發布了首個含有偽裝簽名的數據庫，參賽方法對偽裝簽名認證的低效率也證明了在正確認證模仿簽名的同時如何正確認證偽裝簽名是一件困難的事.在隨后的研究中，越來越多的方法相繼被提出來解決這一難題.

離線簽名認證是基于特定內容的，因此簽名認證過程可看作計算機視覺領域中的目標識別過程.目前很多目標識別方法可用于簽名認證.其中基于局部不變特征(例如尺度不變特征變換(SIFT)［2］、快速視網膜關鍵點(FREAK)［3］等)匹配(例如隨機采樣一致性(RANSAC)［4］)的方法最為常見，且基于局部不變特征的方法已被成功地應用到文本無關的離線筆跡識別中［5］.由于環境或心情等外界因素的影響，同一個人的簽名會發生變化，而這些變化大部分符合仿射變換(包括大小、方向、扭曲等)，即使是偽裝簽名也是如此.而目前基于局部不變特征的簽名認證方法不具有仿射不變性.為了解決仿射變換及偽裝簽名對簽名認證所帶來的問題，本文提出了一種基于具有仿射不變性的尺度不變特征變換(ASIFT［6］)的離線簽名認證方法.

由于ASIFT具有仿射不變性，因此它相比其他局部不變特征(如SIFT，FREAK等)更能捕捉偽裝簽名和真實簽名之間的相似性.本文方法可以直接對灰度圖像進行ASIFT描述符提取和匹配，以完成簽名認證.相比目前已有的方法，本文方法省略了很多預處理操作，例如二值化［7］、簽名的定位［8］、簽名的細化［9］以及簽名的分割［10］等，而這些操作本身是信息損失或耗時的過程.

1 簽名認證研究現狀

在過去的十幾年里，離線簽名認證一直是很多研究者關注的熱點，并針對不同的問題提出了相關算法.其中，Impedovo等人［11］綜述了當前已有的簽名認證方法.并且近年來，國際上舉辦了多次簽名認證競賽［1，12-16］，由此也說明了簽名認證的重要性.根據所提取特征的不同，本文將簽名認證方法分為3大類，分別為基于全局特征、統計特征以及局部特征的簽名認證方法.

基于全局特征的方法將整個簽名圖像作為特征提取單元，提取能表征簽名整體特征的參數作為特征.Porwik等人［17］提取簽名的重心作為特征.Lv 等人［18］以及 Shridhar等人［19］計算簽名與水平方向的整體傾斜特征;Chen等人［7］和Zuo等人［20］計算具有尺度、平移和旋轉不變性的Zernike矩特征;以及把通過對簽名圖像進行數學變換得到的系數作為特征，比如霍夫變換［17］，小波變換［21］，Gabor變換［22］等.這類特征由于對簽名的細節區分能力弱，以及對簽名的形變敏感，因此適合一些簡單的模仿簽名認證.

基于統計特征的方法將簽名的像素值、特殊點、筆畫片段的方向及位置分布等統計信息作為特征.其中提取某些特征之前，需要對簽名進行分割，然后對每個分割后的區域提取統計特征，例如灰度值的分布［23］、筆畫寬度分布［18］、筆段的平滑度［24-25］、幾何特征的高斯混合模型分布［26］等.其中某些方法則通過計算投影直方圖作為特征［27］.該類特征對簽名的整體形變影響相對較小，因此是使用相對較多的一類特征.

基于局部特征的方法利用簽名的局部結構特征以及局部結構之間的關系作為簽名認證的依據.Malik等人［28］利用快速角點檢測(FAST)和加速穩健特征(SURF)關鍵點檢測方法找到簽名局部結構所在的位置，再使用FREAK特征描述符表征該局部結構的特征.此類特征對簽名形變的容忍度最好，具有尺度、平移和旋轉不變性.本文方法屬于該類且還具有仿射不變性.

2 基于ASIFT的離線簽名認證

基于ASIFT的離線簽名認證方法由兩部分組成，即參考簽名的ASIFT特征描述符的提取、查詢簽名的ASIFT特征描述符提取以及其與參考簽名的ASIFT描述符的匹配和認證，如圖1中的兩個點線框所示.其中主要有以下3個過程:預處理、ASIFT描述符提取、簽名認證，如圖1中的3個虛線框所示.下面分別詳細描述每個過程.

圖1 基于ASIFT的離線簽名認證方法框圖Fig.1 Framework of offline signature verification based on ASIFT

2.1 預 處 理

數據采集時，可能使用彩色簽名筆或掃描得到的圖像大小較大，因此為了避免筆顏色對簽名認證的影響，本文首先對簽名圖像進行灰度化處理.為了提高認證的效率，再對簽名圖像進行放縮處理，將圖像大小大于800×600的簽名圖像歸一化到800×600.經過上述處理的簽名圖像將被用于后續的簽名認證過程.

由上述可知，本文對簽名圖像進行了圖像灰度化和大小歸一化兩個簡單的預處理操作.而目前很多已有的簽名認證方法需要額外的預處理操作，比如二值化、簽名定位、簽名分割等，而這些操作損失信息且耗時，在一定程度上影響簽名認證的性能.

2.2 ASIFT描述符提取

ASIFT是在SIFT的基礎上進一步實現了仿射不變性.SIFT的全稱是尺度不變的特征變換，近年被廣泛且成功地應用到了很多領域.SIFT算法有以下4個主要的計算步驟:

1)尺度空間的構造.通過用簽名圖像與不同尺度的高斯核進行卷積來構造高斯尺度空間.

2)關鍵點定位.通過把高斯尺度空間中相鄰的平面做差得到高斯差分圖像，然后通過在高斯差分圖像上尋找極值點的方法來定位具有尺度不變性的關鍵點所在的位置，并去掉不穩定的關鍵點，再進一步精確定位關鍵點的位置.目的是為了使得SIFT具有尺度不變性.

3)關鍵點主方向指派.計算關鍵點鄰域內的梯度方向直方圖，將直方圖的峰值作為該關鍵點的主方向.目的是使得SIFT具有旋轉不變性.

4)關鍵點描述符提取.根據主方向，計算關鍵點鄰域內的128維高斯加權梯度直方圖作為最終的關鍵點描述符.

SIFT模擬了4個參數，包括尺度、旋轉和平移.計算完描述符之后，進行SIFT匹配過程.在文獻［2］中，歐式距離被用來計算兩個描述符之間的相似度.

ASIFT在SIFT的基礎上增加了仿射不變性.為了達到這一目的，ASIFT通過模擬相機光軸方向的變化來模擬簽名圖像在不同視角下的扭曲變化情況，然后再利用原始SIFT算法對其進行描述符提取和匹配.相比SIFT，ASIFT模仿了6個參數，分別為相機水平角度、垂直角度、尺度、旋轉和平移.文獻［6］證明了ASIFT具有全仿射不變性.

ASIFT算法由以下幾個過程組成:

1)對給定簽名圖片進行如下變換來模擬所有可能的線性扭曲情況，即通過改變相機光軸方向.這些扭曲變換依賴兩個參數，分別為相機水平角度φ和垂直角度θ.圖像的φ旋轉由傾斜度完成.

2)對簽名圖像進行旋轉變換和傾斜變換可以模擬有限的一些不同水平角度和垂直角度拍攝的簽名圖像.對這些參數進行采樣能保證模擬簽名圖像在不同的φ和θ引起的視角變換下保持近似.

3)所有模擬傾斜后的簽名圖像將用SIFT算法進行匹配比較.

ASIFT算法過程如圖2所示［6］，其中正方形圖像A和B表示待匹配的圖像，ASIFT通過變化相機光軸方向模擬了它們所有的扭曲情況，這些模擬的圖像用平行四邊形表示，然后再用SIFT算法對其進行逐一匹配.

圖2 ASIFT 算法過程［6］Fig.2 Overview of the ASIFT algorithm［6］

傾斜度t和水平角度φ需要有足夠高的采樣精度才能使得ASIFT算法對任何仿射變換具有不變性.文獻［6］指出通過在自然圖像中進行多次實驗來確定采樣步長Δt和Δφ的大小，并給出傾斜度最佳采樣步長為，水平角度最佳采樣步長為 Δφ =72°/t.

通過對圖像進行多視角變換后再匹配，可使得圖像發生仿射變換時，匹配的點數更多.相比SIFT算法，ASIFT算法提高了計算機視覺中目標檢測、圖像配準等系統的性能［6］.本文則利用其來提高離線簽名認證的性能.給定一組簽名圖像，分別使用ASIFT算法和SIFT算法后的點匹配情況，ASIFT匹配的效果更好，如圖3所示.

圖3 偽裝簽名圖像與真實簽名圖像的點匹配示意圖Fig.3 Overview of matched points between disguised signature and reference signature

下文將使用上述的ASIFT算法對簽名圖像進行特征提取及匹配認證過程.

2.3 簽名認證

1)對IQ進行ASIFT特征描述符提取，記為DQ={dkQ，k=1，2，…，m}.其中 m 為描述符個數.

3)經過上述匹配之后，由于沒有考慮點與點之間的空間位置關系，會存在誤匹配點.為了減少錯誤匹配，使用RANSAC算法［4］進行誤點排除得到最終的匹配點對.把IQ與IiR簽名圖像匹配的點的個數記為NiOR，并計算匹配的點之間的平均距離，記為.

5)比較NF與給定的閾值T1的大小以及DF與給定的閾值T2的大小，最后根據如下原則判斷認證是否成功，1表示成功，0表示失敗.

其中T1和T2通過在訓練庫上進行聯合窮舉得到，將使得等誤率最小時的值為最終的閾值.

3 實驗結果與分析

3.1 數 據 庫

4NSigComp2010數據庫［1］被用來對本文提出的方法進行評價.4NSigComp2010數據庫是首個含有偽裝簽名的公開數據庫，提供了一個訓練集和一個測試集.訓練集有209個簽名圖像，其中包含9個由同一個書寫人書寫的參考圖像，200個查詢圖像.查詢圖像包括76個真實簽名圖像(書寫人與參考圖像一致)、104個模仿簽名圖像(由27個書寫人盡量模仿參考圖像的簽名)和20個偽裝簽名圖像.測試集有125個簽名圖像，其中包括25個參考圖像和100個查詢圖像.查詢圖像由3個真實簽名圖像、90個模仿簽名圖像和7個偽裝簽名圖像組成.由于有高模仿水平簽名樣本和偽裝簽名樣本的存在，使得整個簽名認證更加困難，如圖4所示，其中第1行為參考簽名樣本，第1列的后2行為偽裝簽名樣本，第2列的后2行為模仿簽名樣本.

圖4 4NSigComp2010數據庫中的樣本示意Fig.4 Examples of signatures in 4NSigComp2010 dataset

本文用訓練集訓練文中所用到的參數.在測試集中，有25個參考樣本圖像，顯而易見，當參考樣本個數越多時認證精度不會低于參考樣本個數少時，但匹配時間更長.為了提高匹配效率，本文隨機選取3個圖像作為測試本文提出方法性能的參考圖像，而不是利用所有的25個參考樣本.如上所述，待評價的數據有3個真實樣本、7個偽裝樣本和90個模仿樣本.

3.2 實驗結果

在簽名認證中，錯誤接收率(FAR)是指模仿樣本被認為是真實樣本的個數所占模仿樣本總數的比率.錯誤拒絕率(FRR)是指真實樣本與偽裝樣本被認為是模仿樣本的個數所占整個真實樣本和偽裝樣本總數的比率.而等誤率(EER)是錯誤接收率與錯誤拒絕率相等時的錯誤率.與文獻［1，28］一致，本文采用等誤率的指標來評價所提出方法的性能.

表1給出了本文方法在4NSigComp2010數據庫上的測試結果，并與4NSigComp2010簽名認證競賽的參賽方法以及當前在該庫上測試的幾個方法進行了比較.可以看出，本文方法的等誤率為15%(比 Bunke-GMM［26］的 20%要低 5%)，在表1所有的方法中最低.表1也給出了本文方法在沒有偽裝簽名的情況下的實驗結果，即FAR，FRR和EER都為0.

FAR和FRR是兩個你增我減的指標，即對同一個方法而言，當其中一個指標增大時，另一個指標必然會減小或保持不變.當其中一個固定時，另一個值越少，說明其所對應方法的性能越好.對一個好的方法而言，這兩個指標都越小越好.表1也給出了3組本文方法所對應的FAR和FRR，分別為:FAR=10%和FRR=20%;FAR=0和FRR=70%;FAR=56%和FRR=10%.與表1中其他方法的FAR和FRR相比，當FRR固定時，本文方法的FAR比其他一些方法低，或FAR和FRR都比其他一些方法低.

表1 在4NSigComp2010庫上的實驗結果比較Table1 Experimental result of different methods on 4NSigComp2010 dataset %

3.3 分 析

盡管本文方法的性能相比表1中的其他方法好，但FAR=10%且FRR=20%還不夠理想，原因是偽裝簽名影響了簽名認證的性能.由表1可知，當沒有偽裝簽名時，本文方法的FAR，FRR和EER都為0，由此也證明了以上觀點.當FAR固定或FAR比表1中其他方法更小時，本文方法的FRR比其他方法小.原因是其他方法對偽裝簽名的認證效率不夠好，而本文方法是基于具有仿射不變性的局部不變特征方法的，能更好地捕捉偽裝簽名和真實簽名之間的相似性.

表1給出了兩種基于局部不變特征的簽名認證方法(SURF-FREAK［28］和 FAST-FREAK［28］).由表可知，本文提出的基于ASIFT的方法的等誤率要比它們低15%.原因是除了ASIFT具有仿射不變性之外，還有ASIFT描述符為浮點描述符，與FREAK二值描述符相比具有更強的可區分性，而且這兩種方法在認證時只考慮了平均距離.當只考慮匹配點之間的平均距離時，而在簽名認證中存在匹配點的個數少且平均距離也小的情況，這樣會導致誤認證.為了克服這一問題，在簽名認證時，本文方法綜合考慮了匹配點的個數和平均距離.

圖5～圖8給出了查詢樣本與參考樣本之間的點匹配情況，圖中直線段的端點表示匹配的點對.當真實樣本與參考樣本進行匹配時，匹配上的點的個數很多且分布均勻，如圖5所示.原因是簽名的行為特性是由于長期的書寫習慣積累而成，因此同一個人在正常情況下簽名時，簽名的形狀和細節會很相似，從而會有很多匹配的點對.

圖5 真實樣本與參考樣本的點匹配示意Fig.5 Matched points between genuine signature and reference signature

圖6 偽裝樣本與參考樣本的點匹配示意Fig.6 Matched points between disguised signature and reference signature

圖7 低質量模仿樣本與參考樣本的點匹配示意Fig.7 Matched points between low quality simulated signature and reference signature

圖8 高質量模仿樣本與參考樣本的點匹配示意Fig.8 Matched points between high quality simulated signature and reference signature

當偽裝樣本與參考樣本進行匹配時，盡管兩個簽名圖像的形狀相差較大，但匹配點對的個數也不少，如圖6所示.原因是即使書寫人盡量偽裝自己的簽名，但由于習慣的書寫動作，使得在簽名時字與字之間的關系變化較少，同時即使字母的整體形狀變化較大，但某些細節變化較少或符合仿射變換，如簽名的扭曲、傾斜方向、大小等.本文通過使用具有仿射不變性的特征描述符，能在一定程度上捕捉偽裝簽名和參考簽名之間的相似性，因此能匹配較多的點.圖3給出偽裝簽名與真實簽名在使用具有仿射不變性的ASIFT描述符與不具有仿射不變性的SIFT描述符的匹配情況.

當低質量模仿樣本和高質量模仿樣本分別與參考樣本進行匹配時，它們匹配的點的個數相差較大，如圖7和圖8所示.由圖可見高質量模仿的樣本能正確匹配的點對更多.原因是高質量的模仿樣本比低質量的模仿樣本能模仿更多的簽名細節，如筆畫之間的關系、起落筆的方向等.但相對圖5中真實樣本，高質量的模仿簽名在很多細節上模仿得不夠精確，因此匹配的點對要比真實樣本少很多，甚至少于偽裝簽名，從而使得本文方法能夠區別高質量模仿簽名并認證偽裝簽名.

4 結論

本文提出一種基于ASIFT局部不變特征的離線簽名認證方法.由于ASIFT本身的尺度不變性和旋轉不變性，使得本文提出的方法不需要進行任何額外的預處理操作，除了圖像灰度化之外，可以直接在簽名的灰度圖像上進行特征提取和匹配.由于ASIFT本身的仿射不變性，使得本文提出的方法能更好地捕捉偽裝簽名和真實簽名之間的相似性，從而可以在一定程度上降低錯誤拒絕率.實驗結果證明了本文所提出方法的有效性.

References)

［1］ Liwicki M，Heuvel C E，Found B，et al.Forensic signature verification competition 4NSigComp2010-detection of simulated and disguised signatures［C］//Proceedings of the International Conference on Frontiers in Handwriting Recognition.Piscataway，NJ:IEEE，2010:715-720.

［2］ Lowe D.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91-110.

［3］ Alahi A，Ortiz R，Vandergheynst P.FREAK:fast retina keypoint［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ:IEEE，2012:510-517.

［4］ Fischler M，Bolles R.Random sample consensus:a paradigm for model fitting with aplications to image analysis and automated cartography［J］.Commun ACM，1981，24(6):381-395.

［5］ Wu X Q，Tang Y B，Bu W.Offline text-independent writer identification based on scale invariant feature transform［J］.IEEE Transactions on Information Forensics and Security，2014，9(3):526-536.

［6］ Morel J M，Yu G S.ASIFT:a new framework for fully affine invariant image comparison［J］.SIAM Journal on Imaging Sciences，2009，2(2):438-469.

［7］ Chen S Y，Srihari S.Use of exterior contours and shape features in off-line signature verification［C］//Proceedings of the International Conference on Document Analysis and Recognition.Piscataway，NJ:IEEE，2005:1280-1284.

［8］ Alekseev K V，Egorova S D.Handwritten signature verification based on code representation［J］.Pattern Recognition and Image Analysis，2007，17(4):487-492.

［9］ Fang B，Chen W S，You X G，et al.Wavelet thinning algorithm based similarity evaluation for offline signature verification［C］//Proceedings of the International Conference on Intelligent Computing.New York:Springer，2006:547-555.

［10］ Hanmandlu M，Yusof M H M，Madasu V K.Off-line signature verification and forgery detection using fuzzy modeling［J］.Pattern Recognition，2005，38(3):341-356.

［11］ Impedovo D，Pirlo G.Automatic signature verification:the state of the art［J］.IEEE Transactions on Systems，Man，and Cybernetics，Part C:Applications and Reviews，2008，38(5):609-635.

［12］ Blankers V L，Heuvel C，Franke K Y，et al.ICDAR 2009 signature verification competition［C］//Proceedings of the International Conference on Document Analysis and Recognition.Piscataway，NJ:IEEE，2009:1403-1407.

［13］ Blumenstein M，Ferrer M A，Vargas J F.The 4NSigComp2010 off-line signature verification competition:scenario 2［C］//Proceedings of the International Conference on Frontiers in Handwriting Recognition.Piscataway，NJ:IEEE，2010:721-726.

［14］ Liwicki M，Malik M I，van den Heuvel C E，et al.Signature verification competition for online and offline skilled forgeries(SigComp2011)［C］//Proceedings of the International Conference on Document Analysis and Recognition.Piscataway，NJ:IEEE，2011:1480-1484.

［15］ Liwicki M，Malik M I，Alewijnse L，et al.ICFHR 2012 competition on automatic forensic signature verification(4NsigComp 2012)［C］//Proceedings of the International Conference on Frontiers in Handwriting Recognition.Piscataway，NJ:IEEE，2012:823-828.

［16］ Malik M I，Liwicki M，Alewijnse L，et al.ICDAR 2013 competitions on signature verification and writer identification for onand offline skilled forgeries(SigWiComp 2013)［C］//Proceedings of the International Conference on Document Analysis and Recognition.Piscataway，NJ:IEEE，2013:1477-1483.

［17］ Porwik P，Para T.Some handwritten signature parameters in biometric recognition process［C］//Proceedings of the International Conference on Information Technology Interfaces.Piscataway，NJ:IEEE，2007:185-190.

［18］ Lv H R，Wang W Y，Wang C，et al.Off-line Chinese signature verification based on support vector machines［J］.Pattern Recognition Letters，2005，26(15):2390-2399.

［19］ Shridhar M，Houle G，Bakker R，et al.Real-time feature-based automatic signature verification［C］//Proceedings of the International Workshop on Frontiers in Handwriting Recognition.Piscataway，NJ:IEEE，2006.

［20］ Zuo W M，Li S F，Zeng X G.A hybrid scheme for off-line Chinese signature verification［C］//Proceedings of the IEEE Conference on Cybernetics and Intelligent Systems.Piscataway，NJ:IEEE，2004:1402-1405.

［21］ Chen G Y，Kegl B.Invariant radon-wavelet packet signatures for pattern recognition［C］//Proceedings of the Canadian Conference on Electrical and Computer Engineering.Piscataway，NJ:IEEE，2006:1471-1474.

［22］ Fasquel J B，Bruynooghe M.A hybrid opto-electronic method for fast off-line handwritten signature verification［J］.International Journal on Document Analysis and Recognition，2004，7(1):56-68.

［23］ Oliveira L，Justino E，Sabourin R.Off-line signature verification uing writer-independent approach［C］//Proceedings of the International Joint Conference on Neural Networks.Piscataway，NJ:IEEE，2007:2539-2544.

［24］ Armand S，Blumenstein M，Muthukkumarasamy V.Off-line signature verification based on the modified direction feature［C］//Proceedings of the International Conference on Pattern Recognition.Piscataway，NJ:IEEE，2006:509-512.

［25］ Vu N，Blumenstein M，Muthukkumarasamy V，et al.Off-line signature verification using enhanced modified direction features in conjunction with neural classifiers and support vector machines［C］//Proceedings of the International Conference on Document Analysis and Recognition.Piscataway，NJ:IEEE，2007:734-738.

［26］ Malik M，Liwicki M，Dengel A.Local features for forensic signature verification［C］//Proceedings of the International Conference on Image Analysis and Processing.New York:Springer，2013:103-111.

［27］ Fang B，Leung C H，Tang Y Y，et al.Off-line signature verification by the tracking of feature and stroke positions［J］.Pattern Recognition，2003，36(1):91-101.

［28］ Malik M I，Ahmed S，Liwicki M，et al.FREAK for real time forensic signature verification［C］//Proceedings of the International Conference on Document Analysis and Recognition.Piscataway，NJ:IEEE，2013:971-975.