顧陳磊 劉宇航 聶澤東 李景振 王 磊
(中國科學院深圳先進技術研究院,廣東 深圳 518055)
指紋識別技術發展現狀
顧陳磊 劉宇航 聶澤東*李景振 王 磊
(中國科學院深圳先進技術研究院,廣東 深圳 518055)
利用生物特征進行身份識別已成為目前信息安全領域的研究熱點,指紋識別技術隨著計算機圖形學技術的飛速發展已取得巨大的進步。對近20年來指紋識別技術的發展狀況進行綜述,重點介紹指紋圖像的采集、圖像的增強、特征提取及匹配、圖像的存儲與數據庫應用等指紋識別中的關鍵技術,闡述這些關鍵技術的實現原理,并分析不同技術方法的優缺點。
身份識別; 指紋識別技術; 圖像
隨著可穿戴技術的快速發展,隱私問題逐漸成為了人們主要關注的問題。由于可穿戴設備自身攜帶各種傳感器,用戶的生物信息、體征數據以及健康數據等一些個人隱私信息面臨泄露的危險。隱私保護的一個重要手段是采用身份識別技術,而身份識別是判斷一個用戶是否合法的處理過程,是用來防止攻擊者假冒合法用戶獲得資源的訪問權限,保證系統和數據的安全。
傳統的身份識別方法包括兩類:一類是通過攜帶標志物體來進行身份識別,如鑰匙、證件等;另一類則是匹配標識碼來進行身份識別,如口令、用戶名和密碼等。然而,這些方法存在一定的安全隱患,如口令、密碼容易遺忘和被攫取,鑰匙和證件也存在被盜取、偽造和丟失的可能。為彌補傳統身份識別技術的不足,生物識別技術悄然興起。
生物識別技術是一種利用人體自身的生理或行為特征來進行身份識別的技術,常見的有指紋[1-4]、面容[5-7]、虹膜[8-11]、靜脈識別等。生物識別技術具有不易遺忘、防偽性能好、不易偽造或被盜、隨身“攜帶”和隨時隨地可用等優點,比傳統的身份識別方法更具安全、保密和便捷性。據前瞻產業研究院發布的《2014—2018 年中國生物識別技術行業市場前瞻與投資戰略規劃分析報告》顯示,2013 年全球生物識別市場的規模達到 98 億美元,預計到 2020 年將增長至 250 億美元[12]。其中,指紋識別憑借其易于采集、識別準確、普遍接受度高的特性,成為目前研究深入、應用廣泛、發展較為成熟的一項技術。
指紋特性的發現可以追溯到19世紀末,Henry等的研究表明:不同手指的指紋特征不同;指紋特征保持不變,并伴隨人的一生[13]。在隨后的發展過程中,指紋的上述兩個研究結論逐步得到論證,并于19世紀末在犯罪現場正式投入使用[14]。由于早期人們只能憑借肉眼來識別指紋,所以存在時間耗費長和效率低的缺點。
自從第一臺電子計算機于1946年在美國問世以來,圖像處理技術得到了飛速發展,指紋識別技術有了質的提升,逐漸形成了如圖1所示的自動指紋識別系統(automatic fingerprint identification system,AFIS),包括指紋信息錄入和識別兩個環節。在指紋信息錄入環節:首先,指紋圖像采集,通過不同方法得到的指紋圖像在形變、模糊程度上存在差異;隨后,進行圖像增強,除去采集的指紋圖像的噪聲、重疊等干擾;最終,提取指紋圖像特征并存儲,以此作為身份識別的依據。在指紋特征識別環節:采集獲取的指紋圖像同樣需要經過增強、特征提取步驟,最后判斷所得的特征信息與錄入信息匹配是否識別。

圖1 自動指紋識別系統Fig.1 Automatic fingerprint identification system
下面將重點綜述指紋識別技術的發展現狀,其內容如下:指紋圖像采集、指紋圖像增強、指紋圖像特征提取及匹配、指紋圖像存儲與數據庫應用、總結與展望。
指紋最初的采集方式是利用油墨和紙,而在電子計算機出現之后,逐漸被光學、電容式傳感器等方式取代。近年來,超聲、3D、光學斷層、射頻等掃描技術的引入,逐步提升了指紋圖像的分辨率和質量,也將更有利于提升計算機的處理效率。
1.1 光學指紋采集技術
伴隨著電子計算機的出現,光學指紋采集技術改善了油墨方法獲取指紋的不足,對資源利用率、識別效率、指紋信息存儲以及交互的便利性有了顯著提升。由于在不同環境下精度需求的提高,光學指紋采集技術經歷了單一棱鏡光學全反射技術、光學3D技術、光學相干斷層掃描式技術的發展。
1.1.1 單一棱鏡光學全反射指紋采集技術
20世紀90年代初,隨著個人電腦的普及和光學掃描技術的出現,Fielding等在1991年提出基于單一棱鏡光學全反射方法來采集指紋圖像,其原理如圖2所示[15]。他們將10 mW的氦-氖激光作為光源,通過電荷耦合式攝像頭捕捉指紋圖片,最后利用計算機進行圖像匹配。光學指紋采集技術耐用性強,但有如下缺點:一是采集手指表面紋路信息、灰塵和油脂對掃描質量影響大,二是無法對人造指模進行辨識,三是光學掃描設備耗電量高。

圖2 棱鏡光學全反射原理[15]Fig.2 Optical prism total reflection principle[15]
1.1.2 光學3D指紋采集技術
進入21世紀,傳統光學指紋采集技術在銀行、監獄等高安全級別的環境下利用率下降。Parziale等在2005年首先提出了一種非接觸式3-D指紋采集設備,如圖3所示[16]。

圖3 環繞式成像裝置[16]Fig.3 Surround imaging device[16]
16個不同顏色的LED燈作為光源環繞在手指周圍,保證手指指紋有效部位整體均勻受光,5個攝像頭采集指紋信息(3號攝像頭用于定位指紋中心區域),利用3D重建算法在計算機中重現指紋特征。特征點信息分別用代表三維坐標的(x,y,z)、仰角 (φ)以及仰角在XY平面投影與X軸的夾角(θ)表示并儲存。結果顯示,采集的指紋圖像精度在500~700dpi(dots per inch),且綠色光對于過干/濕手指的指紋細節采集能力強。
1.1.3 光學相干斷層掃描式指紋采集技術
2010年,德國啟動OCT-Finger項目,引入光學相干斷層成像技術(optical coherence tomography,OCT),提高了指紋圖像精確度。OCT技術不僅可以掃描獲得指紋表面的紋路信息,更重要的是能夠深入表皮2~3 mm捕捉手指真皮層信息。Sousedik等對項目中OCT掃描質量進行了評估:如圖4所示,波長為(1 300±55)nm的光束掃描長、寬、高分別為(4×4×2.5)mm的空間體積,最終轉換顯示(200×200×512)體素的圖像,平均采集時間為2.24 s[17]。對于混雜有活體指紋、尸體指紋,以及利用明膠、硅樹脂、乳膠、木膠、甘油、石墨等不同材料制作的9類人造指模的指紋樣本,能夠獲得手指內、外部指紋信息。OCT技術重建一張(2×2)cm大小的圖片需占用計算機1GB的內存,因此數據庫的建立以及數據的壓縮是該項技術未來的發展方向。

圖4 指紋層模型。(a)手指分層情況;(b)初始指紋點集分布:黃色(手指外層),天空藍(手指內層);(c)平滑后的簇狀分布:紅色(手指外層),藍色(手指內層)[17]Fig.4 Fingerprint layer model. (a) Finger layer;(b) Initial set distribution: yellow (outer), azure(inner);(c) Smoothed clusters distribution: red (outer), blue (inner) [17]
1.2 電容式傳感器指紋采集技術
隨著半導體技術的進步,Tartagni等在20世紀90年代末提出了一種基于CMOS集成技術的電容式指紋采集傳感器[18],如圖5所示。這種指紋識別設備將手指作為電容的另一極板,由換流器改變輸出電壓Vo的大小,通過反饋電容變化來間接采集指紋信息,獲得指紋圖像的分辨率為390 dpi。Hashido等則引入了一種新的材料——低溫多晶硅(low-temperature poly-Si)[19]。這種物質在液晶顯示技術中尤為重要,目前被廣泛地應用于數碼設備取景器中。低溫多晶硅的優點在于:一是能夠在鈉堿玻璃基板(soda glass substrate)上制作集成電路,比用純硅晶體板作為傳感器襯底節省成本;二是提高圖像分辨率,能夠達到500dpi。

圖5 電容式傳感器指紋采集系統原理[18]Fig.5 Principle of capacitive sensor fingerprint acquisition system[18]
近年來,隨著電容式指紋傳感器制作成本的降低,基于電容式傳感器的指紋識別技術在移動設備中逐漸得到應用。
蘋果(Apple Inc.)旗下的子公司AuthenTec生產了主動按壓式指紋傳感器,在iPhone系列中得到了應用[20-24]。瑞典FPC(Fingerprint Cards AB,FPC)公司的被動觸摸式指紋識別技術,應用于華為公司Mate系列、OPPO公司N系列手機[25-27]。這兩家公司的技術(主動/被動)區別在于:是否需要按下相關按鍵進行指紋識別解鎖屏幕。
三星集團指紋傳感器供應商Validity公司(目前被Synaptics公司收購)同樣采用電容式傳感器采集指紋圖像[28-30],但為了躲避iPhone系列主動按壓式指紋識別技術的專利壁壘[20],Galaxy系列部分機型(S5等)采取滑擦式指紋采集方法[31]。
1.3 溫度傳感指紋獲取技術
Han等人設計了一種高密度微型加熱元件陣列,比較紋脊和紋谷處的溫度差異來采集指紋圖像:加熱元件釋放的熱量在紋脊處因與皮膚接觸進入人體,而由于二氧化硅襯底的隔熱效果,熱量在紋谷處得以聚集,短時間內溫度上升更快,如圖6所示[32-33]。

圖6 溫度傳感指紋采集系統原理[32]Fig.6 Principle of temperature sensing fingerprint acquisition system[32]
溫度傳感器能夠制成集成芯片,具有便攜性強、不受環境光強度干擾的優點。它的缺點是:當指紋采集失敗時,多次接觸后的手指溫度會上升,導致紋脊和紋谷處溫度差異減小,降低系統靈敏度。
1.4 超聲波指紋采集技術
1999年,Bicz等提出了一種基于超聲波的指紋圖像獲得方式[34],如圖7(a)所示。他們采用6 MHz超聲換能器,利用超聲波的反射和衍射特性來捕捉超聲信號脈沖響應,完成圖形重建,試驗中未作任何處理的指紋原圖像便能呈現出指紋主體的輪廓,如圖7(b)所示。它的優點包括:可以控制聲波頻率,圖像的分辨率有一個較大的動態范圍(high dynamic range,HDR),適用于不同場合;超聲指紋識別技術不受指紋表面的雜物影響,通過穿透死皮層來體現真皮層的指紋紋路架構,可信度更高。它的缺點在于:造價昂貴,對超聲發生設備要求高;需要準確控制聲波頻率,長時間的超聲波接觸會對人體造成傷害。

圖7 (a)超聲探頭架構;(b)超聲信號脈沖響應重建[34]Fig.7 (a)ultrasonic probe;(b)Ultrasonic signal pulse response reconstruction[34]
隨著3D成像技術的成熟,科學家們提出了一種融合了超聲技術的3D指紋采集方法。2009年,Maeva等介紹了一種超聲指紋采集裝置,分辨率為15m[35],如圖8所示。探頭采集指紋表面反射的短脈沖超聲信號,圖像分辨率約為1 000 dpi。相比光學以及基于電容式傳感器的指紋采集技術,3D超聲指紋采集技術的優點在于:手指處于自然舒張狀態,沒有因按壓導致指紋的變形。缺點在于:超聲探頭造價昂貴;3D指紋信息存儲量大,對數據庫的存儲和篩查要求高。

圖8 3D-超聲指紋掃描裝置[35]Fig.8 3D-ultrasound fingerprint scanners[35]
1.5 電磁波指紋采集技術
Chan等介紹了AuthenTec公司一款名為TruePrint的指紋掃描儀,可利用射頻信號的穿透性檢測手指真皮層的信息,原理如圖9所示[36]。射頻信號是一種高頻交流變化的電磁波,由于電導系數不同,射頻信號在手指與傳感器陣列的空隙間會形成電場,電場強弱即代表手指紋路的信息。電導系數能夠決定電磁波的傳播方向,因此使用射頻技術的優點是可以進行活體身份識別,缺點在于對與人真皮層電導系數相近的材料制成的指模分辨力會下降。

圖9 TruePrint指紋掃描儀工作原理[36]Fig.9 Working principle of the TruePrint fingerprint scanners[36]
1.6 不同指紋圖像采集技術的優缺點
指紋圖像的質量隨著采集技術的更新不斷提升,每一種方法都有其相應的優缺點。
1)光學指紋采集技術的出現,彌補了油墨方法采集指紋信息在資源利用率、識別效率、指紋信息存儲以及指紋信息交互便利性方面的不足,但存在體積過大、無法微型化的缺陷。
2)電容式傳感與溫度傳感指紋獲取技術,優點是縮小了體積,為便攜式設備集成自動指紋識別系統提供了條件,缺點在于因人體與設備直接接觸而引起誤差。
3)超聲、射頻等技術的融合,使得指紋識別技術能夠調整圖像的分辨率,順應不同場合的需求,但成本會相應提高。
指紋圖像采集方法對比如表1所示。

表1 指紋圖像采集方法

表2 指紋圖像增強
注:本表給出了指紋圖像增強的主要步驟,并對每個步驟的目的、方法及對應的優缺點進行了小結。
Note:Table 2 shows the main steps of fingerprint image enhancement and their purpose, advantages and disadvantages of different methods.
指紋圖像增強的目的在于:一是減小手指表面雜物、皮膚破損等引起的噪聲干擾;二是增強指紋脊和谷的對比度。指紋圖像增強的成功操作是后續指紋特征提取的基礎,對指紋圖像的分類、識別有著重大的影響。Jain等指出,指紋識別技術中有90%的能量消耗于圖像處理[42]。圖10列出了圖像增強的主要步驟,包括指紋圖像平滑處理、指紋圖像二值化和指紋圖像細化,每個步驟的目的、方法及對應的優缺點如表2所示。
2.1 指紋圖像平滑處理
圖像平滑處理主要用于消除來源途徑多樣的噪聲,如靜電或電流一類的外部干擾、因器材工作振動產生的內部噪聲等,噪聲產生的原因決定了噪聲和圖像有效信號間的關系。消除噪聲的方法可歸納為時域濾波和頻域濾波處理兩類。

圖10 指紋圖像算法架構Fig.10 Fingerprint image algorithm architecture


圖11 匹配濾波器濾波。(a)灰度變換后指紋圖像;(b)時域濾波+二值化后指紋圖像[44]Fig.11 Matched filter transformation. (a) Fingerprint gray image; (b) The time domain filter+ binary[44]
圖像在傅里葉空間中能較好地分辨出高頻(邊緣、噪聲等)和低頻(圖像主要信息)成分。Gabor變換在1946年由Gabor提出,Gabor小波的優點是與人類視覺系統中簡單細胞的視覺刺激響應非常類似,對于圖像的邊緣敏感度高,因此Gabor濾波器在視覺領域中經常被用作圖像的預處理[45]。近年來,不少研究人員對于傳統Gabor濾波器做了不同的調整,其中Jain等在此之上提出了一種圖像增強方法,原理如圖12所示[46]。他們利用Gabor濾波器對于局部(脊、谷)和全局(邊緣)的特性捕捉能力較強這一特征,設計了Gabor濾波器組來進行指紋圖像增強。

圖12 Gabor濾波器組工作原理[46]Fig.12 Working principle of gabor filter set[46]
Areekul等提出了一種二維離散正交Gabor小波基,設計了8方向一維濾波器,同時與Jain等的工作對比,如圖13所示[47]。實驗將FVC2000_DB2A數據庫中800幅、分辨率為500 dpi的指紋圖像作為檢測依據,在平均處理時間、特征點比對、等錯誤率三方面與傳統2D Gabor濾波器進行比較。結果顯示:在假設傳統2D Gabor濾波器對于特征點的檢測全部正確的情況下,該濾波器雖然有22.942%特征點遺漏和16.296%特征點誤識,但處理時間是傳統2D Gabor濾波器的38.15%,并且兩者等效錯誤率相差小于1%。因此,離散Gabor濾波器的突出優點在于運行速度較快。

圖13 8方向一維濾波器模板[47]Fig.13 8 direction of dimensional filter template[47]
2.2 指紋圖像二值化
指紋圖像二值化的作用是將圖像前景和背景分開,最早使用的方法是閾值法,包括全局閾值法和局部閾值法。全局閾值法適用于雙峰性好的圖像,在設定某一全局閾值T后,通過比較每一像素點或每一小塊區域內平均灰度值與T的大小,區分圖像前景和背景,簡便性強。目前,常用的全局閾值法包括平均閾值法、Otsu法(又稱大津法、最大類間差法)、邊緣算子法。平均閾值法是指紋圖像經過圖像預處理后,把計算圖像中所有像素點灰度值的平均值作為閾值T;該算法實現簡便,計算速度較快,但是忽略了整幅圖像像素點灰度值的分布情況。Otsu法在平均閾值法的基礎上,預先設定某一閾值T,將圖像分為兩部分后,通過迭代計算,將兩部分圖像間類方差達到最大時的T作為全局閾值。邊緣算子法針對圖像邊界的保留,多用于指紋圖像的斷續拼接。
Bian等利用局部閾值法,將圖像分為互不重合的小區域,在計算區域內灰度平均值和分布特性的基礎上,通過不同區域權重計算灰度閾值[48]。此方法將部分區域列為特殊區域處理,適用于突發噪聲或背景灰度值突然變化等情況,缺點在于計算量大,運算速度較全局閾值法慢,在區域間會存在灰度值不連續的情況。Fei在他的研究中提出了一種根據局部閾值進行圖像二值化的混合算法,通過比較區域方向場的方差與預設閾值的大小,將指紋圖像局部斷裂處(即方向信息較少的區域)補全,對比處理結果如圖14所示[49]。

圖14 局部閾值混合算法。(a)原圖;(b)方向場法二值圖;(c)貝葉斯法二值圖;(d)混合法二值圖[49]Fig.14 The local threshold hybrid algorithm. (a) Original image; (b) Direction field method binary figure; (c) Bayesian method binary figure; (d) Hybrid method binary map
2.3 指紋圖像細化
完成圖像二值化后,指紋圖像細化的目的是為獲得清晰的單像素寬骨架結構。目前,常用的細化算法可依據是否使用迭代運算分為兩類:非迭代算法通過一次刪除即產生骨架,如基于距離變換、游程長度編碼細化等方法;迭代算法即重復篩選滿足條件的像素點并刪除,最終得到單像素寬骨架。迭代算法依據掃描原理可再分為串行算法和并行算法。在串行算法中,每次迭代的執行中需固定順序刪除像素點,它不僅取決于前次迭代的結果,也取決于本次迭代中已處理過像素點的分布情況;在并行算法中,則僅取決于前次迭代的結果進行像素點刪除。
對未進行細化處理的原圖進行特征提取,紋脊寬度過大會造成特征點的定位失誤。因此,在2003年,Vijayaprasad等提出了一種模糊算法限定圖像有價值區域,為特征提取、邊緣檢測提供保障,如圖15所示[50]。

圖15 模糊算法處理。(a)原圖;(b)結果[50]Fig.15 Fuzzy algorithm.(a) Original image; (b) Result[50]
根據圖像具有旋轉不變性這一特征,Ahmed等提出了一組細化模板,通過匹配像素點鄰域內像素分布達到細化的效果[51]。3年后,Patil等對此細化算法進行了改進,引入對角線法提高了細化的效果[52]。Patil等對比Hilditch算法和Ahmed所提出的算法,結果顯示:前者的缺點在于細化后紋線不居中,以及端點位置改變;后者的缺點則是對圖像噪聲濾除不徹底,產生多個孤立點。Patil等改進了算法,在45°、135°位置的細化效果提高,對比結果如圖16所示。

圖16 細化算法對比。(a)原圖;(b)Hilditch細化算法;(c) Ahmed等的細化算法[51];(d)Patil等的細化算法[52]Fig.16 Thinning algorithm comparison chart. (a) The original image; (b) Hilditch algorithm;(c) Ahmed′s algorithm[51];(d) Patil′s algorithm[52]
隨著計算機圖形處理技術的發展,選取不同的方向場信息和特征點類型等條件,將會導致指紋匹配結果差異變化。下面針對近年來指紋識別技術所使用的不同特征提取及匹配方法進行介紹。
3.1 方向場提取與匹配
指紋采集設備精確度和靈敏度的差異,會造成指紋圖像殘缺、連接不全。方向場信息清晰地給出了指紋圖像的紋脊和紋谷區域,是圖像定向連接以及分類匹配的依據。Soifer在1996年總結提出了一種利用不同梯度方向比例來進行指紋匹配的方法[53]。類似的工作在文獻[54-56]中也進行了介紹。
基于像素點的梯度方向場計算受指紋圖像噪聲影響較大,因而基于像素塊計算局部方向場的方法使用較多[57-59]。Bazen將兩者對比,指出了在圖像塊區域內點梯度方向直接加權平均會使相反方向場抵消誤差,因此在Kass加倍方向角的基礎上[42],需要進一步將梯度向量長度計算平方,處理結果如圖17所示[55]。該方法優點是能夠獲得高對比度的指紋方向場,缺點在于計算像素點角度和梯度向量長度信息會使計算量的增加,時間增長。

圖17 局部指紋方向場。(a)原圖;(b)方向場[55]Fig.17 Local fingerprint direction field. (a) Original image;(b) Direction of the field[55]
有研究利用匹配濾波器(matched-filter)提取指紋方向場信息:一是根據濾波器和信號的相頻特性,使信號不同頻率成分在濾波后同相疊加輸出;二是根據信號的幅頻特性,實現指紋點或塊方向場的提取和自動分類等功能[60]。在此基礎之上,Cai等人引入斐波那契數列作為濾波器參數選擇,減少環境帶來的影響[61]。近年來,不少研究進行頻域濾波處理時,利用Radon變換[62]、haar小波[63]等函數來捕捉圖像方向細節信息。
此外,方向場所占比例可以作為圖像匹配的依據。Maio等將感興趣區域內各像素點方向場統計所占比例作為依據,處理環節如圖18所示[64]。

圖18 依據方向場信息的指紋匹配[64] Fig.18 Fingerprint matching based on the direction information[64]
3.2 特征點提取與匹配
Jain等最早在1996年提出了拱形、帳弓形、左環形、右環形、螺紋形這五大指紋紋型,延用至今。而基于指紋圖像方向提取的積累,Cappelli等對指紋紋型進行了擴充,如圖19所示[54]。

圖19 指紋分類。(a)純拱形;(b)帳拱門;(c)徑向循環;(d)尺骨循環;(e)普通螺紋;(f)中部口袋形;(g)雙重循環形;(h)螺紋形[54]Fig.19 Fingerprint classification figure. (a) Plain arch; (b) Tented arch; (c) Radial loop; (d)Ulna loop; (e) Plain whorl;(f) Central pocket; (g)Double loop; (h)Accidental whorl[54]
但是,指紋紋型缺少一種國際化的標準。為了保證AFIS的可靠性和效率,基于圖像特征點的指紋匹配方法被提出。美國聯邦調查局在1984年提出了18種指紋特征點類別,而為AFIS特征提取及匹配所用的僅局限于兩種基本特征點:分叉點和節點,如圖20所示。

圖20 指紋基本特征點。(a)分叉點;(b)節點Fig.20 Fingerprint basic feature points. (a) Bifurcation point; (b) Node
結合Jain等在指紋圖像預處理方面的研究成果[46],Ratha利用16×16濾波算子提取方向場,通過兩類特征點間紋線密度來進行區域特征提取及匹配[65]。該方法將單一的點方向場信息互相結合,引入了區域特征進行圖像匹配。到了21世紀,Ren等在研究區域特征的基礎之上,提出了一種通過特征簇內及簇間特征距離、方向信息進行圖像匹配的方法[66]。該方法利用區域特征匹配的優勢,對于孤立的噪聲點具有很好的濾除效果。
Palmer等在分叉點和端點這兩種特征基礎之上,補充定義了5種新的特征模型,如圖21所示[67]。他們利用3×3的濾波算子對預處理后的指紋骨架進行特征點提取,利用式(1)以及表3篩選。該方法的優點是通過閾值篩選可以查看特征點分布區域,去除偽特征點,進一步提取有效特征點。

圖21 指紋特征模型補充[67]Fig.21 The fingerprint characteristic model[67]
(1)
式中,CN為特征值;Pi為3×3鄰域內第i點灰度值。

表3 計算結果與特征點對應類型[67]
此外,Mistry等將參考點和特征點間的旋轉不變性[68]以及德洛內三角組結構[69]作為依據,為有
殘缺部分的指紋識別提供了一種方法,結構單元如圖22(b)所示[70]。

圖22 (a)鄰域內特征點;(b)德洛內三角結構特征[68-70]Fig.22 (a)Feature points connection in the neighborhood; (b)Triangle structure characteristics of the Delaunay[68-70]
圖像特征提取能夠利用形態學的方法,在二值圖的基礎上利用開運算去除隨機噪聲,利用閉運算對邊界像素點刪除,提取骨架[71-74]。Kaur等最后通過大量實驗對匹配結果進行評估,最終獲得平均認假率為0%、平均拒真率低于7%的結果[71]。形態學方法的引入,提高了對二值圖的處理效率,在選擇不同領域模板上具有很強的靈活性。表4為主要的指紋圖像匹配方法。

表4 指紋圖像匹配方法
注:給出了主要的指紋圖像匹配方法,并對每種方法核心技術及優缺點進行了對比小結。
Note:Shows the methods of fingerprint image matching and their key, advantages and disadvantages.
研究發現,高質量的指紋圖像包含了70~80個特征點[65],因此數據庫的建立與查找在效率提高方面尤為重要。Sankaran等構建了包括油墨影印(NIST SD系列等)、傳感器掃描(FVC系列等)、攝像頭捕捉和仿真指模在內的分類數據庫[75],擁有近20 000樣本供算法檢測。

圖23 特征點柱形存儲單元[76]Fig.23 Cylindrical storage unit of feature points[76]
Gutierrez等提出了一種特征點柱形存儲單元,如圖23所示,將特征點位置及方向(角度)信息分別轉化存儲于Ns、Nd中[76]。通過提取不同特征點的數量(8或16[77]),在指紋庫中隨機選擇1 000~100 000個樣本進行實驗,結果顯示等錯誤率在0.62%。此設計方法為大規模指紋庫提供了一種檢索選擇,但針對同一個人指紋由不同方法獲得的結果并未列入考慮范圍。
針對近年來快速發展的3D指紋識別技術,卻并未有大型公開的3D指紋庫供識別算法進行檢測和平行對比。Zhou等使用北美TBS公司生產的3D指紋儀來捕捉3 000幅3D指紋圖像,相同手指作為對比而言的2D指紋圖像則是通過接觸式驗證器(CROSSMATCH Verifier 300 LC 2.0)獲得。實驗結果顯示,該數據庫的2D指紋、3D指紋以及2D/3D相互間匹配等錯誤率在0.06%、0.49%以及5.65%[78]。雖然實驗結合了同一個人由兩種不同方式采集而得的指紋,但2D與3D圖像存在不同采集設備間兼容識別的問題,識別率較低。
當前,指紋數據庫缺乏統一的存儲標準,因此不少研究者選擇使用原始指紋圖像數據庫進行相關研究。在未來,包括2D/3D、平面/立體、斷層指紋圖像在內的不同數據庫融合,會進一步促進匹配算法驗證的魯棒性提升。
在本文中,對指紋識別技術的發展現狀進行了綜述,重點闡述了在自動指紋識別系統中,指紋圖像的采集、圖像增強、特征提取及匹配、圖像的存儲與數據庫應用的技術現狀。隨著信息技術的不斷發展,新型指紋圖像采集技術和傳感器不斷涌現,用來滿足在刑偵、司法鑒定等特殊環境下的應用,而圖像增強、特征提取與匹配算法則側重于加強其魯棒性,提高對殘缺指紋的識別率等。此外,可以預見,指紋識別技術將深入進行以下方面的研究,指紋識別的應用場合將不斷增加,指紋識別將具有廣闊的市場前景。
5.1 活體識別
由于指紋容易偽造,其被盜用的概率不可忽視,指紋識別設備對于活體識別的需求將顯著提升。日前,國內外研究機構和公司都已開始涉足指紋活體識別技術,并取得了一定進展[79-80]。另外,指紋的汗孔特征也被證明可作為活體識別的判斷依據[81-82]。可見,活體識別功能將會是指紋識別技術未來發展的重點之一。
5.2 多重特征融合的識別技術
目前在中國,指紋識別技術占據了生物識別市場90%以上的份額,但因其易獲得性,造成指紋被盜用、特殊狀態指紋(如手指潮濕、受傷破損等)的識別問題屢見不鮮,指紋識別技術在應用過程中的安全性與可靠性仍有待提高[83]。因此,結合其他生物特征(如聲紋、虹膜、視網膜血管網絡、面部特征、靜脈網絡等),克服單一生物識別技術的不足,推動生物識別技術的多元化交錯發展,將會是指紋識別技術未來的一個重點研究方向。
5.3 可穿戴式產品運用
隨著可穿戴式設備與物聯網的持續升溫,可穿戴式計算具有廣闊的應用和產業前景,并有望成為全球下一個經濟增長點[84]。目前,諸如帶有指紋解鎖功能的移動支付手環[85]、汽車指紋鎖[39]等穿戴式產品的出現,以及結合基于人體通信的可穿戴式身份識別技術的研究等[86],表明指紋識別技術在可穿戴式設備的應用將更為廣泛。
5.4 人工智能結合
除了提升自身安全系數之外,指紋識別技術將會在其他領域進一步凸顯其實用性。在2016年世界人工智能大會以及2016年世界機器人大會上,人工智能產業被預估在2018年將達到千億級應用規模[87]。其中,以指紋識別技術為首的生物識別技術在數據采集方面被視為至關重要的一環,將會引發人工智能產業爆發的前哨戰。
[1] Fernandez-Saavedra B, Sanchez-Reillo R, Ros-Gomez R, et al. Small fingerprint scanners used in mobile devices: The impact on biometric performance [J]. IET Biometrics, 2016, 5: 28-36.
[2] Makrushin A, Scheidat T, Vielhauer C. Capturing latent fingerprints from metallic painted surfaces using UV-VIS spectroscope [C] //Media Watermarking, Security, and Forensics 2015. Bellingham: SPIE Press, 2015: 94090B-94090B-12.
[3] Auksorius E, Boccara AC. Fingerprint imaging from the inside of a finger with full-field optical coherence tomography [J]. Biomedical Optics Express, 2015, 6(11): 4465-4471.
[4] Sankaran A, Vatsa M, Singh R. Latent fingerprint matching: A survey [J]. IEEE Access, 2014, 2(2): 982-1004.
[5] Palermo R, Rossion B, Rhodes G, et al. Do people have insight into their face recognition abilities? [J]. Quarterly Journal of Experimental Psychology, 2017, 70: 218-233.
[6] Oh SK, Yoo SH, Pedrycz W. A comparative study of feature extraction methods and their application to P-RBF NNs in face recognition problem [J]. Fuzzy Sets and Systems, 2016, 305: 131-148.
[7] Luo Lei, Chen Liang, Yang Jian, et al. Tree-structured nuclear norm approximation with applications to robust face recognition [J]. IEEE Trans Image Processing, 2016, 25: 5757-5767.
[8] Raja KB, Raghavendra R, Vemuri VK, et al. Smartphone based visible iris recognition using deep sparse filtering [J]. Pattern Recognition Letters, 2015, 57: 33-42.
[9] Barra S, Casanova A, Narducci F, et al. Ubiquitous iris recognition by means of mobile devices [J]. Pattern Recognition Letters, 2015, 57: 66-73.
[10] Liu Nianfei, Zhang Man, Li Haiqing, et al. DeepIris: Learning pairwise filter bank for heterogeneous iris verification [J]. Pattern Recognition Letters, 2016, 82: 154-161.
[11] Karakaya M. A study of how gaze angle affects the performance of iris recognition [J]. Pattern Recognition Letters, 2016, 82: 132-143.
[12] 吳小燕, 李玲, 鄧莎,等. 2014—2018 年中國生物識別技術行業市場前瞻與投資戰略規劃分析報告 [R]. 北京:前瞻產生研究院,2016.
[13] Henry F. On the skin-furrows of the hand [J]. Nature, 1880, 22: 605.
[14] 趙向欣. 中華指紋學 [M]. 北京: 群眾出版社, 1997.
[15] Fielding KH, Horner JL, Makekau CK. Optical fingerprint identification by binary joint transform correlation [J]. Optical Engineering, 1991, 30: 1958-1961.
[16] Parziale G, Diaz-Santana E, Hauke R. The Surround ImagerTM: A multi-camera touchless device to acquire 3D rolled-equivalent fingerprints [C] //Advances in Biometrics. Secaucus: Springer-Verlag, 2006: 244-250.
[17] Sousedik C, Busch C. Quality of fingerprint scans captured using Optical Coherence Tomography [C] //IEEE International Joint Conference on Biometrics(2014). Clearwater: IEEE, 2014: 1-8.
[18] Tartagni M, Guerrieri R. A 390 dpi live fingerprint imager based on feedback capacitive sensing scheme [C] //1997 IEEE International Solid-State Circuits Conference. San Francisco: IEEE, 1997: 200-201.
[19] Hashido R, Suzuki A, Iwata A, et al. A capacitive fingerprint sensor chip using low-temperature poly-Si TFTs on a glass substrate and a novel and unique sensing method [J]. IEEE Journal of Solid-State Circuits. 2003, 38: 274-280.
[20] Setlak, Dale R. Finger biometric sensor with sensor electronics distributed over thin film and monocrystalline substrates and related methods [P]. US: US07616786B2, 2009-11-10.
[21] 豪泰靈 SP,布薩特 JM,萊昂 BB. 電容式感測陣列調制: CN103376970B [P]. 2017-03-01.
[22] 豪泰靈 SP,布薩特 JM,萊昂 BB. 電子設備: CN203480479U[P]. 2014-03-12.
[23] 波普 BJ, 阿諾德 S,科爾勒特 BJ,等. 電容傳感器封裝: CN103425965A[P]. 2013-12-04.
[24] 波普 BJ, 阿諾德 S,科爾勒特 BJ,等. 用于指紋識別感測的裝置、電子設備及移動設備:CN203535651U[P]. 2014-04-09.
[25] Riedijk FR, Hammersberg J. Fingerprint Sensor Element [P]. PCT: WO2005/124659, 2005-12-29.
[26] Thoenblom H, Riedijk FR. Fingerprint sensing system and method [P]. PCT: WO2015/005855Al, 2015-01-15.
[27] Riedijk, Robert F. Capacitive Fingerprint Sensor With Improved Sensing Element [P]. PCT: WO/2015/147727, 2015-10-01.
[28] Bulea M, Solven D, Reynolds JK, et al. Single layer capacitive imaging sensors [P]. US: US2013/0181943A1, 2013-07-18.
[29] George BF, Joseph GD, Pallavi S. Method and apparatus for two-dimensional finger motion tracking and control [P]. US: US08358815B2, 2013-01-22.
[30] Dean GL, Erhart RA, Jandu J, et al. Integrated Fingerprint Sensor And Navigation Device [P]. US: US20150153923A1, 2015-06-04.
[31] 藍色. 形形色色的指紋解鎖 [J]. 個人電腦, 2016(6): 74-79.
[32] Han J, Kadowaki T, Sato K, et al. Fabrication of thermal-isolation structure for microheater elements applicable to fingerprint sensors [J]. Sensors and Actuators A: Physical, 2002, 100: 114-122.
[33] Han J, Tan Z, Sato K, et al. Thermal characterization of micro heater arrays on a polyimide film substrate for fingerprint sensing applications [J]. Journal of Micromechanics and Microengineering, 2004, 15: 282-289.
[34] Bicz W. Ultrasonic sensor for fingerprints recognition [C] //Optoelectronic and Electronic Sensors. Orlando: SPIE Press, 1995: 104-111.
[35] Maeva A, Severin F. High resolution ultrasonic method for 3D fingerprint recognizable characteristics in biometrics identification [C]//2009 IEEE International Ultrasonics Symposium. Roma: IEEE, 2009: 2260-2263.
[36] AuthenTec, Inc.(Melbourne,FL). Touch Based Data Communication Using Biometric Finger Sensor And Associated Methods [P]. US:US2010/0321159A1, 2010-12-23.
[37] 倪蘇平, 陳偉元. 光學指紋采集儀: CN1246801A [P]. 2004-11-03.
[38] 李喆. 華為旗艦新機P9國內發布 攜手徠卡共創手機攝影新高度 [J]. 個人電腦, 2016, 22(5):8-8.
[39] 丁衛星, 劉君, 周春陽. 汽車指紋加密遙控器: CN101436342A [P]. 2009-05-20.
[40] 錢玉娟. 小米發無孔式超聲波指紋手機 兩年磨一劍 [J]. 中國經濟信息, 2016(2): 11-11.
[41] 黃芬. 小米發布5s超聲波指紋識別手機 [J]. 互聯網天地, 2016(10):64-64.
[42] Kass M, Witkin A. Analyzing Oriented Patterns [J]. Computer Vision, Graphics, and Image Processing, 1987, 37: 362-385.
[43] Mehtre BM, Chatterjee B. Segmentation of Fingerprint Images A Composite Method [J]. Pattern Recognition, 1989, 22: 381-385.
[44] O'Gorman L, Nickerson JV. Matched filter design for fingerprint image enhancement [C]//ICASSP-88, International Conference on Acoustics, Speech, and Signal Processing. New York: IEEE, 1988: 916-919.
[45] Gabor D. Theory of communication [J]. Electrical Engineers, 1947, 94: 58-58.
[46] Jain AK, Prabhakar S, Hong L, et al. Filterbank-based fingerprint matching [J]. IEEE Trans Image Processing, 2000, 9: 846-859.
[47] Areekul V, Watchareeruetai U, Tantaratana S. Fast separable Gabor filter for fingerprint enhancement [C] //Biometric Authentication. Hong Kong: Springer-verlag, 2004: 403-409.
[48] Bian Weixin, Xu Deqin. Application of Snake model in fingerprint segmentation [J]. Computer Engineering and Application, 2011, 47: 205-207.
[49] Fei Zhigen, Guo Junjie. A new hybrid image segmentation method for fingerprint identification [C] //2011 IEEE International Conference on Computer Science and Automation Engineering (CSAE 2011). Miami: IEEE, 2011: 382-386.
[50] Vijayaprasad P, Abdalla AGE. Applying neuro-fuzzy technique to the enhanced fingerprint image [C] //The 9th Asia-Pacific Conference on Communications. Piscataway: IEEE, 2003: 551-555.
[51] Ahmed M, Ward R. A rotation invariant rule-based thinning algorithm for character recognition [J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2002, 24: 1672-1678.
[52] Patil PM, Suralkar SR, Sheikh FB. Rotation invariant thinning algorithm to detect ridge bifurcations for fingerprint identification [C] //17th IEEE International Conference on Tools with Artificial Intelligence. Hong Kong: IEEE, 2005: 641.
[53] Soifer VA, Kotlyar VV, Khonina SN, et al. Fingerprint identification using the directions field [C] //Proceedings of the 1996 International Conference on Pattern Recognition. Vienna: IEEE, 1996: 586-590.
[54] Cappelli R, Lumini A, Maio D, et al. Fingerprint classification by directional image partitioning [J]. IEEE Trans Pattern Analysis and Machine Intelligence, 1999, 21: 402-421.
[55] Bazen AM, Gerez SH. Systematic methods for the computation of the directional fields and singular points of fingerprints [J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2002, 24: 905-919.
[56] Zhang Liang. Extraction of direction features in fingerprint image [J]. Experimental and Applied Mechanics, 2014, 518: 316-319.
[57] Woo KL, Jae HC. Automatic real-time identification of fingerprint images using wavelets and gradient of Gaussian [C] //IEEE Asia Pacific Conference on Circuits and Systems. Piscataway: IEEE, 1997: 917-920.
[58] Vaidehi V, Naresh BNT, Ponsamuel MA, et al. Fingerprint identification using cross correlation of field orientation[C]//The 2nd International Conference on Advanced Computing (ICoAC). Miami: Curran Associates, Inc, 2010: 66-69.
[59] Wang Yi, Hu Jiankun. Global Ridge Orientation Modeling for Partial Fingerprint Identification [J]. Pattern Analysis and Machine Intelligence, 2011, 33: 72-87.
[60] Karu K, Jain AK. Fingerprint classification [J]. Pattern Recognition, 1996, 29: 389-404.
[61] Cai Xiumei, Fan Jiulun, Gao Xinbo. Directional filter masks for fingerprint enhancement ased on fibonacci sequences [J]. Pattern Recognition and Artificial Intelligence. 2011, 24: 360-367.
[62] Deng Zhenghong, Ding Youjun. The Algorithm of Fingerprint Enhancement Base on Dynamic Direction [J]. Microelectronics & Computer, 2005, 22: 70-72,76.
[63] Abu-Bakar SAR. Fingerprint matching based on directional image constructed using expanded Haar wavelet transform [C] //International Conference on Computer Graphics, Imaging and Visualization. Aachen: IEEE, 2004: 149-152.
[64] Maio D, Maltoni D. A structural approach to fingerprint classification [C] //International Conference on Pattern Recognition. Vienna: IEEE, 1996: 578-585.
[65] Ratha NK, Karu K, Shaoyun C, et al. A real-time matching system for large fingerprint databases [J]. IEEE Trans Pattern Analysis and Machine Intelligence, 1996, 18: 799-813.
[66] Ren Qun, Tian Jie, He Yuliang, et al. Automatic fingerprint identification using cluster algorithm [C] //16th International Conference on Pattern Recognition. Quebec: IEEE, 2002: 398-401.
[67] Palmer LR, Al-Tarawneh MS, Dlay SS, et al. Efficient fingerprint feature extraction: Algorithm and performance evaluation [C] //The 6th International Symposium on Communication Systems, Networks and Digital Signal Processing. Miam: Curran Associates, Inc., 2008: 581-584.
[68] Mital DP, Teoh EK. An automated matching technique for fingerprint identification [C] //The 6th International Conference on Emerging Technologies and Factory Automation. New Jersey: IEEE, 1996: 87-92.
[69] Bebis G, Deaconu T, Georgiopoulos M. Fingerprint identification using Delaunay triangulation [C] //International Conference on Information Intelligence and Systems. Rockville: IEEE, 1999: 452-459.
[70] Mistry PI, Paunwala CN. Fusion fingerprint minutiae matching system for personal identification [C] //The 4th International Conference on Computing, Communications and Networking Technologies. Miami: Curran Associates Inc, 2013: 1-6.
[71] Kaur R, Sandhu PS, Kamra A. A novel method for fingerprint feature extraction [C] //2010 International Conference on Networking and Information Technology. Miami: Curran Associates Inc, 2010: 1-5.
[72] Fahmy MF, Thabet MA. A Fingerprint Segmentation Technique Based on Morphological Processing [C] //IEEE International Symposium on Signal Processing and Information Technology.. Athens: IEEE, 2013: 215-220.
[73] Das D, Mukhopadhyay S. Fingerprint Image Segmentation Using Block-Based Statistics and Morphological Filtering [J]. Arabian Journal for Science and Engineering, 2015, 40: 3161-3171.
[74] Singh P, Kaur L. Fingerprint feature extraction using morphological operations [C] //2015 International Conference on Advances in Computer Engineering and Applications. Athens: IEEE, 2015: 764-767.
[75] Sankaran A, Vatsa M, Singh R. Multisensor optical and latent fingerprint database [J]. IEEE Access, 2015, 3: 653-665.
[76] Gutierrez PD, Lastra M, Herrera F, et al. A High performance fingerprint matching system for large databases based on GPU [J]. IEEE Trans Information Forensics and Security, 2014, 9: 62-71.
[77] Cappelli R, Ferrara M, Maltoni D. Minutia Cylinder-Code: A new representation and matching technique for fingerprint recognition [J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2010, 32: 2128-2141.
[78] Zhou Wei, Hu Jiankun, Wang Song, et al. Performance evaluation of large 3D fingerprint databases [J]. Electronics Letters, 2014, 50: 1060-1061.
[79] 侯侶, 張勝斌. 生物檢測裝置: CN205302331U[P]. 2016-01-14.
[80] 鐘志鑫, 王信亮, 余旖,等. 指紋識別方法、裝置和終端: CN106104574A[P]. 2016-11-09.
[81] Park DH, Park BJ, Kim JM. Hydrochromic approaches to mapping human sweat pores [J]. Accounts of Chemical Research, 2016, 49: 1211-1222.
[82] Pyo M, Lee J, Baek W, et al. Sweat Pore Mapping Using Hydrophilic Polymer Films [J]. Journal of Nanoscience and Nanotechnology, 2016, 16: 12263-12267.
[83] 毛巨勇. 生物識別技術的發展與現狀 [J]. 中國安防, 2010 (8): 36-39.
[84] Nie Zedong, Liu Yuhang, Duan Changjiang, et al. Wearable biometric authentication based on human body communication [C] //2015 IEEE 12th International Conference on Wearable and Implantable Body Sensor Networks (BSN). Cambridge: Curran Associates Inc, 2015: 1-5.
[85] 楊鐵黨, 徐雄偉, 張亦農,等. 線下移動支付方法及用于該方法的可穿戴式移動支付裝置: CN105225102A[P]. 2016-01-06.
[86] Xia Meng, Ma Jingjing, Li Jingzhen, et al. Gradient and SVM based biometric identification using human body communication [C] //IEEE International Conference of Online Analysis and Computing Science (ICOACS). Chongqing:IEEE.2016:61-65.
[87] 王榮. 生物識別技術推動人工智能產業發展 [N]. 中國證券報, 2016-10-19.
A Review of Fingerprint Recognition Technology
Gu Chenlei Liu Yuhang Nie Zedong*Li Jingzhen Wang Lei
(ShenzhenInstitutesofAdvancedTechnology,ChineseAcademyofSciences,Shenzhen518055,Guangdong,China)
Biometric verification has been drawing widespread attention in information security. Fingerprint recognition has been improved by the rapid development of computer graphics technology in the past years. In this paper, the review of fingerprint recognition technology in recent 20 years was conducted, the key technologies of fingerprint recognition, such as fingerprint image acquisition, image enhancement, feature extraction and matching, and data storage were introduced and summarized, the advantages and disadvantages of aforementioned technologies were concluded.
biometric verification;fingerprint recognition; image
10.3969/j.issn.0258-8021. 2017. 04.012
2016-10-08, 錄用日期:2017-02-25
國家自然科學基金(61403366,u1505251); 廣東省省級科技計劃項目(2015A020214018); 深圳市技術開發項目(CXZZ20150505093829778)
R318
A
0258-8021(2017) 04-0470-013
*通信作者(Corresponding author),E-mail: zd.nie@siat.ac.cn