結合濾波和深度玻爾茲曼機重構的指紋增強*

卞維新, 丁世飛, 張 楠, 張 健, 趙星宇

1(中國礦業大學 計算機科學與技術學院,江蘇 徐州 221116)

2(中國科學院 計算技術研究所 智能信息處理重點實驗室,北京 100190)

3(安徽師范大學 計算機與信息學院,安徽 蕪湖 241002)

生物特征識別技術是當前信息科學技術領域的研究熱點之一.《2016-2021年中國生物識別技術行業市場前瞻與投資戰略規劃分析報告》顯示,2013年全球生物識別市場的規模達到98億美元,預計到2020年將增長至 250億美元.在眾多生物特征識別技術中,指紋因其終身不變性、唯一性和易接受性成為應用最為廣泛的個人身份識別技術[1].自動指紋識別系統的研究主要集中在3個方面：圖像增強、指紋分類和細節點匹配[2-4].大多數自動指紋識別系統是基于點模式匹配進行識別[5-7]的,準確可靠的細節點提取很大程度上依賴于輸入指紋圖像的質量[8].指紋識別系統采集到的指紋圖像由于各種原因存在著不同的質量缺陷,因此,在特征提取之前對指紋圖像進行增強是十分必要的.

指紋圖像質量能夠通過各種指紋增強方法[5,9-17]進行改善.O'Gorman等人[9]提出并設計了一種上下文濾波器來完成對指紋圖像的增強,該濾波器具有方向性,它對指紋脊線方向的紋線進行增強,同時在梯度方向上提高紋理的對比度.Hong等人[5]則提出了一種應用方向Gabor濾波器對指紋進行濾波增強的方法,該方法在指紋增強領域獲得了廣泛關注.傳統Gabor濾波器對參數非常敏感,對輸入指紋圖像的質量要求較高.Yang等人[10]提出一種Gabor濾波器自適應參數選擇方案,可以更準確地增強指紋的模式結構.Gottschlich[11]則引入曲Gabor濾波器來增強指紋的高曲率區域,該方法在很大程度上依賴于脊線方向和頻率等參數.Bartuněk等人[13]構建了一種多模塊和自適應參數選擇的上下文濾波增強方法,濾波器參數可根據輸入指紋自動調整.文獻[14]討論了在頻率域中基于重疊窗口頻譜及圖像質量分析,結合噪聲抑制、高斯帶通濾波器和高斯方向窗實現了指紋增強.該方法把指紋脊線信息作為輔助參數,能準確地完成指紋增強,具有一定的優越性.卞維新等人[15]結合頻譜擴散在頻域實現了指紋增強,該方法對指紋的脊線方向和頻率等參數依賴較弱.現有指紋增強方法對高質量指紋圖像能夠得到理想的增強結果,也能夠對某些含有特定大噪聲的低質量指紋有效增強,但不具有普適性,對含不同大噪聲的低質量指紋增強結果大相徑庭.

2006年,Hinton首次提出了深度學習(deep learning)的概念[18],掀起了深度學習的研究熱潮.許多學者在近10年來一直致力于深度學習理論及其在各個領域的應用研究,取得了豐碩的成果[19-22].得益于深度學習在圖像處理領域的突出表現,基于深度學習的指紋識別方法在近年來越來越受到人們的重視,剛剛處于起步階段[23-25].

以受限玻爾茲曼機(restricted Boltzmann machine,簡稱RBM)[26]為基石的深度玻爾茲曼機(deep Boltzmann machine,簡稱DBM)是一種無向圖模型,它使用 RBM預訓練逐層確定初值,然后再對整個模型的權值進行微調來完成[20].深度玻爾茲曼機不僅表現出良好的分類能力,而且展現了強大的圖像重構能力.DBM 在重構圖像時計算成本較高,直接用于指紋圖像重構并不合適.而傳統的指紋增強算法對大噪聲指紋增強雖不具有普適性,但對指紋圖像高質量和小噪聲區域的增強是有保證的.因此,對指紋圖像首先使用傳統算法進行預增強,再對預增強指紋中的少數噪聲區域執行DBM重構,減少重構計算成本是不錯的選擇.考慮到DBM可以很方便地對二值圖像重構,而指紋又可以通過傳統頻域增強算法直接增強得到二值指紋,因此,本文受 DBM 在圖像重構方面的出色表現所激勵,提出一種結合方向高斯帶通濾波(orientation Gaussian bandpass filtering,簡稱OGBPF)和深度玻爾茲曼機重構的指紋增強方法.

本文第 1節對本文涉及的一些相關工作進行具體闡述.第 2節詳細介紹指紋圖像塊質量評價標準,給出方向高斯帶通濾波器的設計方法以及指紋頻域濾波增強過程.第 3節詳述應用具有方向選擇性的深度玻爾茲曼機對濾波增強的二值指紋圖像進行重構的方法.第4節基于公開的指紋數據庫FVC2004對提出算法的性能進行測試.實驗結果表明：該方法能夠彌補傳統指紋增強算法的缺陷,高質量的增強指紋圖像.

1 相關工作

1.1 指紋塊方向估計

指紋脊線具有顯著的方向模式.除了少數奇異點區域,在局部區域內,指紋脊線方向具有一致性.已有大量研究人員對指紋塊方向估計進行了研究[27-29],其中,基于點梯度矢量集線性投影(linear projection analysis,簡稱LPA)[29]是近年提出的較為可靠的指紋塊方向估計算法.

令大小為W×W的指紋塊內所有點的梯度向量為Vj(j=1,…,W×W),U是塊內點梯度方向的最佳投影方向,則Vj沿著U的投影為

令λ是Vs的特征值,u是對應的特征向量,則有：

塊梯度最佳投影方向為

由于指紋脊線方向和梯度方向是正交的,因此塊脊線方向為

1.2 受限玻爾茲曼機

2 指紋方向高斯帶通濾波增強

2.1 指紋圖像塊質量評價

本文提出的指紋濾波增強是在指紋塊質量分級機制下進行的,具有較高質量的指紋塊將先于質量較低的塊被增強.因此,指紋塊質量評價的結果是非常重要的.值得注意的是：這里我們只要保證高質量塊的評價結果是可靠的就可以了,允許將一部分高質量塊誤判為低質量塊,提出的塊質量評價準則有一定的容錯能力.

本文首先采用塊點方向一致性估計的方法對塊質量進行估計,將指紋塊質量分為 4類,即高、中、低和差.為了對指紋塊質量進行評價,指紋圖像被劃分為重疊的R×C塊,定義Qb(i,j)(i=1,2,…,R;j=1,2,…,C)是第(i,j)塊的質量類別,依據第1.1節,塊點方向一致性參數可定義為

當塊內所有點方向相同時,λ2=0,Coh的值為1;當塊內所有點方向均勻分布時,λ1=λ2,Coh的值為0;其他情況下,Coh的值介于0和1之間.依據Coh的值,Qb(i,j)可取值為

Qb(i,j)的值1,2,3,4分別對應指紋塊的質量為高、中、低和差.該評價方法能夠保證不會誤分低質量塊為高質量塊,但往往會將高質量塊誤分為低質量塊.事實上,被誤分的高質量塊的灰度方差應該比低質量指紋塊的大,因此我們依據誤分塊的灰度方差對誤分塊進行篩選,以盡量避免誤分.誤分塊的方差可由下式計算：

其中,Varp為塊方差.則所有非高質量塊的方差均值為

其中,Count為非高質量塊的個數.依據下式對所有非高質量的塊進行篩選：

2.2 頻域參數估計

指紋脊線和谷線交替出現,在局部區域具有穩定的結構,非常適合進行頻率域分析[14,15].指紋塊傅里葉變換定義為

其中,Ib(i,j)為待處理的指紋圖像塊,u=0,1,…,W-1,v=0,1,…,W-1,Fb(i,j)(u,v)為圖像塊的傅里葉系數,W為塊的大小.脊線頻率和頻譜方向能夠在頻域中直接被估計.圖1(a)為一大小為32×32像素的高質量指紋圖像塊,圖1(b)為其傅里葉變換頻譜,頻域原點F(u0,v0)為頻譜的峰值,即頻譜的直流成分(DC).移除直流頻譜,如圖 1(c)所示,具有最高峰值頻譜的點(up,vp)即為脊線頻譜中心,如圖1(e)所示,則脊線頻率和脊線頻譜方向分別為

2.3 2D方向帶通濾波器

圖2給出了兩個方向帶通濾波器的例子,其中,L=8,n=20.圖2左圖和右圖分別對應的離散化方向l=0和l=6.

2.4 指紋塊方向高斯帶通濾波增強

在頻域內,指紋塊脊線頻譜主要集中在以頻譜原點(u0,v0)為圓心、中心過脊線頻譜中心(up,vp)的環形帶內,如圖 1(d)中的環形帶所示[14,15].在頻域對指紋頻譜進行帶通濾波,從而對指紋脊線進行增強是合理的.本文使用高斯帶通濾波器對指紋塊頻譜進行濾波增強,2D高斯帶通濾波器HG：b(i,j)定義為

其中,BW為帶通濾波器的帶寬,fr為脊線頻率,D(u,v)是頻譜原點(u0,v0)到點(u,v)的歐氏距離.由圖 1(d)我們能夠發現：如果環形帶過窄,則可能丟失較多脊線頻譜;如果環形帶過寬,則不能有效抑制噪聲.因此,為了更好地抑制噪聲,增強脊線頻譜,濾波器帶寬應該能夠根據脊線頻率自適應調整.本文的高斯帶通濾波器帶寬依據下式自適應給定：

其中,L∈N是總的離散化方向數;l表示第l個方向;θr是脊線頻譜方向,它被離散化為L個方向,即(0,π/L,…,(L-1)π/L).本文提出的2D方向高斯帶通濾波器可定義為

將待增強指紋塊Ib(i,j)按公式(16)轉換到頻域,得到對應的頻譜Fb(i,j)(u,v).為了抑制通帶內的孤立噪聲和平滑通帶邊緣,類似于文獻[14],使用對應的方向高斯窗Gl(u,v)(l由增強塊的脊線頻譜方向θr決定,窗口大小為5×5,詳見文獻[14]))與方向高斯帶通濾波頻譜進行卷積,提高增強頻譜的質量.最后,塊頻譜能夠被增強：

2.5 指紋圖像濾波增強

本文提出的指紋濾波增強算法首先在空域對指紋圖像進行分塊,然后將空域指紋塊變換到頻域,在頻域中進行濾波增強,最后將濾波增強結果再次轉換到空域.本文采用的是類似文獻[15]的重疊塊(復合窗口)方法,采用將指紋圖像分割為具有相同中心的外層塊和內層塊的策略,如圖3所示.

本文濾波增強算法是基于塊優先級的,高質量的塊將優先增強,確保先被增強塊的準確性和可靠性.低級別優先級塊在增強時,其鄰域中高質量塊已被增強,復合窗口的應用使高質量塊頻譜能夠擴散到低質量塊,使得低質量塊的頻譜得到明顯改善,從而提高指紋增強質量.第 2.1節提出的塊質量評價方法可以保證高質量塊評價結果的可靠性,從而保證優先增強塊的增強是可靠的.

我們首先將指紋圖像被劃分為重疊的R×C塊,依據第 2.1節的方法對所有塊質量進行評價和等級劃分,然后按照指紋塊的質量優先級對指紋塊進行迭代增強.在增強過程中引入復合窗口策略,即對以待增強內層塊為中心的外層塊進行增強,取增強圖像的內層塊替代原始內層塊.第 1次迭代增強過程中僅考慮塊質量等級,使用第 2.3節的方向高斯帶通濾波器對所有高質量塊進行增強.在接下來的濾波增強中,為了將已增強的高質量塊頻譜充分擴散到低質量頻譜中,待增強塊鄰域優先級Bpri被考慮：

其中,NumNei為待增強塊八鄰域中已被增強塊的數量;Bpri取值1,2,3,對應塊鄰域優先級分別為高、中和低.在第1次迭代增強之后,選取當前具有最高質量且擁有最高鄰域優先級的未增強塊進行迭代增強,取增強圖像的內層塊替代原始內層塊.在一次迭代增強之后重新計算塊鄰域優先級,更新Bpri,重新進行下一次迭代增強,直到所有的塊都被增強,迭代結束.對濾波增強指紋圖像進行簡單的后處理,移除背景區域,得到增強的二值濾波增強指紋圖像.本文提出的濾波增強方法對少數大噪聲區域仍無能為力.文獻[14,15]分別采用不同的增強塊錯誤檢測方法來改善大噪聲增強質量,有一定的效果,但并不能完全杜絕.本文提出的方法得到的是增強的二值指紋圖像,鑒于DBM在圖像重構方面的突出表現和處理二值數據的便利性,我們將借助DBM來重建大噪聲錯誤增強區域.

3 基于深度玻爾茲曼機的指紋圖像重構

3.1 深度玻爾茲曼機

深度玻爾茲曼機是由 Salakhutdinov提出的一種以 RBM 為基礎的深度學習模型[20].DBM 是無向圖模型,某一個隱層的輸出由與其相連的上下兩層決定,一般情況下,上下兩層先驗的比例是一致的.以兩隱層 DBM 為例,其模型結構如圖4所示.

其能量函數可表述為

DBM 的訓練要通過 RBM 預訓練逐層確定初值,然后再對整個模型的權值進行微調來完成.Salakhutdinov等人[20]通過貪心逐層預訓練學習算法同時預訓練多個RBM,如圖5所示,然后再將這些RBM組合得到DBM模型的初值,具體貪心預訓練過程見文獻[18].獲取在貪心預訓練階段學習到的權值之后,整體模型的權值還需進行微調.本文微調整個模型權值的具體過程見算法1,αw,αv和αb分別為權值、可見層偏置和隱層偏置學習率.

算法1.一個用于指紋圖像塊重構的兩隱層DBM模型權值微調的具體過程.

2. 初始化M樣本：{v0,h10,h20},…,{vM,h1M,h2M}.

3. 獲取在貪心預訓練階段學習到的權值{c,W1,b,W2,a},詳見文獻[20].

4.fort=1 toT(迭代次數) do

5. //變量推斷：

6. for 每個新樣本vn,n=1 toNdo

7. 給定h1=σ(vn(2W1)+b),h2=σ(h1W2+a),使用均勻場方法更新h1,h2,直到收斂：h1=σ(vnW1+h2(W2)T+b),h2=σ(h1W2+a)

9. end for

10. //隨機逼近：

11. fork=1 toKdo

12. for 每一個新樣本vm,m=1 toMdo

13. 通過給定的{vmk-1,h1mk-1,h2mk-1},依據公式(29)-公式(31),采樣得到{vmk,h1mk,h2mk}.

14. end for

15. end for

16. //參數更新：

22. 減小αw,αv,αb

23. end for

3.2 基于DBM的指紋圖像重構

DBM模型訓練好以后,可以很容易地使用均勻場方法進行圖像重構.與第2節方向高斯帶通濾波增強類似,對指紋圖像的DBM重構也是基于指紋塊進行的.圖6給出了本文指紋塊DBM重構的過程示意圖,vin為待重構的指紋塊矢量,vout為重構的指紋塊矢量,具體重構過程見算法2.

算法2.基于DBM模型的指紋塊重構.

1. 輸入：待重構含噪指紋塊矢量vin;

2. 初始化h10,h20：h10=σ(vin(2W1)+b),h20=σ(h10W2+a).

3. fort= 1 toT(迭代次數) do

4. //均勻場更新：

vt=σ(h1t-1W1+c)

h1t=σ(vtW1+h2t-1W2+b)h2t=σ(h1tW2+a)

5. end for

6. 輸出：vout=vT

一般DBM圖像重構[20]中僅訓練一個通用的DBM模型,而本文則不同,我們為每一類擁有不同方向模式的指紋塊分別訓練一個 DBM 模型.如前文所述,指紋圖像在局部區域有穩定的方向模式,為了能夠更準確地重構噪聲指紋塊,我們充分考慮了指紋脊線的方向模式信息,依據塊方向對指紋塊訓練樣本集進行分類,分別為每一類樣本訓練一個DBM模型.重構含噪指紋塊時,依據待重構塊的方向,自適應選擇與該方向模式對應的DBM模型進行重構,使得重構結果更為可靠、準確.圖 7給出了一組使用提出方法對含噪指紋塊重構的例子.圖 6(a)、圖6(c)和圖6(e)分別為含有不同大噪聲的指紋塊,圖6(b)、圖6(d)和圖6(f)分別為對應的重構塊.可以看出,提出的方法能夠準確、可靠地重構指紋塊.

由于 DBM 在重構過程中時間復雜度較高,為了能夠提供算法的效率,理想情況下,我們僅需對含噪指紋塊進行重構.為了達到這一目標,我們對方向高斯帶通濾波增強的二值指紋圖像繼續執行第 2.1節提出的方法,對需重建塊進行評估.不同的是在基于點方向一致性進行塊質量評價時,僅將塊質量分為兩類——高和差(對應于第2.1節提出的中、低和差).然后,用同樣的方法對所有差質量塊執行灰度方差誤分塊篩選,盡可能地將高質量的誤分塊剔除.最后,對質量評估為差的塊執行DBM重構,完成對指紋圖像的增強.

4 實驗與分析

4.1 實驗設置與數據庫

本文實驗所用的訓練和測試指紋來自FVC2004數據庫,使用具有兩隱層的DBM模型進行訓練和重構：第1隱層的節點數為 400,第 2隱層的節點數為 600.為了構建高質量的 DBM 模型訓練指紋塊樣本集,我們首先在FVC2004數據庫中選取了500幅質量較高的指紋,使用Neurotechnology提供的VeriFinger Algorithm Demo 6.0(http：//www.directoryofshareware.com/preview/verifinger_algorithm_demo_for_ms_windows/)軟件增強得到對應的二值指紋圖像.將二值指紋基于重疊窗口分為大小為 32×32的塊,構建 DBM訓練塊候選集.基于點方向一致性剔除低質量塊,構建高質量指紋塊訓練集.為了充分利用指紋的脊線方向模式信息改善模型的性能,依據塊方向將訓練集分為8類.依據不同類別的訓練集,分別訓練8個DBM模型用于錯誤增強塊重構.本文提出的方向高斯帶通濾波增強和 DBM 重構均是基于復合窗口進行的,且采用的是重疊窗口策略.實驗中,內層塊和外層塊的大小分別為16×16和32×32像素,滑動窗口步長為10個像素.

4.2 算法性能比較與分析

本部分實驗均是基于測試指紋集進行的.圖 8給出了一個方向高斯帶通濾波增強過程中對指紋塊質量評價的一個例子.圖 8(b)為基于塊點方向一致性給出的評價結果,從圖中可以看出,該方法能夠保證高質量塊的評價結果,但往往會錯誤地將一些高質量塊評價為低質量塊;圖 8(c)給出了一個采用提出的塊方差糾錯的例子,可見：提出的方法能有效地避免或減少將高質量塊誤分為低質量塊,并且基本能夠保證不會將低質量誤判為高質量塊.

圖 9給出了一個基于塊質量分級機制和復合窗口策略下使用方向高斯帶通濾波器對指紋增強的例子,對應的塊質量評價如圖8所示.從圖9(a)可以看出：高質量的塊被最先增強,確保了增強塊的準確性和可靠性.

較低質量塊在增強時,其鄰域中較高質量塊已被增強,鄰域優先級和復合窗口策略使更高質量塊的頻譜能夠充分擴散到較低質量塊,改善了較低質量塊的頻譜,提高了增強質量,如圖 9(b)～圖 9(d)所示.提出的濾波方法對少數大噪聲區域仍無能為力,不能準確增強,如圖9(d)中圓環標示區域.

為了提高 DBM 重構的效率,在對方向高斯帶通濾波增強指紋進行重構時,首先對指紋塊質量進行評價,僅對少數錯誤增強塊進行重構.為了提高重構的準確性和可靠性,在使用第 3.2節提出的方法對指紋二值塊進行重構的時候,首先計算該塊的脊線方向,然后選擇對應的DBM模型進行重構.圖10給出了兩個基于塊質量評價的指紋圖像DBM重構的例子.第1行、第2行對應的指紋分別為DB3_A的82_8和DB3_B的109_5.從實驗結果可以看出：提出的方法雖然不能準確無誤地選出錯誤增強塊,會將少量高質量的塊視作錯誤增強塊,但基本能保證不會將錯誤增強塊誤分為高質量塊.圖 10(d)為重構結果,可見提出的具有方向選擇性的DBM重構算法能夠對濾波增強指紋中少數錯誤增強區域進行重構,完成對低質量指紋圖像的高質量增強.

為了測試提出的算法的性能,將提出方法與ABSF[14],Bianetal.[15]和VeriFinger Software基于同一實驗平臺進行了對比實驗.圖 11給出了一組實驗結果,從第 1行～第 3行的(a)列為原始指紋,分別為 DB3_A的 12_2,38_8和86_1.從圖11(e)列可以看出,提出的基于塊質量分級機制和復合窗口策略的方向高斯帶通濾波對于較高質量和弱噪聲指紋區域能夠高質量地增強,對少數大噪聲區域的增強較差.由于引入了脊線方向模式,具有方向選擇性的DBM模型更能可靠地對錯誤增強塊進行重構,保證了增強結果的準確性和可靠性,如圖11(f)列所示.對比文獻[14,15]以及VeriFinger Software,本文算法增強結果更具有魯棒性.

本文將提出算法和其他增強算法增強指紋進行了有效細節點提取的對比實驗.圖12給出了圖11第1行各增強結果細節點提取的實驗結果,圖中矩形框和圓形框標注的分別為分叉點和末梢點.可見,本文算法增強結果提取的細節點的準確性更高.

表 1給出了一組有效細節點提取量化對比結果,實驗選用指紋圖像均為含大噪聲的低質量指紋圖像.可見在絕大多數情況下,基于本文方法增強的指紋有效細節點數都少于其他方法增強的指紋,細節點提取更為可靠,有利于隨后的指紋匹配和識別.

Table 1 Comparison of the valid minutiae extraction based on the enhaced fingerprints表1 基于增強指紋的有效細節點提取對比

為進一步驗證本文所提算法在自動指紋識別系統(automatic fingerprint identification system,簡稱AFIS)中的表現,將所提算法在一個開源的基于C#框架的指紋識別軟件(http：//www.codeproject.com)中進行了匹配實驗,實驗指紋庫為 FVC2004.我們使用 Medina-Pérez等人[33]提出的基于 M3gl的細節點匹配算法進行匹配實驗,實驗中,我們僅僅分別將輸入指紋圖像替換為各種增強算法增強的指紋圖像,其余部分保持原識別系統的設置不變. FMR(false match rate)和FNMR(false non-match rate)是用來評估指紋識別算法性能的兩個主要指標,通常使用EER(equal error rate)和FMR100等指標來評價AFIS的整體性能.圖13給出了表征各種對比算法識別性能的ROC曲線,更具體的一些性能指標被描述在表 2中.從實驗可以看出,相比于其他對比算法,在大多數情況下,所提的算法能更好地改善AFIS的性能.

Table 2 Performance comparison of different enhancement algorithms on FVC2004表2 不同指紋增強算法在FVC2004指紋庫上的性能對比

5 結束語

本文提出一種結合方向高斯帶通濾波和深度玻爾茲曼機重構的指紋圖像增強方法.提出的方法首先通過方向高斯帶通濾波器得到增強的二值指紋圖像,然后對可能存在的錯誤增強區域使用具有方向選擇性的 DBM模型進行重構.提出的方法將傳統指紋增強方法和深度學習方法相結合,取長補短,使得增強結果更加準確、可靠.本文提出的塊質量評價標準不同于傳統意義上的指紋質量評價標準,它僅要求能夠確保低質量塊的正確評價,允許錯誤估計部分高質量塊為低質量塊,擁有較強的容錯能力.在方向高斯帶通濾波增強階段,質量分級機制使得較高質量塊在較低質量塊之前增強.在較低質量塊增強時,鄰域優先級和復合窗口策略使得較高質量增強塊的頻譜能夠充分擴散到較低質量塊中,有效地改善了較低質量塊的頻譜,提高了增強質量.由于引入了脊線方向先驗信息,為擁有不同方向類別的指紋塊分別訓練一個獨特的 DBM 模型,對錯誤增強塊重構的時候選擇對應方向類別的DBM模型,使得重構結果更具穩定性和可靠性.基于塊質量評價,僅對少數需重構塊進行DBM重構,有效提高了重構效率.實驗結果表明,提出的算法能夠完成對低質量指紋圖像的高質量增強,具有很強的魯棒性.本文提出的塊評價方法并不能準確地估計出需重構的錯誤增強塊,還會把一些高質量塊誤判為錯誤增強塊,會降低重構效率.如何進一步提高塊質量評價的準確性,盡量使得 DBM 重構僅對錯誤增強塊進行,是我們下一步研究方向.