基于U-Net的掌紋圖像增強與ROI提取

陸展鴻，單魯斌，蘇立循，焦雨欣，王家驊，王海霞

（1.杭州海康威視數字技術股份有限公司，杭州 310051； 2.浙江工業大學 信息工程學院，杭州 310023；3.浙江工業大學 計算機科學與技術學院，杭州 310023）

在當今信息化時代，生物特征識別是鑒別個人身份、保護個人信息的有效手段。生物特征識別技術，是指利用機器視覺、圖像處理等技術對生物特征采樣進行身份識別。現有的主要生物識別特征 包 括 指 紋［1］、人 臉［2］、虹 膜［3］和 掌 紋［4］等。由于掌紋的紋路是由每個人的基因所決定的，即使后天受損，重新生長出來的紋路也保持原有形狀，因此是一種具備相當大潛力的生物識別特征。掌紋識別技術是近幾年發展起來的技術，與其他識別技術的優勢在于：掌紋區域較大，具有較好的穩定性；掌紋采集對硬件的要求不高，故而設備成本較低；并且相比于其他生物特征識別技術，安全性較高，采集所需時間較短，識別的效果較好［5］。

掌紋原始圖像一般存在紋理不清晰、掌紋圖像具有不定旋轉角度、圖像存在噪聲等問題。因此有必要對設備采集獲取到的掌紋原始圖像進行增強處理和感興趣區域（ROI）提取［6］。現有的掌紋預處理方法普遍存在著時間成本大，方法之間有依賴關系等問題。隨著近幾年神經網絡的迅速發展，神經網絡在交通車輛［7］、步態識別［8］、車牌識別等領域取得了很大的成功。神經網絡是模擬生物神經網絡進行信息處理的一種數學模型，其目的在于模擬大腦的某些機理與機制實現一些特定的功能。它有著高度的并行結構和并行實現能力，能夠充分發揮計算機的高速運算能力，可以很快找到最優解。同時它也可以處理一些非線性問題，并且有著自學習功能。近些年學者們也將神經網絡引入掌紋識別領域，進一步促進了掌紋識別的發展。

本文提出神經網絡在掌紋預處理部分中的圖像增強與ROI提取的運用，采用的神經網絡模型是U-Net神經網絡［9］，U-Net神經網絡既可以處理分割問題，亦能降噪增強圖像信息，它能夠實現每個像素從點到點的處理。本文的貢獻在于將掌紋預處理部分的圖像增強和ROI提取放在同一個神經網絡模型上運行，這大大減少了預處理的時間，去除了掌紋預處理部分之間的相互依賴關系。

1 相關工作

1.1 掌紋識別

現今常用的掌紋識別方法通常分為幾個大類：①基于編碼特征的識別方法［10-11］。通過將掌紋圖像的特征轉化為由0、1組成的數字編碼，最后通過二進制算術運算獲得圖像間的相似度。②基于結構特征的識別方法［12-13］。通過邊緣檢測方法提取脊線、主線等方位信息來進行掌紋識別。③基于統計特征的識別方法［14-15］。利用圖像的統計概念提取方差、標準差等特征，然后轉化為用于匹配的向量。④基于子空間特征的識別方法［16-17］。將掌紋圖像視為高維矩陣或向量，并通過投影或數學變換等方式轉化為低維形式進行表征和分類，隨后用于圖像匹配。⑤基于特征學習的識別方法［18-19］。在現有掌紋識別的方法中，掌紋主線是重要的特征，Huang等［20］提出Radon變換掌紋的主線，再利用掌紋之間的相似度進行掌紋驗證。Wu等［21］設計了一組定向線檢測器，然后將這些檢測器用于沿不同方向提取主線。通過對主要紋路的增強，可以有效地增強掌紋識別過程中對主線的提取效果，從而提高掌紋識別的準確率。

1.2 掌紋圖像預處理

掌紋圖像增強預處理中，最常使用的方法有小波變換（Wavelet Transform，WT）［22］、偏微分方程圖像增強方法［23］、三維塊匹配方法（BM3D）［24］等，然而這些方法在對每張圖像進行處理時往往需要較多的時間成本，而且這些方法對不同環境采集的掌紋圖像不能保持良好的魯棒性。傳統的ROI提取方法通過獲取手掌的輪廓，找到指蹼的特征點，再通過特征點的位置進行ROI提取。李艷等［6］提出了一種對掌紋輪廓特征點進行提取的方法，即利用多個互相相切的外切圓和手掌邊界的交點個數來判斷角點的大概位置，然后通過結合手掌輪廓線近似直線的性質，從而得到手掌輪廓特征點的準確位置。但因為需要反復搜索圓心并調整半徑，預處理時間長，復雜性高，不能用于實時系統。張秀峰等［25］為了改善ROI提取過程中會產生偏移的問題，提出了一種新的ROI分割方法：先確定手掌的指蹼位置，通過兩個指蹼邊界點擬合成一條直線，利用這條直線為基準，矯正手掌的偏轉角度并確定ROI區域。這些傳統方法的ROI提取對掌紋的質量要求非常高，而神經網絡的出現，很好地解決了這些問題。

1.3 神經網絡

在2015年U-Net被Ronneberger等［9］所提出，其在全卷積神經網絡（FCN）的基礎上進行改良形成的，其特點是可以用較少的圖像訓練數據得到更好的處理結果，因其具有的特點近年來被廣泛應用于醫學圖像處理的領域。Meng等［26］應用U-Net實現了對腦腫瘤圖像的分割和增強，并與其他方法進行對比，發現有著更好的效果。Qian等［27］將模型應用于圖像增強，也實現了較好的處理效果。神經網絡在掌紋識別中也取得了較好的成績。Gao等［19］結合了自上而下的無監督訓練和訓練樣本建立Deep Belief Net，在掌紋識別上取得優于主成分分析（PCA）、局部二元模式（LBP）的結果。Liu和Sun［28］嘗試使用AlexNet提取深度特征。Sun等［29］利用CNN-F網絡進行掌紋識別，并評估不同層提取到的卷積特征。Lin等［30］提出了Palm RCNN進行掌紋識別，并公開了同濟大學掌紋數據庫。王海霞等［31］改進了輕量級U-Net，在不影響輸出結果的前提下，有效的提高了計算時間。特別地，周瞳等［32］使用卷積神經網絡的方法實現掌紋的提取。這些研究都證明了神經網絡在掌紋圖像處理中的巨大潛力。

2 方法設計

本文方法流程圖如圖1所示，通過U-Net神經網絡分別對掌紋圖像進行圖像增強與谷點分割，在該部分掌紋增強與ROI區域提取采取并行模式，該模式可以有效地去除圖像增強與ROI提取相互的依賴性，確保處理方法的獨立性。在2.1節中，對數據集的準備進行了介紹，包括有監督的圖像去噪濾波、圖像增強、特征點定位及數據擴增。在2.2節中，采用U-Net神經網絡對掌紋圖像進行增強與谷點位置預測，以及相關的后續處理。

圖1 本文方法流程圖Fig.1 Proposed method flow chart

2.1 數據集的準備

數據集的準備具體步驟包括圖像去噪濾波、圖像增強、以ROI提取為目的的特征點定位，并進行數據擴增。

首先，掌紋圖像分布著不均勻的噪聲，掌紋的3條主線常常具有對比度不清晰的問題，并且掌紋的亮暗程度不均勻，需要對圖像進行濾波處理。圖像濾波就是對圖像進行噪聲上的過濾，抑制噪聲對圖像的影響，并且最大化地保留圖像細節特征。本文采用BM3D方法，這是一種非局部方法，它的原理首先是通過和相鄰圖像塊進行匹配，然后與之進行整合形成一個三維矩陣，在3D空間中進行濾波，然后再轉換為2D。該方法分兩步，實現對圖像雙重去噪：第一次是對原圖匹配進行簡單去噪，第二次去噪的權值將會以第一次去噪的結果作為基準，處理結果如圖2所示。在實際去噪處理中，會不可避免地導致一些關鍵細節信息被模糊，如圖2（b）所示。掌紋的3條關鍵紋路與手掌的對比度明顯降低。本文采用Gabor小波變換進行圖像增強。Gabor小波的優點在于對圖像邊緣檢測敏感，從而能夠有良好的尺度選擇特性和方向選擇，而且對光照變化不敏感，有著良好的適應性。Gabor小波變換處理結果如圖2（c）所示。通過BM3D與Gabor小波變換，本文完成對掌紋增強數據集的處理與獲取。

其次，針對掌紋ROI分割問題，為更精確定位ROI區域，本文通過對掌紋的2個關鍵指間谷點進行預測，再進行后處理定位的方式進行。數據集的標注是對關鍵指間谷點的標注，為盡量進行精確定位，本文采用手工標定。在標注出兩個關鍵點之后，生成一副二值圖，背景為黑，2個谷點為白色，長度為10個像素的矩形，如圖2（d）所示。通過手工標注，完成對掌紋ROI提取數據集的獲取。

圖2 預處理步驟Fig.2 Pre-processing steps

由于深度學習需要較多的訓練樣本，而且對訓練樣本的處理也需要花費大量的時間。因此本文采用數據增強技術，以左右各旋轉10°來進行數據集擴充。在此次訓練中，對700張掌紋增強圖像、ROI谷點圖像進行擴充，獲得2100張圖片。來防止因為數據集過少而產生的神經網絡過擬合問題，獲得更好的增強效果。在香港理工大學的掌紋數據庫中，每一張圖像的像素大小為384×284。在網絡訓練的過程中，需要對圖像進行3次下采樣操作，每經過一次下采樣處理，圖像大小變為原來的一半，而284不能被2整除3次。所以調整圖像大小為384×280。

2.2 掌紋增強與RO I提取

2.2.1 網絡結構

U-Net神經網絡通過收縮路徑和擴張路徑構成了一個對稱的U型網絡。主要包含下采樣和上采樣2個部分，下采樣進行特征提取。下采樣過程中，圖像的通道數翻倍，同時特征圖維度減半。應用修正線性單元（Rectified Linear Unit，ReLU）激活函數，激活函數的作用就是引進非線性因素，這樣使得神經網絡可以應用于非線性的模型中去，而不是僅僅只是限制于線性函數。上采樣的作用是把識別的特征還原到原圖的大小上去，最終得出輸出的結果。每次經過上采樣層后特征圖維度加倍，通道數減半，最終使圖像恢復到原尺寸，在上采樣的過程中同樣也是應用ReLU激活函數。

圖3和表1展示了網絡結構和模型參數。本模型包含收縮路徑和擴張路徑。在收縮路徑中，包含3個收縮單元，每個單元都包含2個卷積模塊和1個池化層。進行完下采樣后再經過2個卷積模塊，就可以進行上采樣操作。擴張路徑同樣有3個擴張單元，前面2個單元包含1個上采樣層和2個卷積模塊。最后1個擴張單元中包含上采樣層、兩個卷積模塊和1個1×1大小的卷積模塊。每次使用上采樣層后特征圖維度加倍、通道數減半。跳躍連接增加了收縮路徑和擴張路徑之間的通路。

圖3 U-Net神經網絡結構Fig.3 U-Net neural network structure

表1 U-Net神經網絡模型參數Tab le 1 U-Net neural network m odel param eters

2.2.2 掌紋增強與ROI提取網絡的能量函數設定

在深度學習中，激活函數和損失函數在神經網絡中都起著重要作用，激活函數給網絡引入了非線性因素，使得網絡能夠逼近任何的函數。常用到的輸出層激活函數主要包括：sigmoid、tanh、ReLU。不同的輸出層激活函數的選擇，將會產生不同的輸出效果，因此需要根據各激活函數的特點進行選擇。針對掌紋增強網絡，本文經過實驗對比分析，發現3種激活函數效果差異明顯，當采用ReLU函數為激活函數，效果明顯優于其他2種函數，因此ReLU選擇作為掌紋增強的激活函數，它是分段函數，函數收斂速度也明顯比前兩者快，并且能避免sigmoid和tanh函數都存在的梯度消失的問題，因此會更加適合圖像增強的處理，ReLU函數圖形如圖4（a）所示，其計算公式為

機器學習過程中，需要對方法進行最小化的函數，這個函數就是損失函數。損失函數越小，表明真實值和預測值越接近，損失函數的選取要適應應用背景，沒有適用所有情況的損失函數存在，常用的損失函數包含：均方誤差、交叉熵誤差、絕對值損失函數等。而在實際應用中也可根據自己的需求進行編寫。

根據實驗分析得出，本文應用的掌紋圖像增強的損失函數loss1定義為式（2）所示，其最為接近訓練樣本：

式中：N為樣本數量；fi為預測值；yi為真實值。當預測值越接近真實值時，loss1的返回值也越接近0，網絡接近穩定。

針對掌紋ROI提取，3種激活函數效果差異明顯，本文采用sigmoid函數為激活函數。sigmoid函數的本質是將取值為（-∞，+∞）的值映射到（0，1），所以經常被用在二分類的問題中，sigmoid函數圖形如圖4（b）所示，其計算公式為

圖4 激活函數圖形Fig.4 Graph of activation functions

根據分割需求，將本文應用的掌紋ROI提取的損失函數loss2定義為

式中：s為基值，它的取值為1，它的作用是防止出現分母為0的狀況。當預測值越接近真實值時，loss2的返回值也越接近1，網絡接近穩定。

2.2.3 ROI提取后處理

通過U-net網絡掌紋增強可直接獲取結果，而掌紋ROI提取只是獲得中間過程圖像，對掌紋的分割還需要從指間谷點進行后處理。如圖5（a）所示，經過U-Net神經網絡可得到了掌紋谷點分割結果。首先求取二值圖中的2個關鍵點對應的質心，作為掌紋谷點，如圖5（b）掌紋圖像中的圓圈標記所示。其次，對2個谷點進行連接，對連接線和相對應垂線建立新的坐標軸，以2條直線交點為原點。如圖6（a）所示，以此坐標系為主坐標系，2個谷點為標準點，調整掌紋圖像角度，對掌紋圖像進行ROI框取，框取的ROI大小為144×128，如圖6（b）所示，最終效果圖如圖6（c）所示。

圖5 關鍵點及掌紋對應谷點Fig.5 Key points and correspondingly valley points on plamprint

圖6 ROI提取處理Fig.6 ROI extraction processing diagram

3 實驗結果分析

本文實驗應用的掌紋數據庫是來自香港理工大學掌紋數據庫［33］，包含7 752個圖像，分別來自386個不同的手掌，每個手掌大約采集了20張圖像，這20張圖像分2個階段進行采集，這2個階段間隔在2個月左右。本文從香港理工大學掌紋數據庫中選取1 000張掌紋圖像，其中700張掌紋作為訓練集進行神經網絡訓練，另外選擇300張掌紋圖像組成測試集，經過神經網絡預測分別獲得增強、分割圖。以下將對該網絡模型的性能進行評估。

3.1 掌紋圖像增強處理結果

圖7是部分原始掌紋測試集圖像和網絡增強處理后的ROI圖像對比，可以看出，掌紋的噪聲明顯降低，掌紋主要的3條紋路乳突紋、皺紋和屈肌線也更加的明顯，并且這種效果是普遍適用所有300張測試集圖像的。

圖7 不同掌紋圖像的增強結果Fig.7 Enhancement results of different palmprint images

對掌紋圖像增強效果進行量化評估，常用峰值信噪比（PSNR）、信息熵（Entropy）、絕對均值誤差（AMBE）來評估方法的性能。PSNR的值越大，Entropy值越大，AMBE值越小，則說明掌紋圖像的增強效果越好。

將本文方法與BM3D去噪+Gabor小波增強、OBLNM［34］、RKTFILT［35］和SRAD［36］當前流行的掌紋圖像增強方法的效果進行對比實驗，由于缺少真值，本文采用2種方式獲得真值。第1種以BM3D去噪+Gabor小波增強處理過后的掌紋圖像為真值，第2種以OBLNM 處理過后的掌紋圖像為真值。分別對2組真值圖像添加高斯白噪聲，再分別經過以上5種方法進行去噪增強。圖8為第1種方式下掌紋圖像增強效果對比。圖9為第2種方式下掌紋圖像增強效果對比。從表2和圖像增強對比結果（圖8和圖9）可以看出，本文方法要優于其他方法。

表2 掌紋增強效果比較結果Table 2 Com parison resu lts of palm print enhancem ent

圖8 BM3D去噪+Gabor小波增強后為真值的掌紋增強對比Fig.8 Comparison of palmprint enhancement after BM3D denoising+Gabor wavelet enhancement as truth value

圖9 OBLNM增強后為真值的掌紋增強對比Fig.9 Comparison of palmprint enhancement after OBLNM enhancement as truth value

3.2 掌紋分割圖像相似度分析

為了判斷訓練結束后的網絡模型的科學性，將測試集300張掌紋圖像進行手動標注指間谷點，并對標注好谷點后的圖像進行ROI提取，將提取出來的掌紋感興趣區域作為標準參考。同時采用其他2種方法——基于形態學角點檢測的定位分割方法［37］（方法1）與基于邊緣跟蹤的定位分割方法［38］（方法2），與本文提出的基于U-Net神經網絡輸出的掌紋分割圖像與標準圖像進行面積重合率分析，通過將得到的谷點進一步計算成掌紋的感興趣區域，劃定位置，將掌紋圖像轉化為二值圖像，掌紋ROI為1，背景為0，同理對其他方法和人工標注也進行同樣處理，最后對兩者進行與操作，計算重疊部分所占比例。結果如表3所示，本文方法面積重合率可達94.00%，而方法1的為91.18%，方法2的為88.00%。可見本文方法的結果和手動標注的真值有著較高的重合度，更加接近真實感興趣區域，也意味著本文方法定位精度是可靠的。

表3 掌紋感興趣區域重合度分析Table 3 Analysis of coincidence degree of palm print ROI

為了進一步判斷本文提出的掌紋分割方法準確性，將基于形態學角點檢測的定位分割方法、基于谷點聚類分析的定位分割方法和本文方法與手動標注分割的掌紋感興趣區域圖像進行相似性比較，本文選取2個相似度指標，分別為余弦相似度（Cosin相似度）和哈希相似度［39］。當兩者的值越接近100%時，表示2張圖像越相似。結果如表4所示。從表中可以看出，本文方法相比于另外2種掌紋分割方法有著更高的相似度。實驗結果表明，基于U-Net神經網絡掌紋分割有著較好的效果，對掌紋感興趣區域有著精確的定位。

表4 掌紋分割圖像相似度對比Tab le 4 Sim ilarity com parison of palm p rint segm entation im ages

3.3 方法運行時間比較

為了驗證神經網絡方法處理速度更快的特點，本文對增強和分割時間進行統計。該實驗以測試集300張掌紋圖像的處理進行測試，實驗環境為Linux操作系統，基于tesla和quadro的硬件平臺。本文所提出的增強、分割方法均通過python編寫的U-Net模型進行，分割后續處理部分運用MATLAB程序實現，對兩者的處理時間進行統計；進行比較的增強方法為BM3D去噪+Gabor小波增強方法，由MATLAB程序實現；分割的比較方法分別為基于形態學角點檢測的定位分割方法、基于邊緣跟蹤的定位分割方法，由MATLAB程序實現。統計結果如表5所示，每張掌紋圖像經過BM3D去噪+Gabor小波增強處理所需時間為1 355.73 ms，基于形態學角點檢測的定位分割方法進行ROI分割則需要32.23 ms，完成增強分割操作總共需要1 387.96 ms。基于邊緣跟蹤的定位分割方法進行ROI分割則需要14.49 ms，完成增強分割操作總共需要1 370.22 ms，而本文提出的基于U-Net神經網絡的方法完成每張掌紋圖像增強和分割僅需90.49 ms，因此可以看出基于U-Net神經網絡處理效率明顯優于常規方法。

表5 每張掌紋圖像處理時間Table 5 Processing tim e of each palm print im age

4 結束語

本文提出了一種基于U-Net神經網絡的掌紋增強與分割方法。掌紋圖像增強中，所提方法能有效去除掌紋圖像的噪聲，并達到對掌紋3條主要紋路增強效果，性能優于其他方法。在掌紋感興趣區域分割中，對比手動標注谷點分割的方法，所提方法比常規掌紋分割方法有著更高的定位精度。本文還對神經網絡處理掌紋圖像和常規方法處理掌紋圖像進行時間對比，對比發現神經網絡有著更快的處理速度，因此基于U-Net神經網絡對掌紋圖像進行增強和ROI分割是具有高效性。