一種基于Faster R-CNN模型的虹膜檢測改進方法＊

李嘉揚，陳園園，王清濤

（上海聚虹光電科技有限公司，上海 201315）

虹膜是位于人眼鞏膜和瞳孔之間的環形區域，其具有唯一性、穩定性、非侵犯性[1]等特點，是適合作為身份識別的重要生物特征之一。在實際應用場景中，虹膜采集一般通過紅外相機進行抓拍，虹膜本身的特征尺度較小，再加上眼瞼的閉合程度、眼睫毛的位置與形狀、戴眼鏡形成的光斑干擾、瞳孔的縮放對虹膜區域的擠壓等，這些因素都會對虹膜檢測的精度產生較大影響。如何在多種因素干擾下，實現對虹膜的精準檢測，是一項非常具有挑戰性的研究課題。

虹膜檢測的基本步驟可以分為目標檢測[2]和區域分割。目標檢測主要用于從檢測圖像中判斷是否存在虹膜，如果存在則確定虹膜所在的位置。區域分割主要用于將虹膜與眼瞼、鞏膜、瞳孔、眼睫毛、光斑等干擾因素進行標記區分，提取出可供生物特征識別的有效虹膜區域。傳統的目標檢測方法通常選取相對穩定的特征點，如HOG[3]特征建立特征模板，然后在圖像中使用滑動窗口逐一進行特征模板匹配，得到一系列目標候選區域。針對目標候選區域，通常采用AdaBoost[4]算法進行多層級聯分類和支持向量機[5]進行分類決策，得到最終的目標檢測結果。在針對虹膜的目標檢測過程中，由于虹膜本身非常接近于圓形[6]，因此虹膜目標檢測常常歸結為在圖像中搜索匹配圓形區域。區域分割主要用于將目標與背景進行分離，得到目標的有效區域。區域分割的算法常通過邊緣二值化、邊緣檢測、圓擬合、拋物線擬合等方式將目標與背景的邊界提取出來。在針對虹膜的區域分割算法中，比較經典的包括有DAUGMAN[6-7]提出的微分-積分算子的算法、邊緣檢測算子結合Hough變換的算法[8-9]。

傳統虹膜檢測過程中的模板檢測和區域分割算法，或者存在運算復雜實時性不高的問題，或者存在容易受到干擾導致檢測精度不夠的問題，無法同時滿足檢測精度和檢測實時性需求。近年來，深度卷積神經網絡（Convolutional Neural Network，CNN）在目標檢測[10-11]中表現出較好的圖像分類精確度。本文針對虹膜檢測過程中的精確度和實時性需求，提出了一種基于Faster R-CNN的虹膜檢測方法，在提升虹膜識別精度的同時，檢測耗時基本不變，且具備更強的魯棒性。

1 傳統虹膜檢測方法

虹膜檢測的目的是在給定的視頻流序列圖像中，準確定位到虹膜區域，將有效虹膜區域分割出來，進行特征值的提取，為后續虹膜特征比對做好準備。

傳統的虹膜檢測流程包括圖像預處理、虹膜定位、質量評估、虹膜區域分割、展開歸一化、特征提取，如圖1所示。

圖1 虹膜檢測流程

圖像預處理主要包括高斯平滑濾波、圖像均衡化[12]等，其主要目的是對圖像進行平滑去噪，將虹膜圖像的對比度調整到一個固定級別，消除虹膜圖像采集過程中因為采光不同而造成的灰度差異，從而提高虹膜特征紋理的信噪比，降低噪聲對檢測結果的干擾。虹膜定位主要是對圖像中的虹膜區域進行初步定位，確定虹膜所在的矩形區域。常見的虹膜定位方法包括依據瞳孔和虹膜邊緣近似圓形的快速圓擬合定位、基于瞳孔灰度值最低的灰度閾值投影中心定位、基于AdaBoost算法的快速虹膜定位[13]等。虹膜質量評估是對初步定位后的虹膜區域進行質量評估，篩除由于運動模糊、離焦模糊、光照變化[14]等不符合虹膜識別質量要求的圖像。虹膜區域分割是將虹膜與鞏膜、虹膜與瞳孔、虹膜與眼瞼、虹膜與眼睫毛等進行有效區分，僅保留有效的虹膜區域作為識別對象。常見的虹膜區域分割方法包括基于灰度閾值及邊緣檢測[15]、近似圓擬合[16]的虹膜內外邊界分割方法，基于拋物線擬合、中值濾波及數學形態學[17]的眼瞼與睫毛分割方法。由于虹膜區域的大小和范圍會隨著采集距離的不同、不同光照條件下瞳孔縮放大小的不同而變化，需要將環狀虹膜區域展開并歸一化為統一大小的特征提取區域。業內目前通常將分割得到的虹膜圓環區域通過極坐標轉換，展開為長方形矩形[18]完成展開歸一化。特征提取主要通過不同的檢測算子，將展開歸一化后的虹膜區域內的紋理特征提取為特征編碼，為后續特征比對做好準備。常見的特征提取算子包括LBP算子[19]、小波算子[20]、Gabor算子[21]等。

從傳統虹膜檢測流程來看，圖像預處理、質量評估、展開歸一化、特征提取這4個階段的處理邏輯比較客觀穩定，對虹膜檢測精度和用戶體驗的影響最大的還是虹膜定位和虹膜區域分割這2個階段。目前業內主流的虹膜定位和虹膜區域分割方法主要還是依賴于數字圖像處理的相關算法，算法的普適性、魯棒性、實時性均存在較大的挑戰，算法優化的難度較大。

2 基于Faster R-CNN模型的虹膜檢測方法

傳統虹膜分割算法大多以圓形來擬合虹膜的內外邊界，在實際操作過程中，眼瞼、睫毛和光斑對虹膜邊界的擬合影響比較大，特別是虹膜外邊界與上、下眼瞼相鄰的區域。雖然可以通過灰度閾值將虹膜圖像二值化降低眼瞼、睫毛和光斑的干擾，但二值化閾值的選擇與區域范圍緊密相關，難以滿足普適性。圖2展示了采取不同區域計算閾值導致的不同二值化結果，二值化結果的差異性會導致最終圓擬合的差異，進而影響到后續的展開歸一化與特征提取，降低虹膜識別的精度。

圖2 不同閾值的二值化結果

如能將二值化閾值計算的區域設置為僅包含虹膜區域的最小區域，則干擾因素對閾值計算的影響也越低。傳統的虹膜定位算法的結果精度有限，難以滿足最優二值化閾值計算的要求，可以考慮將基于Faster R-CNN深度學習網絡的虹膜定位結果，與傳統的數字圖像處理相結合，提高虹膜檢測的精度，其主要的流程包括：①經Faster R-CNN模型檢測得到虹膜定位結果及ROI（Region Of Interest）坐標；②將基于傳統數字圖像處理算法的虹膜分割中的ROI設置為Faster R-CNN定位的結果；③在ROI調用傳統虹膜分割算法完成剩余的虹膜檢測流程。

Faster R-CNN模型將特征提取、建議框提取、邊框回歸、分類都整合到一個網絡中，大大提升了目標檢測的整體性能[22]。相比傳統虹膜定位方法，采用Faster R-CNN模型進行虹膜定位，不僅能提高虹膜定位的精度，而且對不同光照條件、不同圖像質量的適應性也更好。

Faster R-CNN模型的基本流程主要包括：①輸入到檢測樣本圖像；②通過CNN提輸入的圖像提取特征；③通過RPN（Region Proposal Network，即區域生成網絡）生成若干個建議窗口；④將建議窗口映射到CNN的最后一層卷積特征圖；⑤通過ROI池化層為每個ROI生成固定尺寸的特征圖；⑥對分類概率和邊框回歸進行聯合訓練。

上述流程如圖3所示。

圖3 Faster R-CNN模型基本流程

在將Faster R-CNN模型應用于虹膜檢測時，需要先選取訓練數據進行標注。本文所使用的虹膜圖像數據均為采用紅外相機拍攝的固定分辨率大小的灰度圖像。圖像中的虹膜的大小、位置、清晰度等均不相同。為了更好地識別定位出測試集中的虹膜區域，在對訓練集中的虹膜圖像進行標注時，要盡量減少標注框內的其他物體信息。標注時，將虹膜的外邊界用圓形標注，并將虹膜外邊界標注圓的外接矩形也進行標注；將瞳孔的邊界用圓形標注，并將瞳孔標注圓的外接矩形也進行標注。典型的標注圖像如圖4所示。

圖4 圖像標注

在訓練過程中，先使用ImageNet分類預訓練模型進行訓練網絡的初始化，得到虹膜定位訓練模型的初始參數和權重。經迭代訓練20 000次得到的初始模型檢測定位效果較好。隨后將初始模型與VGG16相結合進行進一步的迭代訓練。

Faster R-CNN模型檢測方法需要提取候選框的RPN。RPN的生成過程[23]如圖5所示。

圖5 區域建議網絡生成過程

在訓練RPN時，對交并比（Intersection over Union，IoU）大于等于0.7的候選框分配正標簽，IoU小于0.3的候選框分配負標簽。采用非極大值抑制（Non Maximum Suppression，NMS）進行冗余處理。經過Faster R-CNN模型的檢測，可以得到圖像中的虹膜外邊界、虹膜內邊界的定位結果，如圖6所示。

圖6 Faster R-CNN模型定位虹膜內外邊界

通過Faster R-CNN模型檢測得到的虹膜定位結果作為區域二值化閾值計算的ROI范圍可以作為包含有效虹膜區域的最小矩形區域。從人眼的生理特性來說，上眼瞼和上眼睫毛會遮擋一部分虹膜區域；下眼瞼和下眼睫毛遮擋的虹膜區域相對較小；以虹膜中心點水平線為基準，正負45°/135°范圍內虹膜區域受到的干擾則幾乎沒有。為了進一步降低ROI范圍內上下邊界處眼瞼、睫毛的影響，可以將二值化閾值計算的范圍限制在ROI的水平中心線正負45°/135°左右邊界附近，如圖7所示。

圖7 二值化閾值計算區域選擇

結合Faster R-CNN模型檢測得到的虹膜定位和傳統虹膜定位及區域分割算法，可以在提高定位、分割精度的同時，不降低檢測速度，較好地解決了精度與速度的矛盾。

3 實驗與結果分析

實驗所使用的電腦配置：CPU i7 2.4 GHz，內存16 G，顯卡NVIDIA GTX 1080ti。實驗數據從CASIA V4.0虹膜庫中選取1 000組虹膜作為訓練樣本，5 000組虹膜作為測試樣本。

實驗步驟：①將測試集樣本進行人工標注，采用Faster R-CNN模型進行訓練，設置訓練RPN的對交并比IoU大于等于0.7分配正樣本，小于0.3分配負樣本；②對測試集數據采用訓練得到的網絡模型進行虹膜定位，并結合傳統圓擬合分割算法進行虹膜區域的分割；③對測試數據集的分割結果，進行展開歸一化，采用Log-Gabor算子進行特征提取；④所有5 000組虹膜的特征值進行1∶N比對，根據相似度分數計算識別精度FAR-FRR。

實驗結果表明，采用Faster R-CNN模型定位虹膜內外邊界結合傳統虹膜檢測算法（Faster R-CNN+DIP）的算法精度，比單純采用傳統虹膜檢測算法（DIP）的算法精度有一定的提高，如表1所示。

表1 算法檢測精度對比

FAR-FRR的ROC曲線如圖8所示。

圖8 FAR-FRR的ROC曲線

從實驗數據可以看出，采用Faster R-CNN模型優化虹膜定位，可以提高虹膜區域分割的精度，從而提升了整體的識別精度。

在5 000組虹膜的平均虹膜檢測耗時對比數據來看，2種方法的耗時差異不大，均具備較好的實時性，如表2所示。

表2 算法檢測耗時對比

4 結束語

本文提出了一種基于Faster R-CNN模型進行虹膜定位的方法，用于改進傳統虹膜檢測算法中虹膜定位不準導致的分割準確度不高、識別精度降低的問題。經實驗證明，該方法確實能提高虹膜定位的準確率和識別精度，且沒有顯著增加虹膜檢測的耗時，達到了預期的目的。如何降低虹膜檢測的平均耗時，如何在不具備NVIDIA顯卡的環境中保證算法的檢測精度和速度，是后續研究的一個方向。