一種基于幾何形狀特征的實時瞳孔定位追蹤技術

陳靜瑜，林麗媛，劉冠軍，王 穎

(天津科技大學電子信息與自動化學院，天津300222)

隨著5G時代的到來，中國制造2025的戰略方針推進速度越來越快[1]．在創新驅動、信息技術的推動下，人機交互也迅速成為研究熱點．瞳孔作為重要的生理參數，伴隨瞳孔定位追蹤技術不斷發展[2]，瞳孔定位的執行速度、準確性和魯棒性受到更多關注．

瞳孔定位方法大致可以分為基于灰度的閾值分割[3-4]、基于Hough變換的橢圓檢測[5-10]、基于機器學習的分割算法[11-14]和基于深度學習的分割算法[15-17].從Daugman提出Hough變換為圓形邊緣探測器，對瞳孔與虹膜邊緣進行檢測，以及Wildes[5]應用邊緣檢測和霍夫變換得到虹膜邊界開始，研究者一直不停探索更加精確高效的定位方法．Timm等[6]提出通過梯度精確定位眼睛中心，即中心(半)循環模式的大多數圖像梯度相交的位置為眼睛中心，但是該方法容易受眉毛和鬢角的干擾．Basit等[7]提出虹膜圖像中的非圓形瞳孔定位，即將瞳孔的圓形邊界分成一定數量的點，根據這些點的最大梯度重新定位，結合成非圓形邊界得到瞳孔精確定位．Marku?a等[13]提出了一種基于隨機化回歸樹集合的瞳孔定位方法，該方法準確率高，但對于處理眉毛和鬢角的干擾依然存在一些問題．基于機器學習的瞳孔定位方法[14]對于采集環境要求較高，能夠在眼瞼、睫毛遮擋、非均勻照明、自然低光等情況下進行較準確的瞳孔分割．隨著深度學習和遷移學習的不斷發展，Choi等[15]在2019年提出使用異構卷積神經網絡(convolutional neural network，CNN)模型進行精確眼瞳孔定位，并聯合生成對抗網絡(generative adversarial networks，GAN)摘除眼鏡．同年，Yiu等[16]提議使用完全卷積神經網絡(full convolutional neural networks，FCNN)實現瞳孔分割定位．最近，Wang等[17]提出了基于深度學習的一種高效虹膜分割方法——虹膜分析網，提高了虹膜分割性能．但相關深度學習的分割、定位算法，數據計算量過大，對系統硬件的計算能力要求較高，且不能保證良好的實時性．除此之外，還有各種用于輔助瞳孔定位的外接設備，其高昂的價格讓不少使用者望而卻步．

以上研究表明瞳孔定位易受眉毛、鬢角和光照強度等不可避免因素的干擾，并且輔助外接設備價格昂貴．因此，本文采用幾何形狀特征實時瞳孔定位方法，力求在確保定位追蹤精準、快速的基礎上，降低眉毛、鬢角和光照強度等干擾造成的定位錯誤率．該技術首先利用面積閾值法去除大部分干擾；然后通過外接矩形長寬比去除眉毛造成的干擾，初步確定瞳孔位置；最后依據外接矩形角度差去除鬢角和光照強度等干擾，精確定位瞳孔位置并追蹤瞳孔軌跡．

1 瞳孔定位算法

相對于虹膜和鞏膜，瞳孔的灰度值最小，形狀更加完整，更靠近眼球中心，且不易被睫毛遮擋，更易于分離和分割．因此，依據瞳孔形變及本身特征通過面積閾值法篩選、外接矩形長寬比篩選和角度差篩選，能夠實現瞳孔的精確定位．

1.1 瞳孔預定位

虹膜、鞏膜與瞳孔本身存在灰度值差異，邊緣檢測對于這種像素變化具有較高的穩定性和穩固性，瞳孔預定位通過該差異，利用圖像的雙邊濾波、圖像二值化和形態學處理，經邊緣檢測將瞳孔從三者之間分割出來．圖1為瞳孔預定位效果圖，其中圖1(a)為原圖，圖1(b)為雙邊濾波處理后的結果圖，不僅降低了噪聲干擾，而且可以通過式(1)保持邊緣信息．

其中 kr(z)是對結果進行單位化，s(ξ,z)為基于像素相似程度的高斯權重，c(ξ,z)為基于空間距離的高斯權重，見式(2)—式(4)．

式中：z為圖像任意一點的灰度值；ξ為z的臨近值，且有圖1(c)為閾值分割后的眼球圖像，可以清楚地分辨瞳孔區域、眼角部分陰影和部分睫毛區域．為消除獨立的噪聲，并分割出獨立的圖像元素，在完成閾值分割的基礎上采用結構元為7×7大小的核進行形態學閉操作．

圖1 瞳孔預定位效果圖Fig. 1 Renderings of pupil reservation

1.2 連通域面積篩選

連通域面積篩選主要排除瞳孔預定位后，剩余連通域中與瞳孔連通域面積相差較大的干擾部分，如鬢角、較大范圍的頭發或者臉上的黑痣等．連通域面積篩選公式為

其中：Ss為篩選的瞳孔區域面積；Na為輪廓包含的像素數目；Nb為輪廓邊緣的像素數目；SsU為Ss的實驗上界值；SsL為Ss的實驗下界值．實驗過程中被試者保持相對位置不變，人眼距離屏幕(20±2)cm，人眼距離桌面(35±2)cm，保證采集位置和光照強度盡量恒定，減少位置和光照對實驗的干擾．經過相機標定之后，對85名被試者分別拍攝左眼和右眼，其中每位被試者不斷變換眼球注視姿態采集眼球圖像100張，共采集眼球圖像8500張，計算出每位被試者瞳孔的平均面積．圖2為被試者瞳孔區域平均面積分布圖，從2圖可以看出：不同被試者瞳孔面積不同，但均分布在400～2000像素之間．因此，將Ss設定在400～2000像素之間．

圖2 被試者瞳孔區域平均面積分布圖 Fig. 2 Distribution of mean pupillary area of subjects

1.3 外接矩形長寬比篩選

基于四鄰域法劃分連通域，定義兩種外接矩形：第一種以4個極值點為頂點坐標的正外接矩形，第二種為面積最小外接矩形．

定義外接矩形頂點集合為A，見式(6)．

其中：i∈(1，2，…，N)，N為正整數；Aim表示第i個外接矩形的4個頂點( xim,yim)的集合；m表示頂點位置，外接矩形坐標示意圖見圖3．

圖3 外接矩形坐標示意圖Fig. 3 Schematic diagram of enclosing rectangular coordinates

按照指定角度θ旋轉 Aim，獲得新的外接矩形的4個頂點，每個頂點( xim,yim)計算公式為

圖3中li、iw、Si的計算公式見式(8)，Si為外接矩形面積．定義其長寬比為

連通域外接矩形如圖4所示．滿足式(9)時為第一種外接矩形，即最小正外接矩形，如圖4(a)中的藍色矩形框所示．

滿足式(10)條件時為第二種外接矩形，即最小面積外接矩形，如圖4(b)中紅色矩形框所示，以計算連通域的傾斜角度．

其中Smin為最小面積．圖4(c)是兩種外接矩形的對比圖．

圖4 連通域外接矩形Fig. 4 Connected region outside the rectangle

利用長寬比R進行二次篩選，排除與瞳孔面積相近輪廓所造成的誤差．瞳孔近似于圓形，根據采集角度、瞳孔位置變化和極限位置采集實驗結果，將外接矩形長寬比的篩選值R設定為0.8～1.7．圖5為3種不同瞳孔外接矩形長寬比的示意圖，圖中標記了瞳孔區域外接矩形的長度、寬度、長寬比R以及不同比值時的瞳孔定位效果．

圖5 3種不同外接矩形長寬比的瞳孔分割結果Fig. 5 Pupil segmentation results of three different rectangles with different aspect ratios

圖5 (b)的瞳孔外接矩形的長寬比R＝0.947，最接近1，所以瞳孔分割結果最接近圓形．

1.4 最小外接矩形與外接矩形角度差篩選

連通域最小外接矩形與外接矩形角度差篩選主要解決瞳孔灰度特征相似的干擾，進一步提高瞳孔定位的準確率．因為瞳孔形變結果只能是圓形或者橢圓，所以篩選角度差設為0°或45°．角度差定位如圖6所示：右邊的連通域兩個外接矩形的角度偏差為0°，屬于瞳孔區域．左邊的連通域為眼角陰影，有兩個外接矩形，水平方向的為正外接矩形，傾斜的為最小外接矩形，兩個外接矩形的角度差為9°，不在角度差篩選范圍內，判定該連通域不屬于瞳孔區域．因此，該算法可實現瞳孔區域篩選功能．

圖6 角度差定位 Fig. 6 Angle difference positioning

1.5 瞳孔精確定位和追蹤

眼部圖像經圖像預處理和瞳孔區域篩選后實現瞳孔區域分割，分割結果如圖7(a)所示，其中紅色區域為瞳孔區域，黃色位置為瞳孔中心，坐標為

其中( xo,yo)是瞳孔中心坐標，( xi0,yi0)為第一種外接矩形的左上角坐標，li與 wi分別為外接矩形的長和寬．將定位后的瞳孔中心位置坐標與原圖進行擬合，并在原圖中標記瞳孔位置，最終得到瞳孔定位圖像，如圖7(b)所示．雖有燈光的輕微干擾，但定位結果并未受到影響，該定位中心與瞳孔的實際中心位置吻合．順序記錄瞳孔中心位置變化，獲得瞳孔運動軌跡.

圖7 瞳孔定位Fig. 7 Pupil positioning

2 實驗結果與分析

2.1 實驗儀器

850nm窄帶濾波8mm的1080p紅外攝像頭一臺，win10系統計算機一臺，分辨率為1920×1080的23.4英寸顯示器一臺，自主設計并3D打印的采集支架一部．實驗環境：Microsoft Visual Studio2019，使用C++語言作為軟件開發語言，聯合使用OpenCV3計算機視覺函數庫，采用Matlab R2018a進行數據處理．

2.2 準確性檢測

由于瞳孔存在個體差異性，本實驗采用中科院的虹膜圖像數據集對算法的準確性進行驗證．在CASIA-Iris-Interval、CASIA-Iris-Lamp、CASIA-Iris-Syn、CASIA-Iris-Thousand和CASIA-Iris-Twins這5個虹膜數據集上進行瞳孔定位準確性檢測，其中CASIA-Iris-Syn的準確率高達99.50%，平均誤差率在7.54%以下．對比傳統Hough變換、文獻[6]中的梯度定位方法、文獻[9]提出的瞳孔定位方法以及全卷積神經網絡(FCNN)的方法[16]，實驗結果進一步驗證了本文方法定位結果的準確性更高，普適性更強．表1為本文方法與上述提到的4種方法在5個數據集上進行瞳孔定位的結果．

表1 瞳孔定位方法對比 Tab. 1 Comparison of pupil positioning methods

由表1可以看出，本文方法定位準確率高，即使 在圖像質量非常差的數據集CASIA-Iris-Interval上，定位準確率依然能夠達到89.54%．

本文技術方法穩定性與抗光照干擾能力強．5種方法在5個不同的數據集上的瞳孔定位結果如圖8所示．其中數據集CASIA-Iris-Interval中的圖像像素為320×280，相比其他幾個數據集，該數據集圖像質量最差，因此經過圖像預處理之后獲取的信息最少，導致識別準確率較低．在使用文獻[6]中的梯度定位方法得到的定位準確率尤為偏低，但本文方法的準確率依然能保證在89.54%．數據集CASIA-Iris-Lamp中的圖像存在濃密的眉毛和顏色深的睫毛的干擾情況，本文技術方法相對于另外4種方法的定位結果更為精準．數據集CASIA-Iris-Syn中的圖像相對較純凈，5種方法定位準確率都較高．數據集CASIA-Iris-Thousand中的圖像，存在眼鏡反光和眼皮遮擋的干擾，FCNN瞳孔分割算法[16]表現出了較強的抗干擾能力，而利用本文技術方法進行定位，準確率也能達到91.30%．數據集CASIA-Iris-Twins中的圖像，存在長睫毛和長頭發的干擾，文獻[6]中的梯度定位方法對其進行了弱化處理，但是同時也損失了圖像信息，導致最終的準確率低，而另外4種方法定位相對準確．

圖8 瞳孔定位效果對比 Fig. 8 Comparison of pupil positioning effect

2.3 魯棒性與實時性分析

為了驗證算法在不同眼球注視情況下定位的魯棒性，在保證眼睛舒適的情況下，實驗采集被試者向上、向下、向左、向右看時不同的瞳孔極限位置以及瞳孔輕微形變情況下的人眼圖像．圖9為利用本文技術方法得到不同眼球注視情況下的瞳孔定位結果．分析魯棒性檢測結果可以發現，該方法能夠準確地分割瞳孔區域，同時實現在人眼正常視物狀態下，眼球向極左、極右、極上、極下方向觀看時，準確地定位瞳孔，證明本文的技術方法具有良好的魯棒性和抗干擾能力．

在不同光照情況下采集眼部圖像，定位結果如圖10所示．從結果得知定位準確，抗燈光干擾能力強．

在數據集CASIA-Iris-Syn 中定位準確率最高，并且該數據集中存在較多眼部有黑痣、斑點以及濃密眉毛頭發的干擾，本文方法仍然能使定位準確率達到99.5%，圖11(a)展示了在黑痣和斑點干擾下的定位結果，圖11(b)展示了在濃密眉毛頭發干擾下的定位結果．

眼鏡的反光對于瞳孔定位的干擾也是非常嚴重的，因此在實驗室隨機選取3名被試者測試本文方法抗眼鏡干擾的結果．選取視力正常、中度近視和重度近視各1名，其中視力正常的被試人員佩戴無屈光度的平光鏡，測試結果為圖12(a)；近視者佩戴屈光度-3.50的近視鏡，測試結果為圖12(b)；近視者佩戴屈光度-7.25的近視鏡，測試結果為圖12(c)．由圖12可見，該定位方法可以應用于近視、遠視患者身上，能夠實現在佩戴眼鏡的情況下進行瞳孔信息的采集、處理工作.

圖9 瞳孔定位魯棒性檢測 Fig. 9 Robust detection of pupil positioning

圖10 不同光照干擾測試圖 Fig. 10 Test diagram of different light interference

圖11 黑痣、斑點、毛發干擾測試圖 Fig. 11 Test chart of mole，spot and hair interference

圖12 眼鏡干擾測試圖 Fig. 12 Glasses interference test diagram

圖13 為被試者在正常視物情況下，實現實時瞳孔定位追蹤的軟件界面．其中：左圖為實時定位的瞳孔擬合圖；右圖為視線軌跡圖，為順序記錄的瞳孔中心運動軌跡，紫色標記為第1幀開始位置，紅色標記為當前瞳孔位置，同時將檢測到的瞳孔面積、瞳孔中心坐標、采集時間和當前采集幀數作為數據輸出．結果表明，本文技術方法具有良好的實時性．

圖13 實時視線定位追蹤軟件界面 Fig. 13 Interface of real-time eye tracking software

3 結 語

針對生理參數中瞳孔定位普遍存在的鬢角、眉毛和光照等干擾，提出了一種基于幾何形狀特征的實時瞳孔定位追蹤技術．該技術實現方法利用瞳孔面積閾值篩選、聯合兩種不同的瞳孔外接矩形長寬比、角度差提取瞳孔特征，逐步精確定位瞳孔，最后通過瞳孔中心坐標與原圖像擬合獲得準確的實時瞳孔定位，并將瞳孔中心位置坐標順序連接，實現瞳孔軌跡追蹤．

將該技術方法在中科院5種不同的虹膜圖像數據集上進行準確性檢測，結果表明該定位技術的最高準確率提高到99.5%，平均誤差減少到7.54%．由85名被試者在不同眼球注視情況下進行實時性檢測，結果表明該定位技術能有效地解決睫毛遮擋、眼部黑痣干擾、眼角部分陰影干擾等一系列問題．通過被試者在正常視物情況下注視不同極限位置的測試，證明該技術實時性和魯棒性良好．由此可見，該技術對背景環境要求較低、具有實時性，并能夠根據瞳孔位置實時精確定位追蹤被試者的眼睛以及人臉等，可以廣泛應用于眼球追蹤、視線分析等方面的研究．