基于數字圖像處理的眼球控制精度提高方法

嚴德賽,曾 誠,2

(1.湖北大學 計算機與信息工程學院,武漢 430062; 2.湖北省教育信息化工程技術研究中心(湖北大學),武漢 430062)(*通信作者電子郵箱zc@hubu.edu.cn)

0 引言

眼球控制技術很早就出現了,但是由于精度不高并沒有被大面積地推廣運用。眼球追蹤是一項科學應用技術:一是根據眼球和眼球周邊的特征變化進行跟蹤;二是根據虹膜角度變化進行跟蹤;三是主動投射紅外線等光束到虹膜來提取特征。眼球追蹤技術的主要設備包括紅外設備和圖像采集設備,在精確度方面,紅外線投射方式有比較大的優勢,能在30 in的屏幕上精確到1 cm以內,可以在一定程度上代替鼠標、觸摸板進行一些有限的操作。此外,其他圖像采集設備,如電腦或手機上的攝像頭,在軟件的支持下也可以實現眼球追蹤,但是在準確性、速度和穩定性上不夠理想。

2014年5月三星發布Galaxy S Ⅲ,該手機通過前置攝像頭檢測用戶眼睛狀態,當檢測用戶眼睛正盯著手機屏幕看,即使用戶沒有進行任何操作,屏幕也不會自動熄滅。此外,LG的Optimus手機也支持通過眼球運動控制視頻播放,只要用戶轉移視線,視頻播放器會自動暫停,直至視線重回屏幕。2013年一家瑞典公司Tobii計劃推出一款產品,讓舊電腦也能接入眼球追蹤。這款設備名叫Rex,是一個電腦外設設備,只要把它放置在屏幕頂部,再通過通用串行總線(Universal Serial Bus, USB)接口接入,用戶就能利用視線來控制電腦完成部分操作,比如操控IE頁面滾動、使用Windows 8地圖應用等。這些眼球控制方法只能實現簡單的滑動和翻頁操作,不能勝任很多復雜性的操作,如果想要讓眼球控制進行更多的操作,提高眼球控制精度是必不可少的。因此,本文提出基于數字圖像處理技術的人眼焦點在屏幕上映射的方法來提高眼球控制精度,使眼球能夠對帶有屏幕設備實行更多復雜性操作。該方法精度隨傳感器捕捉眼球圖片分辨率的提高而進一步提高，且比目前市面上通過遠距離多攝像頭捕捉眼球轉動角度方法精度要高。

1 理論基礎

目前有很多遠距離眼球追蹤技術。例如Bozomitu等[1]提出一種基于圓形霍夫變換技術的瞳孔中心坐標檢測的強大技術來實現眼球追蹤,不能滿足實時性要求；沈海平等[2]提出一種基于瞳孔檢測的注視點方法來實現眼球追蹤,但是精度不高、誤差較大；Soltany等[3]提出一種實時眼球跟蹤的快速瞳孔定位算法是對目前主要算法的準確性改進,但識別精度達不到要求；Chen等[4]針對霍夫變換算法檢測瞳孔中心效率低的問題提出邊緣梯度算法,但算法復雜、滿足不了性能要求；Sateesh[5]提出一種快速高效的瞳孔分割和檢測的簡單方法,但該方法不具有足夠的準確性；Amir等[6]介紹了一種基于硬件的眼睛檢測嵌入式系統,但在追蹤過程中檢測精度不高；Fuhl等[7]提出一種目前最先進的遠距離瞳孔檢測算法,但算法復雜、運行時間長；Sugawara等[8]介紹了一種眼鏡佩戴式的眼球追蹤裝置,雖然外觀新穎但是眼球跟蹤精度不高。科學實驗結果表明,目前的瞳孔檢測與追蹤方法的準確性或實時性還不能滿足實際需要。

人眼的結構相當于一個凸透鏡,物品反射的光源經過人眼晶狀體的折射在視網膜上成像并轉化為神經信號傳入到大腦內部。

圖1為人眼結構圖。圖2為人眼聚焦原理，可看出人眼看到的物點和像點確定的直線正好經過晶狀體的圓心,而該圓心位置也就是瞳孔的正中心位置。瞳孔中心的點就是人眼看物體時聚焦的點,例如Zhu等[9]采用一種基于圖像處理技術的瞳孔邊界曲率特性算法來計算出瞳孔圓心位置以確定人眼觀看屏幕上的位置。用戶通過鼠標操作電腦時就是眼睛先看到想要點擊的圖標后移動光標到需要點擊的應用圖標處進行操作,當人眼焦點聚集在應用圖標時,該應用圖標位置就映射到瞳孔圓心處。人之所以能看見物體就是因為物體自身發光或反射的光進入到眼睛里。目前各種屏幕或是投影儀會自發光或反射光到眼球里,并且這個屏幕的高亮輪廓會映射在眼球上,通過瞳孔圓心和眼球上的輪廓關系能很容易找到人眼聚焦點在屏幕上的位置。

圖1 人眼結構Fig. 1 Human eye structure

圖3是用紅外攝像機拍攝的人眼瞳孔圖片并基于Matlab運用Hough改進算法找出瞳孔圓心的實驗效果圖,瞳孔圓心處也正好是人眼看物體的聚焦點。圖3中瞳孔上的三個最亮光點是實驗屏幕四角處紅外發光二級管(Light-Emitting Diode, LED)在眼球中的反射,該三個最亮光點唯一確定的矩形就是實驗屏幕邊框在眼球中形成的映射。運用Matlab軟件能夠捕捉到虹膜的圓形和圓心位置以及計算屏幕反射亮框的像素點長度。耿新等[10]利用混合投影函數可以相當精確地確定眼睛中心的位置,Szczepanski等[11]則介紹了一個簡單而強大的瞳孔和虹膜檢測方案來確定虹膜中心和瞳孔半徑。

圖2 人眼聚焦原理Fig. 2 Human eye focus schematic

圖3 Hough改進算法找瞳孔圓心Fig. 3 Hough improved algorithm to find pupil center

2 人眼焦點與屏幕聯系

2.1 正面角度下人眼焦點與屏幕聯系

人眼焦點與屏幕的聯系可由圖4直觀反映出。圖4中瞳孔里三個最亮光點確定的唯一矩形就是實驗屏幕在眼球中形成的映射,瞳孔圓心處就是人眼焦點位置。人眼焦點與映射邊框的位置關系能間接表示人眼焦點在屏幕上的具體位置。由這個關系就能確定該時刻人眼焦點在實驗屏幕上的具體位置，當每一幀圖片中位置關系都能確定時就能實現對眼球焦點的追蹤，進而能實現眼球對屏幕的控制及操作。通過這個關系能夠將人眼焦點和屏幕上的注視點聯系起來,該關系的準確性隨拍攝圖片分辨率的提高而進一步提高，以至提高對屏幕控制的精度。

圖4 人眼焦點和屏幕關系Fig. 4 Relationship between human eye focus and screen

用某種高清傳感器放在眼睛附近來實時捕捉眼球圖片,該圖片就是人眼焦點在屏幕上的位置圖,將拍攝照片放大一定倍數后最終出現的就是每個正方形的像素點。以下所有計算均以像素點為單位。如圖5可知眼球上反射的屏幕邊框縱向長為BC，橫向長為AB,焦點距離屏幕左邊框長為GH,焦點距離屏幕上邊框長為EF。真實屏幕以左上角為原點,橫向為X軸,縱向為Y軸,人眼焦點在屏幕上位置為(X,Y),設實際屏幕橫向長為M,縱向長為N。人眼看到的屏幕和傳感器拍攝得到的屏幕是左右顛倒的。

人眼焦點在屏幕上的橫坐標X的計算公式為：

(1)

人眼焦點在屏幕上的縱坐標Y的計算公式為：

(2)

正面角度下人眼焦點在屏幕上的具體坐標位置(X,Y)的計算公式為：

(3)

圖5 抽象化的人眼焦點和屏幕關系Fig. 5 Relationship between abstract human eye focus and screen

2.2 眼球單向轉動45°內人眼焦點與屏幕聯系

上面敘述的是理想情況下傳感器正對著眼睛拍照得出的人眼焦點與屏幕聯系。真實情況下傳感器捕捉眼球反射畫面是在不干涉視覺情況下與瞳孔直視方向具有一定角度，如圖6(a)所示。

圖6 兩種眼球俯視圖Fig. 6 Two eyeball top views

攝像頭傳感器是固定在眼鏡等類似框架上,傳感器拍攝眼球畫面時與瞳孔直視方向有一定的角度,因此傳感器拍攝人眼虹膜會是橢圓的,且橢圓中心點不是人眼焦點位置。人類眼球平均直徑為24 mm,虹膜平均直徑為11.4 mm,計算出虹膜圓心角為56.74°,根據電腦屏幕15.6 in觀看距離60 cm計算眼球觀看屏幕轉動角度不超過45°,如圖6(b)所示，傳感器不在圖中陰影區內就不會因為眼球轉動而導致自身阻擋傳感器拍攝圖片。當傳感器和瞳孔正中心具有一定夾角時拍攝出來的人眼虹膜照片就不是正圓而是橢圓,橢圓的中心點也不是人眼焦點位置。設圖片上橢圓人眼虹膜的短半軸為a，長半軸為b,眼球半徑為R,α為虹膜對應的圓心角度,θ=arccos(a/b),眼球里屏幕映射縱向長度為BC,眼球里屏幕映射左邊框在橢圓左邊為正值右邊為負值,屏幕左邊框到橢圓中心點距離為GH,屏幕上邊框到橢圓中心點距離為EF,屏幕的長寬比為k。

眼球單向轉動45°內人眼焦點在屏幕上的橫坐標X的計算公式如式(4)所示；眼球單向轉動45°內人眼焦點在屏幕上的縱坐標Y的計算公式與式(2)相同；眼球單向轉動45°內人眼焦點在屏幕上的具體坐標位置(X,Y)由式(4)和式(2)中的X與Y代入所得；該坐標(X,Y)就是人眼焦點在屏幕上的位置坐標。通過該坐標能實現人眼對屏幕精確控制的第一步,確定人眼焦點在屏幕上的位置。

X=

(4)

3 實驗與分析

3.1 實驗數據分析

實驗器材使用的是130萬像素850 nm波長的紅外攝像頭和4個850 nm波長紅外發光二級管。紅外攝像頭用來近距離捕捉瞳孔圖片,發光二級管用來固定在屏幕四角來確定屏幕邊框。用該方法進行了多次實驗,挑出以下最具代表性數據進行分析。表1中前三條數據是5.5 in手機屏幕實驗得出的結論數據,后三條數據是用15.6 in電腦屏幕實驗得出的結論數據。虹膜反射邊框分辨率表示的是屏幕邊框在眼球虹膜中映射的長和寬,誤差精度表示的是人眼焦點在屏幕上實際位置與實驗結論相差的距離,屏幕距離表示的是人眼和觀察屏幕之間的距離。該方法的誤差精度總體上能和目前主流方法的誤差精度持平,隨日后微距高清攝像頭拍攝照片分辨率提高,該方法的控制精度將隨采樣照片分辨率提高而進一步提高。

從表1數據可知虹膜反射邊框分辨率和精度關系，精度隨傳感器采集的虹膜反射邊框分辨率的提高而提高。

表1 精度與分辨率關系Tab. 1 Relationship of precision and resolution

3.2 方法對比分析

目前主流的眼球控制方法有二維定標方法、補償估計方法、注視點估計方法和迭代橢圓擬合方法。其中迭代橢圓擬合方法的精度最高,能夠達到視角平均角度誤差為0.5°左右,但是該方法復雜且計算量巨大難以達到實時的性能要求。注視點估計方法視角平均角度誤差為0.7°左右,但是該方法使用器材較多而且紅外攝像頭遠距離捕捉的圖片光點矩陣會變形導致后期圖像處理工作過程復雜耗時。二維定標方法和補償估計方法的精確度不高。本文方法操作及算法簡單,容易實現且耗時較少；但缺點就是目前微距離高清攝像機捕捉的圖片分辨率不高會導致精度誤差較大,日后本方法的識別精度隨攝像機拍攝圖片分辨率提高而進一步提高。

表2 不同算法的精度對比Tab. 2 Accuracy comparison of different algorithms

根據表2可知：二維定標算法[2]的視角平均誤差為2.5°,該方法原理簡單、運行速度快,適合于對瞳孔的初步定位。補償估計算法[12]的視角精度在1°內,該方法通過大量統計及計算來補償視角誤差從而提高精度,且遠距離攝像機拍攝的圖片會導致計算結果具有較大誤差，但該方法思路新穎具有啟發性。最新的注視點估計算法[13]于2017年提出，可顯著提高注視性能并且視角平均誤差能保持在0.7°,該方法建立的虛擬平面投影與瞳孔角膜相切以估計注視點位置，具有算法復雜、計算量大和耗時長等缺點。迭代橢圓擬合算法[14]能夠檢測出瞳孔旋轉角度大于0.5°的轉動,該方法是目前精確度最高的。該技術已運用在近距離的頭戴虛擬現實設備中,且難以對遠距離的手機及電腦屏幕實現精準控制。

4 結語

本文采用的方法是根據屏幕邊框在眼球上的映射來確定焦點在屏幕上的位置，且精度隨捕捉圖片分辨率提交而進一步提高。該方法是運用數字圖像處理技術對傳感器拍攝圖片進行計算獲得焦點坐標信息，實現眼球對屏幕高精度控制。本文方法的不足之處在于必須有一個高清傳感器距離眼睛很近來捕捉眼球反射畫面,這就必須讓使用者在眼鏡框上固定一個微型攝像機裝置,和遠距離傳感器捕捉方法相比較為不便。本文方法精度高,可以實現更多目前遠距離眼球追蹤技術因為精度不夠而不能完成的操作,能夠讓許多雙手不便用戶實現對屏幕設備的控制。該技術也可以運用到射擊類游戲里,將眼睛看到、移動鼠標、點擊鼠標射擊三個步驟減少為眼睛看到、點擊射擊兩個步驟,增強游戲體驗感。目前運用Matlab軟件編程已經基本實現對人眼焦點追蹤，后續工作中將進一步通過代碼優化來提高精度，讓軟件和硬件有機結合并進一步提高眼球控制精度。