基于視線追蹤的眼控鼠標設計*

朱麒文，閆隆鑫，張若蘭，張帥，楊蘭蘭

（東南大學電子科學與工程學院，南京210096）

基于視線追蹤的眼控鼠標設計*

朱麒文，閆隆鑫，張若蘭，張帥，楊蘭蘭*

（東南大學電子科學與工程學院，南京210096）

以Visual Studio為平臺，OpenCV計算機視覺庫為基礎，輔助以單片機、傳感器、無線傳輸模塊等自主研發了一套頭戴式視線追蹤系統，完成瞳孔提取、視線追蹤定位、眨眼檢測等功能，實現眼球替代鼠標完成對電腦的指令。創新性地提出了橢圓擬合與積分投影去噪法等方法，以消除頭部微小移動對定位帶來的影響，使系統具有高的精確度和良好的實用價值。

信息處理技術；眼控鼠標；視線追蹤技術；瞳孔提取；圖像處理；opencv

信息加工在很大程度上依賴于視覺，約有80%～90%的外界信息是通過人的眼睛獲得的，人的視線具有直接性、自然性和雙向性等其它信息所無法具備的特點。1901年，Dodge和Cline開發出第一臺精確的、非強迫式的眼追蹤設備［1］。目前，視線跟蹤技術逐步成熟，應用廣泛。主要應用于圖片、廣告研究（網頁評估、設計評估等）、動態分析（航空航天相關領域、體育運動、汽車、飛機駕駛、打字動作分析等）、產品測試（廣告測試、網頁測試、產品可用性測試等）、場景研究（商場購物、店鋪裝潢、家居環境等）和人機交互等各種領域［2］。

1　視線追蹤技術簡介及本項目創新之處

視線追蹤裝置按照探測器是否與人體接觸分為兩大類：接觸式和非接觸式。［3～4］二者相比較而言，非接觸式眼控鼠標較接觸式系統更容易為使用者所接受，并且也能避免直接接觸可能帶來的物理傷害。而各類方法之間在應用背景、帶寬、精度、抗干擾能力等各項指標上存在較大差異，其中值得一提的是光學眼球追蹤法是通過攝像設備系統獲取眼部圖像信息，利用圖形圖像學原理定位眼部特征信息（例如瞳孔，內外眼角等），通過對比前后獲取的眼部特征信息來分析眼球移動的方向、趨勢等。隨著近年來計算機處理能力的提升，處理算法優化以及圖像處理學的飛速發展等因素，該方法越來越收到國內外學者的重視。

本文基于光學眼球追蹤法研制了一套完整的眼控鼠標系統，相比于目前已經存在的眼控鼠標系統，本設計創新之處如下：

（1）構建了一套系統支架結構，可以通過各個關節處的調節裝置，保證各個檢測環節的準確性。

（2）提出了一套瞳孔周邊噪點去除方案，有效去除了瞳孔周圍諸如睫毛等干擾點的影響。

（3）提出了一套瞳孔輪廓提取算法，通過曲率計算，圖像處理等方法準確提取出瞳孔輪廓。

（4）提出了一套瞳孔坐標與電腦鼠標坐標二者的映射算法，保證鼠標坐標映射精度。

（5）提出了一種鼠標單雙擊檢測與執行算法。

2　視線追蹤系統的構建

2.1系統原理

在本設計中，通過攝像頭采集人眼瞳孔的圖像，經過相關的圖像處理算法，實現瞳孔輪廓的捕捉和提取，同時將其傳輸至PC端使用相應的算法對提取出的瞳孔輪廓進行處理，進行視線注意點到顯示器屏幕坐標點的映射，從而實現對視線的追蹤；此外，輔助以接近傳感器和單片機來完成眨眼的檢測，實現對應的鼠標單雙擊的行為。

其具體硬件實施方案流程如圖1所示。

圖1　項目硬件實施方案流程圖

2.2硬件系統的選擇

硬件系統主要適用于室內環境下頭戴式視線追蹤系統對人眼注視點的追蹤和眨眼反映的檢測，以視頻圖像為實行分析和檢測的基礎。硬件部分包括30萬像素的CMOS攝像頭傳感器，配以21°窄角鏡頭、850 nm紅外濾光片、6個紅外LED進行用戶眼部圖像的采集；另外采用TCRT5000紅外反射式接近傳感器進行眨眼行為的檢測，并通過藍牙完成于PC的通信。

2.3硬件系統構建

硬件系統由主體頭套部分、瞳孔圖像采集部分支架、眨眼動作檢測部分支架、系帶固定部分構成，如圖2所示，以上所述各部分依次對應圖中1、2、3、4。

其中主體頭套部分，整體呈弧形以與用戶的前額貼合，且在兩側有系帶固定部分的設計，通過在系帶固定部分上系帶固定在用戶的頭部，且在靠中間部位與瞳孔圖像采集部分支架相連，在兩側分別連接有一個眨眼動作檢測部分支架。

圖2　項目支架系統效果圖

瞳孔圖像采集部分支架，其關節處可以在XYZ 3個平面內旋轉調整角度，且與主體頭套部分連接的主支臂可以自由調節長度，另一支臂上裝有滑塊用于固定采集人眼瞳孔圖像的ccd攝像頭。

眨眼動作檢測部分支架，其關節處可以在XYZ 3個平面上旋轉調整角度，且支臂上裝有滑塊用于固定檢測眨眼動作的接近傳感器。

在使用時，先將主體頭套部分通過綁帶固定在前額上，再運行眼控鼠標配套的軟件，運行之后將在電腦屏幕上顯示攝像頭實時采集的圖像，用于配合調節瞳孔圖像采集部分支架的長度和角度，以便讓用戶的眼睛部位完全被攝像頭采集到，避免對計算機圖像處理過程造成干擾，以及調節眨眼動作檢測部分支架的角度，和固定在上面的傳感器的方向和位置。多角度和長度調節的設置使得硬件系統能適用于更多具有不同面部特征的用戶。

3　瞳孔提取算法

通常情形下，瞳孔中心與眼部注視點是相對應的。自視線追蹤技術被提出以來，瞳孔提取算法已經不再拘泥于Hough變換等常見算法，今年來也提出了大量的新算法，如基于卡爾曼濾波和均值漂移的瞳孔跟蹤方法［3］、分級瞳孔定位算法［7］、基于Hough變換和梯度信息的人眼視線方向估計［8］、通過分析光斑和瞳孔中心確定注視點的算法［9］、基于直方圖和像素灰度對瞳孔中心點的判斷［10］。

對于瞳孔輪廓及中心的提取，介于各類噪點（睫毛噪點、傳感器精度影響、信號噪聲、環境噪聲等［11］）對結果可能產生的諸多影響，首先對圖像進行去噪處理。為了消除噪點對尋找瞳孔輪廓的影響，本設計創新性的提出了一種去除噪點的方法，以消除瞳孔區域以外部分所存在的噪點對定位的精度產生影響。

關于瞳孔提取算法已有設計在OpenGL下實現［12］，而本設計使用的瞳孔提取算法在基于Opencv開源庫下的visual studio下實行［5-6］，能夠在圖像清晰度相對較低的情況下，不需要移除角膜反射亮斑并且不做任何圖像前期處理的情況下，精確地檢測出瞳孔，具體實施方案如下：對于攝像頭所捕捉到的圖像，必然會存在有睫毛等噪點，使得對二值化后的圖像處理難度加大，如圖3所示。

圖3　攝像頭捕捉的及二值化處理后圖像

對此，提出一套噪點去除算法，對眼球圖像的ROI區域進行X，Y方向的積分投影如圖4所示。

圖4　眼球圖像的ROI區域分別在X，Y方向積分投影圖

在圖4中，X，Y方向上均存在峰值，以峰值坐標O：（X0，Y0）為中心，以步長3向一側遞減并按照由中心向兩側的掃描方法尋找左右跳變點即改行瞳孔左右邊界，累計尋找3組，分別記為

具體取點方式如圖5所示。

圖5　瞳孔圖像取點示意圖

參照橢圓一般方程：

圖6　求得的瞳孔最匹配橢圓示意圖

通過該算法，可以有效的消除瞳孔周圍噪點的影響，同時可以注意到角膜反射的亮斑使得瞳孔不再是一個完整的圓形，將會對后期的瞳孔邊緣檢測產生一定影響，此處采用計算瞳孔輪廓上各點的曲率，并進行相應的填補，以保證瞳孔輪廓的完整性。

圖7　光斑處理前后對比圖

對于處理后的圖像，通過濾波等算法后對圖像進行輪廓提取，而后使用最佳匹配圓擬合算法，完成瞳孔中心及輪廓的提取。

圖8　最終提取的瞳孔輪廓

4　視線追蹤及映射算法

4.1問題分析

要實現通過一只眼睛控制鼠標在電腦屏幕上移動的目的，可以通過兩種方式：根據瞳孔中心的相對位移控制鼠標的移動或者建立瞳孔中心位置與鼠標在屏幕位置的固定映射函數。

若通過相對位移控制鼠標，為消除控制過程中產生的誤差累積，必須建立閉環的控制系統，結構相對比較復雜。

若通過瞳孔中心位置與鼠標在屏幕位置的映射函數來直接控制鼠標的位置，控制的精度唯一決定于映射函數的準確性。屬于開環的控制系統，結構相對簡單。

相比之下，建立映射函數的控制方法，原理簡單，更易實現。

4.2模型建立

眼睛在注視屏幕上的點時，瞳孔中心的位置與屏幕上的點存在某種一一映射的關系。這種映射關系取決于觀察者眼睛相對屏幕的位置、眼睛的結構、視力水平、屏幕的大小等多方面的因素，它可以通過統計的方法精確建立，但是必然需要大量采樣，效率鉸低。綜合考慮效率和精度，映射關系可以根據少量采樣點通過函數擬合模型進行確立。

假設瞳孔在攝像頭采集的圖像中的坐標為（x，y），鼠標在屏幕中的坐標為（X，Y），則一定存在某種映射關系f（x，y），g（x，y），使得X=f（x，y），Y=g（x，y）。考慮到f（x，y），g（x，y）的具體表達式難以確定，故使用其一定階數的Taylor展開式在一定精度范圍內進行代替。

若函數f（x，y）在點P（a，b）的鄰域G存在n+1階連續的偏導數，根據二元函數n階Taylor公式，則?Q（a+h，b+k）∈G，有：

圖9　屏幕上的9個樣點

圖10　瞳孔中心的位置

取屏幕的9個等分點作為目標樣點（圖9），記錄瞳孔注視這9個點時在眼部圖形中的位置（圖10）。由圖可以推斷，在瞳孔中心到屏幕點的映射中線性映射中，線性映射占主要部分，故可以取到Taylor展開的二階項，作為對誤差的補償。取2階的Maclaurin展式：

其中，R2為2階Langrange余項，也是用二階多項式替代（fx，y）的誤差項。

同理：

式（1）、式（2）中的參數，可以通過線性最小二乘法進行確定。

4.3模型求解

若用二階多項式代替（fx，y），g（x，y），則得到如下目標函數：

（X，Y），（x，y）可以分別通過采集鼠標在屏幕上、瞳孔在攝像頭圖像中的獲得，故我們取將屏幕等分的9個點（Xi，Y）i作為目標點（見圖9），眼睛注視這九個點，分別獲取九組瞳孔坐標（xi，y）i（i=1，2，3…9）。

使用線性最小二乘法，計算兩組共12個系數的值［13］，記：

解

式（5）往往只有唯一解，其解u即為要求的系數值。

4.4模型改進

（1）增加目標采樣點的個數

9個等分點，雖然覆蓋了屏幕中央的大部分區域，但在屏幕的邊緣區域，映射的非線性性體現的更加明顯。為提高函數的對非線性映射的響應精度，可以在屏幕的邊緣附近增設采樣點。但這會影響在中央部分的線性映射的精度，需要綜合考慮。

（2）多次采集瞳孔坐標

目前已有醫學研究證明，當人類的眼睛凝視某一點時，眼球并不是一直保持不動，而是會有輕微的顫動，這些輕微的顫動屬于不自覺的顫動。因此，當眼睛凝視某一點數秒時，眼睛的焦聚是屬于群聚的分布，而不是完全落于某一固定目標。［3］

所以在采集瞳孔坐標時，對于同一特征點可以采集多次，計算到這些樣本點距離最小的點作為瞳孔坐標的實際使用坐標，從而減少因為眼睛顫動而導致的誤差。

5　眨眼動作檢測算法

對于眨眼動作檢測，提出了兩種算法：圖像處理法，傳感器檢測法。

對于圖像處理法而言，眨眼時瞳孔區域的大小顯著小于非眨眼時瞳孔區域的大小，可據此判斷是否有眨眼。即通過判斷瞳孔半徑是否小于某個設定的閾值來檢測是否有眨眼事件發生。

該方法依然是基于圖像處理而言的，但此方法存在4個弊端，即：

（1）對于一幀圖像，前期的瞳孔提取算法已經使用了較大的時間和內存，眨眼檢測勢必也將會增加一定的圖像處理時間，使得圖像處理速度有所減慢，使得鼠標移動出現滯后現象。

（2）瞳孔的大小會隨著外界的光的強弱變化而變化，若突然出現強光，瞳孔大小會皺縮，使得瞳孔半徑縮小，若半徑小于設定的閾值，就會產生誤判，造成判斷錯誤。

（3）人自然情況下依然會眨眼，使用圖像處理的辦法想要判處自然眨眼所帶來的影響難度較大。

（4）不同人的瞳孔并不相同，部分人可能出現自然狀態下瞳孔大小不同，同時當人眼球向上看時，大部分眼球被眼皮包裹，露出的瞳孔半徑很小，也會將向上看時瞳孔的變化誤判為眨眼，造成判斷錯誤。

基于以上諸多問題，本設計最終采用傳感器檢測的辦法，這里采用接近傳感器，其工作原理如下：人睜眼時會反射傳感器發射的紅外光，此時傳感器的輸出為低電平，當人眨眼時，由于眼皮的反射能力較弱，此時傳感器的輸出將變為高電平，同時，眨眼的時間長短對應于傳感器正脈寬的長短，至此解決了以上問題。

6　實驗數據分析

6.1瞳孔中心-屏幕映射函數

使用屏幕分辨率為1366×768的筆記本電腦顯示屏作為實驗對象，觀察者頭部位于距顯示屏水平約45 cm、豎直約40 cm的位置。屏幕上目標采樣點為9個等分點（見圖9），記錄眼睛注視屏幕上目標采樣點時，瞳孔中心的五組坐標（見表1）。瞳孔中心在眼部圖形中的位置如圖11所示。

表1　瞳孔中心坐標與對應屏幕采樣點的坐標

圖11　瞳孔中心在眼部圖像中的位置（截去不必要的部分）

分別采用一次多項式、二次不含交叉線的多項式和完全二次多項式對實驗數據進行曲線擬合，結果如下。

表2中的自變量（x，y）區五組瞳孔中心坐標的平均值，X=f（x，y）為瞳孔中心到屏幕點橫坐標的映射函數，Y=g（x，y）為瞳孔中心到屏幕點縱坐標的映射函數。R2是擬合優度判定系數，反應了回歸曲線對觀測值的擬合程度。

從以上實驗結果中可以看出，線性函數可以解釋大部分瞳孔中心到屏幕上點的映射關系擬合優度系數在0.9左右。引入二次項后，對擬合誤差有一定的補償效果，但幅度不大（擬合優度系數提高了0.1～0.2）。引入交叉項之后，擬合精度有較大幅度的提高（0.4～0.6），對屏幕點橫縱坐標的映射，擬合優度均達到了0.95以上。

所以完全二次多項式，可以在較大的精度范圍作為瞳孔中心-屏幕映射函數使用。

表2　不同目標函數的擬合結果

7　總結

本設計中探討的眼控鼠標最終以較好的效果實現了視線方向的追蹤，進而完成了鼠標的定位，具有較強的穩定性。可以使人在使用電腦的同時解放雙手做其他的事情或者放松，同時也在一定程度上避免了因使用鼠標時機械固定的姿勢而引起的手腕或其他部位的疾病。此外，本設計中所涉及的視線追蹤技術在軍事、醫療、交通駕駛等方面也能夠被廣泛地利用。

但是改眼控鼠標也有一定局限性，其所建立的瞳孔坐標到屏幕坐標的映射模型是以使用者的頭部保持不動為前提的。在實際使用中，使用者的頭部必然會出現不可避免的移動，頭部的移動會使得模型得到的映射關系發生改變。在以后的研究中需要充分考慮頭部移動對注視點估計的影響，引入頭部運動補償算法來解決這種影響。同時，在未來該項目可以融和平面顯示及語音控制功能，使得本項目更加完善。

［1］趙新燦，左洪福，任勇軍.眼動儀與視線跟蹤技術綜述［J］.計算機工程與應用，2006（12）：118-120.

［2］張昀，牟軒沁.視線跟蹤技術及基于MATLAB的眼動人因實驗開發和建模方法［J］.工業工程與管理，2014，19（2）：89-95.

［3］遲健男，王志良，張闖.視線追蹤［M］.北京：機械工業出版社，2011：23-41，125-162.

［4］卞鋒，江漫清，張紅.視線跟蹤技術及其應用［J］.人類工效學，2009，15（1）：48-52.

［5］王福斌，李迎燕，劉杰.基于OpenCV的機器視覺圖像處理技術實現［J］.機械與電子，2010，2010（6）：54-57.

［6］方玫，喻擎蒼，李華強.C++Builder下基于opencv的數字圖像處理［J］.計算機工程與設計，2008，29（4）：882-884.

［7］蒲小勃，王月星，鄧宏平.視線跟蹤系統中的分級瞳孔定位算法［J］.航空學報，2012，33（6）：1052-1060.

［8］孫興華，陳國勇，趙春霞.基于Hough變換和梯度信息的人眼視線方向估計［J］.小型微型計算機系統，2007，28（6）：1124-1128.

［9］胡畔，董春鵬，吳曉榮.基于視線跟蹤技術的眼控鼠標［J］.天津師范大學學報（自然科學版），2007，27（3）：68-71.

［10］重慶市科學技術研究院.一種眼控鼠標實現方法及系統［P］：中國，103176607A.2013-06-26.

［11］趙新燦，左洪福，徐興民.視線跟蹤技術研究［J］.光電工程，2007，34（10）：118-123.

［12］程建川，韓樣，葉丹.車輛模擬行駛中視線跟蹤技術的實現［J］.交通運輸工程學報，2003，3（2）：113-116.

［13］陳恩水，王峰.數學建模與實驗［M］.北京：科學出版社，2008：84-85.

朱麒文（1994-），男，漢族，東南大學電子科學與工程學院本科在讀，傳感網技術專業，zqw393@163.com；

閆隆鑫（1993-），男，漢族，東南大學電子科學與工程學院本科在讀，電子科學與技術專業，213123279@seu.edu.com；

張若蘭（1994-），女，漢族，東南大學電子科學與工程學院本科在讀，傳感網技術專業，lynx5120555@126.com；

張帥（1993-），男，漢族，東南大學電子科學與工程學院本科在讀，電子科學與技術專業，1198330917@qq.com；

楊蘭蘭（1978-），女，漢族，博士，副教授，東南大學電子科學與工程學院，研究方向為物理電子學、顯示科學與技術，jujube_yang@seu.edu.cn。

Design of Eye-Controlled Mouse Based on Eye Tracking Technology*

ZHU Qiwen，YAN Longxin，ZHANG Ruolan，ZHANG Shuai，YANG Lanlan*
（School of Electronic Science and Engineering，Southeast University，Nanjing 210096，China）

With the platform of Visual Studio，the basis of OpenCV computer vision library and the assistance of a MCU，sensors and wireless transmission modules，a head-mounted eye tracking system is built.The system accom?plished pupil extraction，eye tracking positioning，blinking detection and other functions which enabled eyes instead of mouse to complete computer instructions.Innovative methods have been presented：integral projection denoising，capturing the pupil center through ellipse fitting algorithm，etc.This series of methods eliminates the influence of slight movement of the head on positioning accuracy，endowing the system with high accuracy and practicality.

information processing technology；eye-controlled mouse；eye tracking technology；pupil extraction；im?age processing；opencv

R339.14

A

1005-9490（2016）02-0235-07

EEACC：7510D；6140C10.3969/j.issn.1005-9490.2016.02.001

項目來源：江蘇省高等學校大學生創新創業訓練計劃項目

2015-05-28修改日期：2015-07-04