視線追蹤系統中注視點估計方法研究

金　純　李婭萍

(重慶郵電大學通信與信息工程學院無線傳輸重點實驗室1,重慶　400065；重慶金甌科技發展有限責任公司2，重慶　400041)

視線追蹤系統中注視點估計方法研究

金純1,2李婭萍1

(重慶郵電大學通信與信息工程學院無線傳輸重點實驗室1,重慶400065；重慶金甌科技發展有限責任公司2，重慶400041)

摘要：在回顧視線追蹤技術發展歷程的基礎上，對該技術的研究方向和幾種主要的視線跟蹤方法進行了簡單闡述。重點介紹了基于瞳孔-角膜反射法的視線追蹤技術的原理及其硬件組成，尤其對現有視線跟蹤系統中比較成熟的注視點估計算法進行了歸納總結和原理剖析。對二維和三維的注視點估計算法的精度和用戶自由度進行了進一步的橫向比較。最后指出了視線追蹤技術存在的缺陷，并對其在人機交互、智能機器、虛擬現實等領域的應用前景進行了展望。

關鍵詞：視線跟蹤瞳孔-角膜反射注視點估計人機交互虛擬現實誤差補償校準神經網絡

0引言

視線跟蹤技術是一項利用人類眼球運動信息來實現控制設備目的的科學應用技術，解決了上肢有殘疾或者雙手因執行操作任務而被占用的人員對計算機等終端設備操作的難題。近年來，該技術迅速獲得國內外相關學者的積極關注，被廣泛應用于視覺注意機制的研究、頁面分析、人機交互、虛擬現實、智能機器以及軍事等領域。國外在20世紀初就開始研制相關眼動儀器，美國、日本等國家在這方面的研究比較深入，已經走在世界的前列，進入實用化和商品化的階段。國內大約在20世紀70年代末80年代初才開始對視線跟蹤技術的研究，目前還沒有成熟的視線跟蹤產品，但是很多高校以及研究機構，如清華大學、西安電子科技大學、浙江大學、天津大學、北京科技大學等都對該技術表現出了非常大的興趣。20世紀90年代，西安電子科技大學開發了眼動測量系統，北京航空航天大學開發了人機界面評價試驗臺，推動了國內視線追蹤技術的不斷發展。

當前視線追蹤系統原理的研究主要是圍繞如何精確地、對人無干擾地追蹤人的眼動過程來進行的[1]。當用戶頭部靜止時，視線追蹤精度較高，視線落點距離真實落點較近，緊密散布在其周圍；當用戶頭部自由運動時，視線追蹤精度較之靜止時刻相對降低，視線落點與真實落點之間的距離逐漸增大，在其周圍的落點分布相對松散。因此，如何在復雜的應用場景中適應不同的用戶以及在追蹤精度、用戶自由度和成本之間尋找一個平衡的切入點顯得至關重要。

1視線跟蹤技術原理

基于瞳孔-角膜反射法的視線追蹤系統采用紅外光源照射眼睛，在人眼角膜上產生反射光斑，眼睛注視不同方向時，瞳孔中心隨著視線方向發生相應的變化，角膜反射點的位置固定不變。利用眼球和角膜反射點的這種特性，提取視線特征參數(瞳孔中心和角膜反射光斑中心)，通過相應的注視點估計法就可以得到視線的落點位置[2]。

系統主要由視線特征參數提取、注視點估計、誤差補償和校準幾個模塊組成。其中注視點估計是直接決定系統精度的核心模塊。隨著視線跟蹤技術的快速發展，涌現出了各種各樣的注視點估計算法[3]。本文在上述視線特征參數提取模塊的基礎上，對注視點估算法作進一步的解析和歸納。視線追蹤系統結構框架圖如圖1所示。

圖1　視線追蹤系統結構圖

2注視點估計算法

注視點估計算法是視線跟蹤系統中非常關鍵的算法，包括計算視線方向所需的來自用戶的參數化后的眼睛幾何信息。注視點估計算法大致可分為兩類：基于二維映射模型的視線估計方法以及基于三維的視線直接估計的方法[4]。兩類方法的性能分析如表1所示。

表1　兩類方法的性能分析

2.1基于二維映射模型的視線估計方法

2D視線估計方法首先計算出注視點的二維坐標信息，然后建立其與注視目標之間的映射關系，得到視線在注視目標的注視位置。比較常用的有多項式擬合、交比映射、機器學習這幾種方法，其中機器學習主要有神經網絡、支持向量機等方法。

Morimoto等人提出了一種非接觸式的視線跟蹤方法[5]，通過二階多項式擬合方程來確定注視點的位置。

(1)

基于二維映射模型的視線估計法需要校準過程，頭部保持靜止時追蹤精度較高，誤差范圍控制在1 cm以內，但該方法對頭動比較敏感，極大地限制了用戶自由度和視線追蹤技術的實用性。文獻[6]在該算法的基礎上，提出了一種頭部深度平移和平面平移的補償方法。利用深度平面移動比例系數對視線的落點進行了補償，允許頭部在水平和垂直方向上偏移2～3個頭部位置。

張鵬翼等使用立體視覺信息的視線追蹤系統設計[7]，使用神經網絡結合卡爾曼濾波的方法對瞳孔進行跟蹤；再結合支持向量回歸對人眼參數和注視點之間的關系進行訓練，利用神經網絡的非線性映射能力對視線狀態轉移模型進行逼近來跟蹤視線。

用以下數學式作為神經網絡的輸入，代表瞳孔在t時刻的狀態向量：

Xt=(ct,rt,μt,vt)T

(2)

式中：(ct,rt)為瞳孔在t時刻像素質心; (μt,vt)為t時刻瞳孔在c和r方向上的矢量。

式(3)表示瞳孔在t+1時刻的狀態向量，作為神經網絡的輸出：

(3)

通過訓練，該視線狀態轉移模型可以表示為：

Xt+1=φXt+wt

(4)

式中：φ為神經網絡逼近的狀態轉移模型;wt為系統噪聲，服從正態分布wt～N(0,Q)。該方法對人無干擾且用戶自由度高，但是系統冗余度和精度不能很好地滿足系統需要，并且在成熟度和實用性方面有所欠缺。

Dong H Y和Myung J C提出了頭部自由的基于投影空間的不變值的免定標視線估計方法[8]。該方法將4個紅外光源安裝在計算機屏幕4個角，在人眼角膜上投射出4個反射光斑，利用光斑所形成的四邊形的投影關系進行視線方向的估計。該方法有屏幕坐標系、攝像機坐標系和眼圖坐標系3個坐標系系統。該算法允許測試者頭部在一定范圍內運動且無需定標過程，精度較高，但是較多的硬件配置限制了系統的集成及移植。文獻[9]提出了基于空間三點映射的相似三角形的注視點估計算法。計算機屏幕上的注視點及兩個紅外光源構成計算機平面三角形，人眼圖像中瞳孔中心與兩反射點構成眼圖平面三角形。根據視覺成像原理，兩三角形為相似三角形，由眼圖視線參數坐標來確定屏幕上注視點的位置。

式中：(XQ,YQ)為注視點坐標;(XL1,YL1)和(XL2,YL2)分別是兩紅外光源的坐標位置，其坐標值可通過測量獲得;(XPQ，YPQ)、(XP1，YP1)和(XP2,YP2)分別為圖像中瞳孔中心及兩反射光斑的坐標，其坐標在圖像處環節可獲得。

以上兩種映射方法精度較高，但是忽略了眼球的曲面生理結構，把眼球看作平面在歐式幾何中進行建模，降低了系統的精度。眼球生理結構中視軸和光軸的區別沒有考慮在內，沒有進行視軸和光軸之間的轉換。

文獻[10]還提出了一種以角膜反射中心指向瞳孔中心的向量作為平面視線方向參數，通過訓練多位測試者盯視屏幕標定點，經分析得出立體視線方向角的數據，進而得到視線落點。該文獻還提出了頭部位置變化計算模型，在頭部位置變化時，對視線落點進行了補償。此外，還有基于模板匹配法的注視點估計定位、眼睛方位直接判別法等估計方法。

2.2基于三維的視線直接估計的方法

3D視線跟蹤方法不需要用戶提前進行校準，根據視線在空間中的具體位置，與計算機屏幕相交得到視線在空間中的目標注視點。該方法需先確定臉部三維空間坐標，再使用二維視線跟蹤方法，最終得到三維視線坐標。

(5)

角膜曲率中心O與瞳孔中心P的連線稱為眼球的光軸Vp：

Vp=O+K(P-O)

(6)

由于視線的落點是視軸與屏幕的交點，因此需要進行光軸與視軸之間的轉換。人眼光軸和視軸之間有一個大約為5°的夾角，利用光軸與視軸之間的夾角關系和補償算法得到視軸的方向Vv：

Vv=O+K′(P-O)

(7)

該方法雖然在用戶自由度方面有了提高，但是攝像機和光源等需要保持相對的靜止。一旦移動，則需要重新標定，大大降低了系統的精度。文獻[12]提出了一種對測量誤差進行補償的標定方法，分別說明了當光源、光源角膜反射點和瞳孔中心標定不準確時誤差的范圍，并對其提出補償。表2為以上幾種二維和三維注視點估計方法性能比較。

表2　注視點估計方法性能比較

3視線追蹤技術未來發展趨勢

視線跟蹤技術可以理解人們的意圖和狀態，同時作出相應的反應。由無意識的機械裝置轉變為有意識的智能裝置，被認為是非常有價值的技術。目前，三星和LG都推出了搭載有眼球追蹤技術的產品。通用汽車引進了視線追蹤和頭部追蹤技術。然而，對于當前的視線追蹤系統而言，這一技術無法滿足實際的應用需求，在國內并沒有得廣泛的應用。比如，讓機器對人類眼睛動作的真實意圖進行有效識別，以判斷它是無意識運動還是有意識變化，并不是一件容易的事情。主要的原因在于：

①視線跟蹤精度低。由于人眼生理結構的復雜性和人類視覺特點的非線性特質，使得目前的視線追蹤技術研究中沒有準確的視覺映射模型，且不能通過手動測量來得到視線落點。同時由于部分用戶存在近視和遠視及斜視等情況，造成眼球曲率的后天變化，使注視點估計算法的精確程度更加具有挑戰性。

②用戶自由度低。視線追蹤技術大體還存在這樣一個狀況：頭部保持靜止時，視線追蹤精度較高；頭部運動時，視線追蹤精度大大降低。目前，商品化和實用化的視線追蹤儀器對精度要求較高，要求用戶使用時保持頭部位置固定，給用戶帶來了很大的不便。在醫療領域，干擾式視線追蹤技術給用戶帶來的不便相對較小。在人機交互、虛擬現實及智能機器等領域，干擾式的視線追蹤系統極大地限制了用戶的頭動自由度，使用戶體驗的舒適度和自由度大大降低。

③視線追蹤的實時性。由于算法的復雜度和硬件設備幀頻的限制性，使系統不能夠很好地滿足用戶實時的需求。

④系統成本高。大部分的視線追蹤系統均使用了多個相機和多個光源及其他比較昂貴的專業輔助設備，導致當前的視線追蹤儀器價格過高，不能得到很好的推廣。

因此，視線追蹤技術的當前研究目標主要圍繞精度、自由度、實時性幾個方面，提高系統的魯棒性、精確性和減少識別時間是努力的重點。在未來人機交互領域，這項技術將成為人類和機器互動的主要方式之一，對鼠標、鍵盤以及觸摸等比較成熟的人機交互是一個很好的補充，交互智能化將成為未來人機交互的一個主要標志。在軍事領域，智能頭盔、瞄準器等設備可以不再需要借助使用者的雙手來對發射、轉向、瞄準等操作，而是以使用者視線的轉動或靜止來對設備進行操作，極大地節省了作戰時間，并且視線具有更好的自由度和保密度。同時該技術還可以應用在駕駛員疲勞監測、網頁興趣點監測、心理研究乃至刑事偵查等領域，具有極大的現實意義。

4結束語

本文在總結了大量文獻的基礎上，對視線跟蹤技術的國內外發展歷程、原理及跟蹤方法進行了回顧。分析了幾種主要的視線跟蹤方法原理和技術特點，重點介紹了基于瞳孔-角膜反射向量法的視線跟蹤技術，闡述了其技術原理及系統構成，并揭示了原理性框架之間的內在關系。最后對注視點估計算法進行了歸納總結，并對二維和三維的注視點估計算法的精度和允許頭動范圍進行了比較。然而由于人眼固有的生理機制及眼動的非線性、隨機性和復雜性，使得視線追蹤技術在實際應用中受到很大限制，如何平衡其精度和自由度一直是視線跟蹤系統中存在的一大難題。但視線追蹤系統作為研究和利用眼睛動作的一種重要手段，其未來將朝著高精度、高自由度及低成本方向邁進。

參考文獻

[1] Yang X H,Sun J D,Liu J,et al.A gaze tracking scheme for eye-based intelligent control[C]//WCICA,2010:52-55.

[2] Sigut J,Sidha S.Iris center corneal reflection method for gaze tracking using visible light[J].IEEE Transaction.Biomedical Engineering,2011,58(2):411-419.

[3] 黃亞勤.基于視線跟蹤技術的眼控鼠標研究與視線[D].成都:西華大學,2011.

[4] Hansen D W,Ji Q.In the eye of the beholder:A survey of models for eyes and gaze[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(3):478-500.

[5] Morimoto C H,Koons D,Amit A,et al.Pupil detection and tracking using multiple light sources[J].Image and Vision Computing,2000,18(4):331-335.

[6] 朱博,遲健男,張天俠,等.視線追蹤系統頭動狀態下的視線落點補償方法[J].公路交通科技,2013,30(10):105-112.

[7] 張鵬翼,王志良,鄭思儀,等.使用立體視覺信息的視線追蹤系統設計[J].北京郵電大學學報,2010,33(1):47-52.

[8] Yoo D H,Chung M J.A novel non-intrusive eye gaze estimation using cross-ratio under large head motion[J].Computer Vision and Image Understanding,2005,98(1):25-51.

[9] 楊彩霞.基于近紅外光源的非接觸式視線跟蹤技術研究[D].濟南:山東大學,2012.

[10]Shao G J,Chen M,Zhang B Y,et al.A novel simple 2D model of eye gaze estimation[C]//2010 The 2nd International Conference on Intelligent Human-machine Systems and Cybernetics.Nanjing:IEEE Computer Society Press,2010:300-304.

[11]鄭思儀,王志良,張鵬翼,等.一種基于眼球結構的視線映射幾何模型設計[J].系統仿真學報,2012,24(3):638-644.

[12]遲健男,張闖,王翠娟,等.雙攝像機雙光源視線追蹤系統標定方法研究[J].儀器儀表學報,2011,32(4):883-892.

Estimation Method of the Fixation Point in Gaze Tracking System

Abstract：On the basis of reviewing the development path of gaze tracking technology,the research direction and several major methods of gaze tracking methods are elaborated.The principle and hardware composition of the gaze tracking technology based on pupil - corneal reflection method are mainly introduced,especially the mature estimation algorithm of fixation points in existing gaze tracking systems are summarized and principle analyzed,in further,the precision of the estimation algorithm and user freedom of 2D and 3D fixation point are crosswise compared.Finally,the defects gaze tracking technology are pointed out,and the application prospect in the fields of human-computer interaction,intelligent machine,virtual reality,etc.,are looked ahead.

Keywords:Gaze trackingPupil-corneal reflectionFixation point estimationMan machine interactionVirtual realityError compensationCalibrationNeural network

中圖分類號：TH-3;TP181

文獻標志碼：A

DOI:10.16086/j.cnki.issn1000-0380.201605009

修改稿收到日期：2015-09-02。

第一作者金純(1966-)，男，1994年畢業于美國芝加哥Illinois大學計算機專業，獲博士學位，教授；主要從事無線通信、計算機軟件、視線追蹤、物聯網等方向的研究。