穿戴式視線追蹤系統研究

曹　曄

(岐山縣職業技術教育中心　岐山　722400)

穿戴式視線追蹤系統研究

曹曄

(岐山縣職業技術教育中心岐山722400)

摘要為了克服頭動對于視線追蹤效果的影響,論文提出了一種穿戴式的視線追蹤系統。穿戴式的優勢在于攝像機與人眼的距離始終保持相對不變。要實現精度高、實時性好的視線追蹤系統,系統首先是對頭部運動進行檢測,然后對眼部進行特征提取。這里使用亮瞳孔技術,瞳孔-角膜反射的原理,應用特制的紅外線攝像頭捕捉眼球的運動,分析眼球運動軌跡和注視時間。最后,通過頭部運動參數聯合視線追蹤數據,得到準確的視線定位。

關鍵詞視線追蹤; 模式識別; 穿戴式; 頭動參數

Class NumberTP391

1引言

眼動分析[1]是當前用視線進行人機交互[2]的一個重要研究領域,通過視線跟蹤及控制[3]能夠提高人與計算機或相關系統的信息交流速度。而眼睛的運動通常受頭部運動的影響,頭部運動會帶動眼部運動。人觀察外界對象時,眼睛經常在運動著,兩個眼球的運動非常協調,它們總是向同一方向轉動,而眼球運轉的范圍有一定的限制,超過某個角度時就需要頭部運動的幫助,以擴大人的視野范圍。人體頭動和眼動信號中蘊含了豐富的環境運動信息和人體生理信息,頭部運動聯合視線追蹤信息檢測分析技術在醫學研究中有著廣泛應用價值。通過對頭動信息分析,可以了解人體所受運動刺激和運動環境參數情況,通過眼動信息分析可了解視眼動功能、前庭功能、進行神經精神分析等。目前常見的視線追蹤方法是對人體頭動和眼動分別進行檢測,實際上,二者之間具有內在的密切關系,從功能方面講,由于眼動范圍有限,常需要頭動補償,二者之間具有緊密耦合;從生理功能方面講,出于固視需要,頭動會引起反射性眼動。因此同步檢測分析二者之間的關系并實現精度自由度更高的視線追蹤系統具有重要的意義和應用價值。

2系統設計方法

本文研究的是穿戴式[4]視線追蹤系統。本項目研究內容是環環相扣的,對于整個視線追蹤系統,頭部對視線追蹤起輔助作用,從而得到更精準的視線方向的定位。系統首先是對頭部運動檢測,眼部特征提取;然后,通過頭部運動聯合視線追蹤技術,將頭部運動數據結合視線追蹤的數據,以此得到準確的視線定位。

2.1穿戴式視線追蹤系統的組成研究

穿戴式視線追蹤系統包含眼球運動、頭部運動和它們的相互作用,因此頭部、眼部的運動規律及其關聯是研究的重點[5]。圖1從層次消息總線的角度,使用邏輯視圖來描述基于前庭功能的穿戴式視線追蹤系統。

2.2穿戴式視線追蹤系統的實現方案

穿戴式[6]視線追蹤系統所要解決的技術問題在于提供一種能夠同時采集人體的頭動數據和對應的眼動數據,將頭動數據與眼動數據結合[7]起來進行綜合分析,能夠更加準確地得到精確的視線信息。它的特點是對頭動的適應性強,靈活性比較好。

圖1　頭部運動聯合視線追蹤系統邏輯視圖

2.2.1頭部運動檢測方案

這里擬使用捷聯慣性導航系統,通過陀螺儀和加速度計獲得受試者的原始姿態及加速度。但由于捷聯慣性導航系統的安裝位置以及受試者測試處的姿態不確定,故必須經過定標獲得受試者初始姿態后才能獲得其準確的實時姿態?；诮t外視頻的三維頭部姿態位置估計方法相對于捷聯慣性導航系統,受試者頭部無需額外負荷,依靠選定的特征點即可獲得準確的受試者位置及姿態信息,受試者在此基礎上只需在頭盔設備另添加特征標記點即可獲得準確的受試者位置及姿態信息。

受試者頭盔上一般安裝四個定距標記點,標記點的材料在近紅外下有特殊的光學特征以便于計算機系統識別。通過攝像機拍攝到的四個標記點的位置關系與其安裝定距之間的差異,可以計算出頭盔相對于攝像機的空間位置與姿態。

這里頭部姿態狀態估計的方法擬用的是基于Levenberg—Marquardt方法(簡寫為L-M)的迭代容積卡爾曼濾波算法(ICKFLM)[8]。該算法將容積卡爾曼濾波算法(CKF)的量測更新過程轉換為求解非線性最小二乘解問題,以狀態預測和方差預測為初始值,使用L-M方法求解最優的狀態和方差估計。這里卡爾曼濾波是建立在線性代數和隱馬爾可夫(Hidden Markov)模型上。其基本動態系統可以用一個馬爾可夫鏈表示。在隨機過程中各個狀態St的概率分布,只與它的前一個St-1有關,符合這個假設的隨機過程則稱為馬爾可夫鏈。隱馬爾可夫模型是馬爾可夫鏈的一個擴展:任一時刻t的狀態St是不可見的。隱馬爾可夫模型在每個時刻t會輸出一個符號Ot,而且Ot僅跟St相關。對于隱馬爾可夫模型,這里擬用一個訓練算法(鮑姆-韋爾奇算法)和使用時的解碼算法(維特比算法)來使用隱馬爾可夫模型。

2.2.2眼部檢測及視線特征提取方案

對于視線特征提取,這里擬使用亮瞳孔技術,瞳孔-角膜反射的原理[9],應用特制的紅外線攝像頭捕捉眼球的運動(注視點坐標,注視點數目,瞳孔頻率和時間),分析眼球運動軌跡和注視時間。為了獲得穩定的、高精度的視線參數,采用窄視野攝像機的視線追蹤系統進行視線參數的檢測。對得到的眼睛圖像,經過二值圖像處理,得到瞳孔區域和普爾欽斑;最后用最小二乘非迭代橢圓擬合算法得到瞳孔中心,求質心來定位普爾欽斑中心;最終,由瞳孔中心跟普爾欽斑中心得到視線特征矢量。在瞳孔的跟蹤階段,這里采用基于L-M的迭代容積卡爾曼濾波算法(ICKFLM)跟蹤瞳孔[10];對分割的瞳孔參數采用卡爾曼濾波進行估計,以獲得更加準確的魯棒性好的瞳孔數據。

2.2.3頭動數據結合視線數據同步控制方案

假設初始狀態時,已知物體的方位、轉動軸,就可用初始的參數來得到一組初始的正弦余弦值,然后由外界的直線加速度和轉動加速度,根據上面的方程來得到直線運動的響應速度和轉動的響應角速度,用初始的四元數和轉動的角速度,可以得到一組隨時間變化的正弦余弦值,然后將隨時間變化的旋轉角度的正余弦值,代入三維變換變換矩陣,最后就可以得到任意時刻的三坐標的值。經過模型的仿真與眼球運動的實測數據對比,發現頭部轉動與眼球運動存在一個大致的線性關系,因此可以用當前時刻的三坐標值來判斷眼球的運動。

對于整體的數據處理,擬先讀取加速度和初始參數,再將讀取的加速度帶入到頭部轉動模型和直線運動模型,得出具體的旋轉角度和直線的三坐標運動量,將旋轉角速度和三坐標位移值帶入到旋轉矩陣,進行旋轉變化,最終得到當前時刻的三坐標值,然后讀入下一加速度,利用當前時刻的三坐標值和下一時刻的加速度來計算下一時刻的旋轉軸,從整體思想上面看,最重要的就是隨時間變化的正弦余弦值。

關于旋轉變化工具,對于旋轉矩陣、歐拉角、四元數三個。對它們的優缺點擬做詳細的分析,用到一個三維旋轉變化矩陣;人在慣性參考系中作運動,同時頭部對于人體做相對旋轉運動,人體在慣性參考中做變速直線運動。對于直線變速運動,三個方向的位移,只需要把輸入的加速度轉變為三個方向分別的加速度。

這里要采用頭部轉動半規管模型的簡化形式,是對單一時刻加速度的響應,而對于實際情況,加速度可能只有在開始時刻有一個,也有可能在一段時間內呈現不斷變化的值。實際中,比如頭部轉動,只需要計算一個很短的時間段,而且人體的頭部的轉動不可能超過90°。而模型是沒有考慮這點的,只要加速度存在,就可以不斷的轉動,所以在進行試驗時只要選取一段時間就可以了。

所以計劃在進行仿真時,為了簡單明了起見,不計算直線運動的三個位移,將初始坐標設為x=1,y=0,z=1,坐標軸設為P(x,y,z)=(0,0,1)。

然后在得到旋轉變化所需的正弦余弦值之后,再將它們帶入旋轉變化矩陣并利用式(1)對原坐標進行旋轉變化。

(1)

最后擬得到表示當前時刻的三坐標值,通過這個三坐標值來判斷當前的眼球運動。

3結語

本文通過頭部運動數據補償視線追蹤數據,以此得到準確的視線定位,很好地克服了自然頭動下視線落點精度計算問題。為了使頭眼運動很好地協調工作,本文提出了一種穿戴式的視線追蹤系統,系統首先是對頭部運動檢測,這里頭部姿態狀態估計的方法用的是基于L-M的迭代容積卡爾曼濾波算法。然后對眼部進行特征提取,這里使用亮瞳孔技術、瞳孔-角膜反射的原理,應用特制的紅外線攝像頭捕捉眼球的運動,分析眼球運動軌跡和注視時間。最后,通過頭部運動參數結合視線追蹤數據,得到準確的視線定位。這里將頭動數據與眼動數據結合起來進行綜合分析,能夠更加準確地得到精確的視線信息,它的特點是對頭動的適應性強,靈活性比較好。

參 考 文 獻

[1] Andrew T. Duchowski. Eye Tracking Methodology: Theory and Practice[M]. Second Editon. London: Springer,2007:51-58.

[2] Tamara van Gog. Eye tracking as a tool to study and enhance multimedia learning[J]. Learning and Instruction,2010,20(2):95-99.

[3] Ohno T, Mukawa N, Yoshikawa A. FreeGaze: A gaze tracking system for everyday gaze interaction[J]. Proc of Eye Tracking Research and Applications Symposium,2002:125-132.

[4] 郭一超.基于眼動追蹤技術的區域顯著性評估方法研究[D].北京:北京交通大學,2014:15-16.

GUO Yichao. Research on Method of Significant Regional Assessments Based on Eye Tracking Technology[D]. Beijing: Beijing Jiaotong University,2014:15-16.

[5] 屠大維,趙其杰,尹海榮.自動適應用戶頭部位置變化的眼睛盯視輸入系統[J].儀器儀表學報,2004,25(6):828-831.

TU Dawei, ZHAO Qijie, YIN Hairong. Automatically Adapt to the User’s Head Position Changes of Eye Gaze Input System[J]. Instrument Sinica,2004,25(6):828-831.

[6] 沈模衛,張光強.視網膜與閱讀:眼動控制的理想觀察者模型[J].華東師范大學學報(教育科學版),2000,18(4):59-65.

SHEN Mowei, ZHANG Guangqiang. Retina and Read: Ideal Observer Model of Eye Movement Control[J]. East China Normal University(Education Science Edition),2000,18(4):59-65.

[7] Wang Changyuan, Zhang Jing, Chen YuLong. Analyzing Head and Eye Movement System with CORBA[J]. TELKOMNIKA Indonesian Journal of Electrical Engineering,2013,11(11):6618-6623.

[8] 穆靜,蔡遠利,王長元.基于L-M方法的迭代容積卡爾曼濾波算法及其應用[J].西安工業大學學報,2013,33(1):35-36.

MU Jing, CAI Yuanli, WANG Changyuan. IterativeVolume Kalman Filter Algorithm Based on L-M Method and Its Application[J]. Xi’an Technological University,2013,33(1):35-36.

[9] 王長元,張景,李京京.瞳孔中心快速定位方法研究[J].計算機工程與應用,2011,47(24):196-198.

WANG Changyuan, ZHANG Jing, LI Jingjing. Research on Quick Locate Method of Pupil Center[J]. Computer Engineering and Applications,2011,47(24):196-198.

[10] 郝群,劉偉華,李博.基于圖像處理的人眼注視方向檢測研究[J].光電技術,2004,30(5):547-548.

HAO Qun, LIU Weihua, LI Bo. Research on Human Eye Gaze Direction Detection Based onThe Image Processing[J]. Optoelectronic Technology,2004,30(5):547-548.

Wearable Eye Tracking System

CAO Ye

(Qishan County Vocational and Technical Education Center, Qishan722400)

AbstractIn order to overcome the effects of head movement to track the impact of the line of sight, this paper proposes a wearable eye tracking system. The advantage of the wearable is the distance between the camera and the human eye remaining relatively unchanged. To achieve high accuracy, good real-time eye tracking system, the system detects head movement firstly, then extracts features of eyes. Bright pupil technology, pupil — corneal reflex principle are used, a special infrared camera is applied to capture eye movements, trajectory and fixation time are analyzed. Finally, by the head movement parameter joint eye tracking data, accurate position of sight is got.

Key Wordseye tracking, pattern recognition, the wearable, head movement parameters

收稿日期:2015年12月6日,修回日期:2016年1月22日

作者簡介:曹曄,男,碩士研究生,研究方向:視線追蹤。

中圖分類號TP391

DOI:10.3969/j.issn.1672-9722.2016.06.021