視覺跟蹤技術及其應用的研究進展

史衛民，王慶敏，劉秋紅，陳 勇，姚永杰

眼睛是人重要的信息獲取通道，大約有80% ～90%的信息來自于視覺。視覺信息可反映人體生理和心理的變化，視覺跟蹤研究被認為是視覺信息加工研究中最有效的手段。通過對視覺的跟蹤，可以獲得人在觀察相關信息時的掃視選擇和注視過程，從而可以研究人的視覺感知和信息加工模式，最終可以獲得其認知模式［1］。在執行不同任務的情景下，檢測相關視覺特性能夠反映人的疲勞、任務負荷程度等特征指標。視覺的最早研究可以追溯到古希臘，但是真正使用儀器設備對視覺進行觀察和實驗是從中世紀開始的。

視線追蹤技術是利用機械、電子、光學等各種檢測手段獲取受試者當前“視覺注意”方向的技術［2］。其廣泛應用于人機交互、醫學、工效學、虛擬現實和軍事等領域。本文在跟蹤國內外相關研究進展的基礎上，介紹了視覺跟蹤的基本概念、測量參數、發展及應用，并詳細綜述了視覺跟蹤技術在各領域中的研究進展。

1 視覺跟蹤的基本概念及測量參數

人看物體時，眼睛都在進行著不同形式的運動。2只眼睛必須保持一定的方位，才能使物體的像落到視網膜的中央凹上，從而獲得最清楚的視覺，這種眼睛對準目標的活動叫做注視。為了實現和維持對物體的注視，眼睛必須進行另外2種運動:眼球的跳動和眼球的追隨運動。

正常的視覺觀察過程中，眼動表現為在被觀察目標上一系列的停留以及停留點之間的飛速跳動。絕大多數的信息只有在注視時才能獲得加工。眼球的跳動表現為注視點或注視方向的突然改變，是注視點之間的一種聯合快速跳躍眼動。在眼跳過程中，幾乎不獲取任何信息。

視覺跟蹤的測量參數比較多，常用的參數包括眼動頻率、瞳孔大小、平均注視時間、注視點序列、第一次到達目標興趣區的時間等。這些指標與被試者的信息獲取績效、信息源顯示元素的合理性及任務負荷的大小密切相關。

2 視覺跟蹤技術的發展

在視覺跟蹤技術發展過程中，科學家們探索出了一些跟蹤方法，從最初的直接觀察法、機械記錄法到后來的電磁感應法、電流記錄法及光學記錄法等。隨著高科技的發展，這些跟蹤技術也逐步得到優化。

2.1 直接觀察法

直接觀察法是一種較原始的研究方法。測試人員用肉眼直接觀察被測試者的眼動情況，能得到一些幅度比較大的眼動，只能進行比較粗略的研究。

2.2 機械記錄法

機械記錄法要在被測試者的眼睛上附著一些輔助設備，再通過機械傳動的方法將被測試者的眼動情況記錄下來。機械記錄法研究精度較低，會對被試者的眼睛產生一定損傷。

2.3 電磁感應法

將被試的眼睛麻醉后，把一個裝有線圈的隱形鏡片吸附在眼睛上。線圈中存在感應電壓，通過對感應電壓的相敏檢測，可以精確地測量水平和垂直方向的眼動。這種方法精確度高，但是接觸眼球會引起受試者的不適。

2.4 電流記錄法

眼球運動可以產生生物電現象。角膜和視網膜的新陳代謝是不一樣的，所以角膜和網膜之間就形成了電位差，角膜帶正電，網膜帶負電。電位差經放大后得到眼球運動的位置信息。這種方法的缺點是精度低、對人干擾大。

2.5 光學記錄法

當外界的光照射到眼球上時，被測試者眼睛上的附著物(如小鏡片)或眼睛的角膜等能將光線反射回去。如被測試者的眼球運動，那么反射光線也會產生相應的變化。這就是光學記錄的基本原理。光學記錄法是目前應用最廣泛的一類方法。

2.5.1 反光記錄法(接觸鏡法):在被測試者的眼睛上吸附著極小的鏡子，當外界的光源投射到眼球上，眼球上的附著裝置能將光線反射到記錄裝置上，從而能將眼球的運動情況記錄下來。其技術特點是精度較高，但對人干擾大。

2.5.2 影視法:影視法是使用照相或攝像機，通過拍攝來記錄被測試者的眼睛的運動情況。最早的影視法是連續拍攝單張圖片來記錄被測試者眼睛的運動情況。后來使用能夠進行快速連拍的照相機，并將被檢測者的頭部固定，進行眼球運動的檢測。

2.5.3 角膜反射跟蹤法:人的角膜能夠反射照到它表面的光線。在眼球運動過程中，角膜對來自固定光源的光的反射角度也是變化的，因此可以在人眼前方放置一個近紅外LED光源和一個固定在受試者頭部正前方的相機，角膜反射的光線通過眼睛前面一些設備傳輸到相機。角膜反射光線的位置通過攝像機屏幕上的圖像及相應的一些算法來確定。這種方法優點是對人干擾小。

2.5.4 雙普金野法:當光線經過眼球組織時，由于眼睛各部分的折射率不同，從而產生了不同的光源反射影像，這些影像就稱為普金野圖像。通過對不同普金野圖像的測量可以確定眼注視位置。該技術特點是高精度，但對人干擾大。

2.5.5 虹膜－鞏膜邊緣跟蹤技術:用不可見的紅外光照射眼部，在眼部附近安裝2只紅外光敏管，虹膜與鞏膜的邊緣處的左右兩部分反射的紅外光分別被這兩只光敏管所接受。眼球向不同方向運動時，根據兩側所接受的紅外線強度差異，就能無接觸地測出眼動。其缺點是誤差大，精度低。

2.5.6 瞳孔－角膜跟蹤法:系統用紅外光照射眼睛，系統光學元件在空間固定，可將反射的圖像用攝像機記錄下來，將攝像機獲得的數據通過計算機處理，辨別瞳孔和角膜，然后把角膜反射點數據作為眼攝像機和眼球的相對位置的基點，根據瞳孔中心位置坐標計算出凝視點。這種方法準確、誤差小且對人無干擾。

視覺跟蹤技術都有其不同的優缺點。其中存在的最顯著的問題是對人干擾的缺點，這種干擾會使被試者感覺不舒適，從一定程度上影響實驗結果。而瞳孔－角膜反射向量法對受試者干擾很小，精度高，不受周圍光線環境的影響。所以目前多采用瞳孔－角膜反射法來進行視覺跟蹤。

3 視覺跟蹤技術的應用

視覺跟蹤主要用于醫學，界面設計與評估，產品測試，場景研究，動態分析(如航空航天領域、體育運動、汽車、飛機駕駛、打字動作分析等)和人機交互等各種領域;另外，在理解人意圖的智能計算機、具有交互功能的家用電器、虛擬現實和游戲等領域也有很好的應用前景。

3.1 在醫學上的應用［1］

目前，視覺跟蹤技術已被廣泛地應用到醫學領域，用于相關疾病的診斷、治療。如美國的威視準分子激光系統是一種三維自動眼球追蹤系統，能對眼睛疾病進行快速安全的治療;通過記錄眼球活動檢查患者的腦平穩系統功能，著重觀察精神分裂、躁狂抑郁癥、焦慮癥、強迫癥等患者的平穩眼跟蹤和觀察圖形時的探索性眼球活動。

另外，在亨廷頓舞蹈病、早期阿爾茨阿默病、孤獨癥［2］等疾病的輔助診斷中，視覺跟蹤技術也發揮重要的作用。這些疾病的患者通常都有視線集中困難、眼跳速度減慢等特點，針對這些特點進行檢測，可以實現對這些疾病的早期診斷。

3.2 在工效學中的應用

現代人機系統，特別是航空航天駕駛中，作業人員是在特定環境中操作管理復雜系統和機械設備［3－7］。當人在這種環境中工作時，既要靠眼睛來觀察環境，又要靠細致的注視來完成精確的控制動作。利用視覺跟蹤技術分析眼睛的運動就可知人在操作時如何分配注意力，同時了解儀表、屏幕以及外視景如何設計和合理分配才能獲得最好的人機交互。既減輕操作人員的工作負擔又避免出錯，切實提高人機工效;同時，將優秀作業人員的視覺策略指導新手的訓練，對提高作業工效也有重要的意義。此外，視覺跟蹤技術也應用于汽車駕駛領域，主要用于不同路況下的眼動研究、駕駛經驗對眼動的影響研究、駕駛疲勞的監控等［8－9］。

3.3 在人機交互中的應用

人與計算機交互的目的在于利用所有可能的信息通道進行人機交流，提高交互的自然性和高效性［10－11］。視覺跟蹤技術在人機交互中的應用主要通過視線來完成用戶與計算機之間的交流［12］。用戶的視線可以代替手動鼠標的作用，用戶視線指向屏幕上的落點就是指針的位置，可通過視線移動來控制指針的移動。視線也可對屏幕上的目標進行選擇。目前主要應用于遠程通信、娛樂等領域，如一些系統允許用戶利用眼睛控制鼠標進行畫畫等。

此外，通過人機交互，視覺跟蹤技術在助老助殘領域發揮重要作用。對于肢體癱瘓、生活不能自理的患者，用眼睛來代替手操作，就可以增加患者的獨立能力，提高其生活質量［13］。

3.4 在航空航天領域的應用

在航空領域，視覺跟蹤技術主要用于座艙儀表布局評估及優化，研究飛行員注意力分配規律，評價飛行員腦力的負荷，評估飛行員的疲勞狀態以及研究視野的需求及用于頭盔瞄準器等［14－16］。

早在40年代末國外率先對飛行員的儀表掃視行為進行了一系列研究，奠定了經典的T型儀表布局。當今，伊利諾斯大學的航空學院和以阿華大學的操作績效實驗室研究得較為深入和廣泛，兩者都配備有多臺眼動測量儀器和飛行模擬器。俄軍較早開展了軍事飛行員的儀表掃視策略的研究，獲得的優秀飛行員視覺策略可以指導飛行訓練，美空軍在F－16模擬器上配備視覺跟蹤裝置，通過優秀飛行員的視覺策略來訓練新手飛行員，取得了較好的效果。在F－16的15個訓練科目中，10個訓練科目中要求跟蹤檢測飛行員的視覺注意力分配。而國內將視覺跟蹤技術用于軍事航空領域的研究較少。

在軍事航空領域，通過眼睛盯視對外部設備進行控制可以實現多任務操作，從而提高戰斗力。如果飛行員發現了目標，在手動操作不能應付的時候，可以通過眼睛瞄準的同時，用眼睛來控制火控系統發射，對增加戰斗力非常有意義。目前視覺跟蹤技術已經整合到飛行員頭盔中，形成頭盔顯示器和頭盔瞄準具，正廣泛地應用于一些新型戰機中的目標跟蹤。美國的一些戰機如 F－16、F－22、F－104、F/A－18 等已經應用了頭盔瞄準具。在美國F－35戰斗機的配套頭盔中，運用了“所視即所得”技術。俄羅斯的“蘇27”戰斗機上也配有頭盔式瞄準。視覺跟蹤技術對于減輕飛行員工作負荷、提高戰斗力發揮了很大的作用。

在航天領域，視覺跟蹤技術應用的較少，這可能是因為與飛機模擬器相比，航天飛船模擬器的條件要求更高［17］。目前主要用于檢測優秀航天員的眼動策略、建立認知模型、指導訓練。在模擬航天飛船發射的任務研究中，領先設置系統錯誤，可檢測經驗航天員和新手航天員的眼動參數差異，并研究眼動模式與作業工效的對應關系。結果表明經驗航天員處理系統錯誤的時間明顯低于新手航天員，而且經驗航天員在相關參數上的注視時間明顯不同于新手航天員。實驗中通過經驗航天員的眼動參數建立了相關的認知模型，用于指導新手的訓練。此外，由于人眼無法長時間穩定觀察及觀察范圍有限，利用機器人視覺取代人眼視覺，在航天領域有了一定的應用。目前機器人視覺在航天領域主要應用在特殊的環境條件下，獲取圖像資料，并進行處理與判斷。

總之，在航空軍事領域，軍事飛機上越來越多的機載信息設備，必定會增加飛行員的生理心理負荷。飛行員既為駕駛員又為武器操縱員，再加上處在特殊的作業環境下，飛行員的頭部、手部活動受到很大的限制，但眼睛還可在一定范圍內轉動。將視覺跟蹤技術應用到航空軍事領域，可大大降低飛行員的工作負荷，使戰機更加迅速地跟蹤、鎖定和攻擊目標，從而使戰機的作戰能力得到很大提高。

視覺跟蹤技術作為一種反應人的心理認知、對操作者干擾小的技術，正廣泛地應用于醫療、人－機交互、工效學領域、航空航天等軍事領域。隨著視覺跟蹤技術的飛速發展，其應用前景會更加廣泛和良好。

［1］ Kattou1as E，Evdokimidis I，Stefanis NC.Predictive smooth eye pursuit in a po1u1ation of young men:Ⅱ.Effects of schizotypy，anxiety and depression［J］.Exp Brain Res.2011，215(3－4):219－226.

［2］ Marcos TM，E1izeu CM，Patrícia MB，et a1.Saccadic movements using eye－tracking techno1ogy in individua1s with autism spectrum disorders［J］.Arq Neuropsiquiatr，2006，64(3－A):559－562.

［3］ 孫瑞山，陳農田.眼動分析技術及其在航空領域的應用進展.中國民航大學學報，2009，27(4):1－4.

［4］ 劉偉，袁修干，莊達民，等.眼動測量系統及其在工效學中的應用［J］.航空學報，2001，22(5):385－389.

［5］ David LB，Ho11y SV，Pau1 AW，et a1.Instrument Scan Strategies of F－117A Pi1ots［J］.Aviat Space Environ Med，2002，73(10):1007－1013.

［6］ 柳忠起，袁修干，樊瑜波，等.模擬飛機著陸飛行中專家和新手眼動行為的對比.航天醫學與醫學工程，2009，22(5):358－361.

［7］ Sajay S，Joe1 S，Greenstein AK，et a1.Use of eye movements as feed forward training for a synthetic aircraft inspection task［J］.Eyes on Interaction，2005，4(2):140－149.

［8］ 陳勇，黃琦，劉霞，等.一種全天候駕駛員疲勞檢測方法研究［J］.儀器儀表學報.2009，30(3):636.

［9］ Kircher K，Ahistrom C.Predicting visua1 distraction using driving performance data［J］.Ann Adv Automot Med.2010，54:333－342.

［10］ Sa1meron L，Gi1 L，Braten I，et a1.Comprehension effects of signa－1ing re1ationships between documents in search engines［J］.Comput Human Behav.2010，26(3):419－426.

［11］ Lee YH，Liu BS.Inf1ight work1ood assessment:comparison of subject and physio1ogicon measurements［J］.Aviat Space Environ Med.2003，74:1078－1084.

［12］ Prendinger H，Hyrskykari A，Nakayama M，et a1.Attentive interfaces for users with disabi1ities:eye gaze for intention and uncertainty estimation［J］.Univers Acess Inf Soc.2009，8(4):339－354.

［13］ Francesco DN，Marco C，Miche1a T，et a1.A random g1ance at the f1ight deck:pi1ots'scanning strategies and the rea1－time assessment of menta1 work1oad.J Cog Engin Deci Making，2007，3(1):271－285.

［14］ Nadine BS，Ann AM，Randa11 J，et a1.Pi1ots'monitoring strategies and performance on automated f1ight decks:an empirica1 study combining behaviora1 and eye－tracking data［J］.Human Factors，2007，49(3):347－357.

［15］ Ji Huan Y，Quinn K，Joseph S，et a1.Pi1ot performance:assessing how scan patterns and navigationa1 assessment vary by f1ight expertise［J］.Aviat Space Environ Med，2012，84(2):116－124.

［16］ Su11ivan J，Yang JH，Day M，et a1.Training simu1ation for he1icopter navigation by characterizing visua1 scan patterns［J］.Aviat Space Environ Med.2011，82(9):871－878.

［17］ Korni1ova LN，Naumov IA，Azarov KA，et a1.Gaze contro1 and vestibu1ar－cervica1 ocu1ar responses after pro1onged exposure to microgravity［J］.Aviat Space Environ Med.2012，83(12):1123－1134.