用于虛擬現實系統的眼動交互技術綜述

侯守明，賈超蘭*，張明敏

用于虛擬現實系統的眼動交互技術綜述

侯守明1，賈超蘭1*，張明敏2

（1.河南理工大學 計算機科學與技術學院，河南 焦作 454003； 2.浙江大學 計算機科學與技術學院，杭州 310027）（?通信作者電子郵箱932503728@qq.com）

眼動人機交互利用眼動特點可以增強用戶的沉浸感和提高舒適度，在虛擬現實（VR）系統中融入眼動交互技術對VR系統的普及起到至關重要的作用，已成為近年來的研究熱點。對VR眼動交互技術的原理和類別進行闡述，分析了將VR系統與眼動交互技術結合的優勢，歸納了目前市面上主流VR頭顯設備及典型的應用場景。在對有關VR眼動追蹤相關實驗分析的基礎上，總結了VR眼動的研究熱點問題，包括微型化設備、屈光度矯正、優質內容的匱乏、暈屏與眼球圖像失真、定位精度、近眼顯示系統，并針對相關的熱點問題展望相應的解決方案。

計算機視覺；虛擬現實系統；眼動跟蹤；人機交互

0 引言

虛擬現實（Virtual Reality， VR）利用傳感器、多媒體、計算機仿真、計算機圖形學等技術，提供一個虛擬的3D世界，已廣泛應用在軍事、游戲、旅游、教育、安全培訓等領域。在虛擬世界中，設備需要識別用戶輸入的信息，并將信息及時反饋，以實現人機互動。虛擬世界的交互方法主要有：行為捕捉、肌電模擬、手勢交互、眼動交互、觸覺反饋、方向追蹤、語音響應、傳感器等。其中，眼動交互技術又名視線跟蹤技術，用于檢測用戶注視特定目標時的眼睛行為和視線方向，使用者無需接觸界面便可完成交互，能幫助用戶獲取物體位置，進而得到所觀察事物的深度。在古希臘時期人們就開始研究眼動跟蹤，而眼動跟蹤概念卻在20世紀30年代才出現，直到1901年，Doge和Cline才開發出第一臺精確的、非強迫式的眼動追蹤設備［1-3］。眼動交互作為一種重要的交互方式，可廣泛應用于VR和增強現實（Augmented Reality， AR），為用戶提供更好的沉浸感［4］。Brendan Iribe認為眼動跟蹤是VR的心臟，通過對人眼位置的檢測可以獲得最佳的視覺效果，且基于VR的眼動跟蹤技術是近年來的研究熱點之一。眼動追蹤可以獲知虛擬物體的景深，故大部分從業者認為該技術將成為解決VR問題的重要突破口。除此之外，潛在的市場需求是促進在VR系統中使用眼動跟蹤技術的原因之一。使用眼動跟蹤技術的VR系統可廣泛應用于教育、游戲、醫療、社交、產品測試及文化遺產保護等領域?？梢姡蹌痈櫦夹g將給人類的生活帶來極大的改變。

本文通過梳理VR眼動人機交互技術的相關內容，總結了主流方法、技術原理、頭顯設備和應用場景，探討研究了相關的熱點問題和相應解決方案，以期為該領域的研究人員提供參考。

1 VR眼動交互技術

1.1　VR眼動交互技術原理

一般來說，人眼運動可以表征人的認知活動［5］。眼動主要可以分為兩種模式：靜態眼動模式和動態眼動模式［6］。靜態眼動模式主要包括：注視和眨眼［7］。眨眼指飛快閉眼的動作，分為反射性眨眼和不自主眨眼［8］。動態眼動模式包括：平滑尾隨運動和跳動［9］。人機交互技術指利用計算機的輸入、輸出設備（如：鼠標、鍵盤）來完成計算機與人之間信息的交互［10］。縱觀人機交互的發展歷程，從命令語言階段、圖形用戶界面到現在的多方式交互，就是用戶與計算機之間帶寬減小的時期［11］。眼動人機交互指眼動設備在“理解”眼動信息的基礎上做出相應操作，實現交互。首先，眼動設備中需要建立人機交互系統，實現設備與人的通信；其次，利用相關算法，如圖像處理算法，將眼動信息轉化為眼動設備能夠“理解”的計算機信息，實現信息傳遞。其中，眼動追蹤方法從早期的直接觀察法、主觀感知法、機械記錄法逐步演變為基于瞳孔?角膜反射向量法（Pupil Center Cornea Reflection， PCCR）［12］、眼電圖法（Electro?OculoGraph， EOG）［13］、虹膜檢測法、角膜反射法［14］、三維模型重建法、反射光強度建模法、雙普金野象法。

1.2　VR眼動交互流程

VR眼動交互技術設計主要分為以下部分，具體過程如圖1所示。

1）搭建實驗場景：首先創建模型，再將該模型導入到場景搭建軟件中，如Unity3D。

2）選擇實驗設備：目前，根據VR實驗環境的不同，可從兩個方面選擇VR設備。當對實驗環境要求較低、實驗過程較為簡單時，選擇集成虛擬環境的VR頭盔，即：基于頭盔式虛擬環境設備，并使用注視點分布熱圖來表示元素的受關注度情況，如圖2所示。當對環境要求較高，對實驗結果要求更為精確時，選擇使用通道融合的立體環繞式虛擬環境與VR眼動眼鏡，即：基于洞穴式立體投影虛擬環境［15］，如圖3所示。

3）眼動數據采集：利用VR眼動設備自身攜帶的軟件開發工具獲得眼動數據。大致分為三步：獲取清晰的眼睛圖像、識別角膜反射點以及識別瞳孔。

4）眼動數據處理：對利用紅外攝像裝置收集的信息進行處理，包括圖像濾波和二值化處理。圖像線性濾波主要分為三種：均值濾波、方框濾波和高斯濾波［16］，通常情況下，都使用濾波損失較小、濾波性能優良的高斯濾波；在圖像的二值化處理中，由于虹膜與瞳孔的反射、吸收率和眼部圖像灰度的差異，通過閾值函數選擇不同的閾值對圖像進行二值化處理。

5）眼動特征檢測：眼動特征檢測主要是對瞳孔和普爾欽斑進行檢測，其中瞳孔檢測指瞳孔定位，普爾欽斑檢測是為了進行模板匹配［17］。

6）眼動數據計算：為準確定位注視點的坐標，首先建立瞳孔?角膜反射向量，并將之映射為計算機屏幕上的坐標，該坐標通過注視點標定技術求解，如圖4。

圖1　VR眼動設計流程

圖2　注視點分布熱圖

圖3　洞穴式立體投影虛擬環境體驗與VR眼動眼鏡

圖4　注視點標定技術［18］

1.3　VR眼動追蹤方法

近年來，隨著VR和眼動追蹤的發展，研究人員將眼動追蹤應用于VR領域，并基于瞳孔角膜反射法（Pupil Center Corneal Reflection，PCCR）、眼電圖（Electro?Oculogram，EOG）、三維模型重建等方法進一步探求更優的VR眼動融合算法。研究VR眼動追蹤最具代表性的企業有Google、Facebook和Oculus等。

1.3.1眼睛影像捕獲法

眼睛影像捕獲法使用內置攝像裝備去捕獲通過光反光鏡、光波導等傳輸的眼睛影像，該方法適用于攝像頭正對著眼睛，且必須要拍攝到眼睛圖像。目前，對該技術研究較多的企業有SMI、Apple、Google和TOBII。Zhu等［19］使用傳感器捕獲眼睛影像到頭戴式顯示器，再通過模型預測當前視野；Zhu等［20］通過捕獲傳感器記錄所捕獲的眼底影像的全景；Lee等［21］開發了一種頭戴式設備來跟蹤眼睛的凝視方向并估計用戶視覺平面上的注視點；Apple［22］利用眼部跟蹤攝像頭捕獲低分辨率圖像，進而在高分辨率幀之間追蹤用戶眼睛的運動情況。

1.3.2利用捕獲影像調整顯示內容法

利用捕獲影像調整顯示內容法可以根據內置攝像裝備所采集的虹膜、鞏膜和視網膜特征去計算眼睛注視方向，適用于含有攝像頭和光波導的設備，并通過光波導來計算視網膜影像，目前，對此研究較為深入的企業是LUMUS、DIGILENS、Magic Leap（第二代或者第三代）、Facebook和三星。Cui等［23］提出使用波導和幾何相位透鏡（Geometric Phase Lens， GPL）的超緊湊型光學組合來增強捕獲內容；Magic Leap［24］設計出了一種可以根據凝視方向、眼部運動來計算顯示器內容的頭戴式設備；Facebook［25］設計了一種用于將光重定向到波導中，并可以提供更高階相差矯正的多功能衍射光學元件（Multifunctional Diffractive Optics Element，MDOG）；Apple［26］提出在頭戴式設備中加入光投射顯示元件來實現注視點對準。

1.3.3重建眼球為三維模型法

重建眼球為三維模型法使用光場相機和結構光等設備將眼球重建為三維模型，再通過該三維模型計算眼球追蹤方向，適用于有光場攝像頭或全光攝像頭并采用模型重建算法的情況。目前，Facebook、Microsoft和Oculus對此研究較為深入。另外，Yeh等［27］提出一種基于深度學習的高動態范圍（High Dynamic Range，HDR）方法來提高3D重建的精度；Li等［28］研究了一種從二維組織顯微鏡圖像中估計3D眼球球體的新方法；Microsoft［29］提出使用光場相機來獲取視點數據；Oculus［30］在頭戴式顯示器上使用了光場相機進行眼動跟蹤。

1.3.4反射法

反射法主要分為瞳孔角膜反射法、視網膜反射法和角膜反射法，適用于設備中含有反射功能的反射裝置，如：MSMS反射鏡。代表企業有Magic Leap、Digilens、Tobii 、SMI、Apple、Google和Sony，并且，國內外研究人員針對該方法也進行了一系列探索。曹奕鋮等［31］利用瞳孔角膜反射法設計出一種對用戶友好的視線跟蹤系統；Naqvi等［32］在分析瞳孔角膜反射法的基礎上，研究一種在駕駛員注意力不集中的情況下也可以安全駕駛的系統；Liu等［33］利用全息波導技術連接瞳孔中心和角膜反射向量來計算眼睛位置；Lee等［34］提出了一種基于模糊系統的方法，用于提高瞳孔和角膜檢測的精度；Mestre等［35］提出了一種用于精確眼睛跟蹤圖像的注視估計方法；Ebisawa等［36］開發了一種基于瞳孔角膜反射法的凝視檢測系統，該系統允許較大的頭部運動并可以實現輕松的凝視校準；Hennessey等［37］使用多次角膜反射和點模式匹配對頭部位移的PCCR矢量進行縮放校準；Ogawa等［38］使用角膜表面反射和全景相機進行注視點估計。

1.3.5多視角跟蹤法

菲涅爾透鏡是多視角跟蹤法的重要設備，多視角跟蹤法可以通過菲涅爾透鏡去捕獲眼睛的多個狀態圖以追蹤眼睛姿勢，該方法常用于含有多視角攝像機的場景。目前，Google、Facebook、Sony和Magic Leap都對該方法進行了深入研究。Magic Leap［39］提出了一種向用戶顯示虛擬內容的方法，該方法通過多波導前曲率來確定眼睛焦距；Bertel等［40］使用360°相機快速、隨意捕獲全景圖，可從多個視角提高各個場景的結果。

1.4　VR眼動專利申請量

目前，隨著VR技術的不斷發展，全球各大公司申請的相關專利數也在遞增，圖5中展示了在映維網上檢索統計到的2016―2021年全球主流VR眼鏡公司發布的眼球追蹤技術相關專利的申請數量?？梢钥闯?，位列全球前五的申請人為：Microsoft、Facebook、Magic Leap、Sony和Oculus。

圖5　VR眼動追蹤技術專利申請數量

接下來，本文對Microsoft、Facebook、Magic Leap、Sony等公司近三年申請的VR眼動追蹤的部分專利的技術原理進行梳理和綜述。

Multi?perspective eye?tracking for VR/AR systems［41］由Google公司申請，該專利的顯示系統使用小透鏡陣列或菲涅爾透鏡作為分段光學陣列來捕獲眼睛的多視角圖像，并使用神經網絡選擇眼睛視角，根據選擇的多視角組合來跟蹤用戶眼睛的姿勢。

Adaptive VR/AR viewing based on a users eye condition profile［42］由Disney公司申請，該專利為解決用戶因近視、遠視、散光等因素帶來的不適，軟件應用程序基于用戶的眼睛狀況數據（包括：為矯正近視或遠視而使用的鏡片度數、色盲數據等）映射到視頻渲染參數（包括：亮度、對比度、顏色等），將呈現的數據通過光學部件的矯正用于VR/AR頭戴式顯示器。

Display with eye tracking and adaptive optics［43］由Microsoft公司申請，該專利使用自適應光學組件作為光學設備來矯正入射到眼睛的光線，使用戶眼睛注視方向與瞳孔位置可以平行。

Selecting a text input field using eye gaze［44］由Apple公司申請，該專利描述了眼睛與電子設備進行交互的過程，首先通過注視傳感器來確定眼睛注視的特性，然后確定眼睛的注視位置。

Eye tracking system for head?mounted display devices［45］由Valve公司申請，該專利描述在VR/AR等頭戴式設備中，能夠通過光源、光檢測器和偏振器實現眼動追蹤系統，并使用機器來追蹤眼睛的凝視方向。

Method and system for eye tracking using speckle patterns［46］由Magic Leap公司申請，該專利使用眼睛的預校準散斑圖來確定眼睛的初始位置，主要方法是先將光束照向眼睛，接著檢測由眼睛反射的光束形成的散斑圖案，最后使用幀跟蹤眼睛來計算起始位置。

Eye tracking system with holographic film decoder［47］由Sony公司申請，該專利設計了一種帶有全息膠片解碼器的眼動追蹤系統。該系統使用預先記錄的有圖案的全息薄膜將來自眼睛的發光二極管（Light Emitting Diode，LED）編碼轉化為二進制圖案，該二進制圖案能夠將低分辨率單聲道圖像轉換為眼睛姿勢。

1.5　眼動交互技術分類

眼動人機交互是指計算機利用眼部信息來完成交互。目前，眼動交互技術可分為視線反饋技術和視線輸入技術［48］。其中，視線反饋技術主要有附加信息反饋技術；視線輸入技術主要有單一視線輸入方式、多方式交互輸入技術［49］。

1.5.1視線反饋技術

1）附加信息反饋技術：基于收集到的附加信息和眼動系統收集到的自然眼動信息幫助用戶完成交互。

1986年，Kleinke［50］通過研究凝視、經驗和情景前因的關系，提出了凝視和生理反應之間的關系。

2010年，Nakano等［51］通過實時收集用戶凝視數據，提出一種基于凝視轉換的3?gram模式和參與敏感代理來判斷聽者是否參與對話及參與程度。

2014年，Engel等［52］使用單目同步定位與建圖（Monocular Simultaneous Localization And Mapping， MSLAM）系統作為視覺傳感器，通過卡爾曼濾波進行視覺和其他信息的融合。

2018年，Massiceti等［53］提出模擬回聲定位和距離相關的嗡嗡聲音音量調制方法，并讓參與者在沒有蒙住眼睛和蒙住眼睛的兩種情況下在VR環境中實驗。結果表明，在視覺信息指導下，參與者的速度更快且碰撞次數更少，但蒙住眼睛的實驗有助于幫助盲人進行獨立行動。

2021年，Gao等［54］提出基于投影儀的手術指導系統，該系統通過格雷碼標定方法使投影儀能夠通過攝像頭進行標定，并基于光學空間定位器將附加信息可視化到手術場景中，有助于外科醫生集中精力做手術。

2）信息呈現方式反饋技術：通過改變視覺信息的呈現方式完成交互。

2006年，Waddingham等［55］通過在VR系統中的一組實驗，讓弱視兒童觀看具有流式雙目呈現能力的視頻和游戲，以達到治療弱視的效果。

2019年，Forlim等［56］使用立體護目鏡為用戶呈現VR游戲場景，以解決VR刺激和虛擬機的連接不匹配問題。2019年，Vancleef等［57］為眼科診所設計了一種在自動立體平板電腦上運行的游戲實驗，該實驗首先通過修改貝葉斯自適應梯度來調整目標差異，接著動態調整屏幕視差以達到所需的視網膜視差。

2020年，Lee等［58］針對大腦區域檢測到的腦電波，以評估屏幕尺寸（智能手機、平板、電腦）和視覺呈現模式（2D、3D、AR、VR）對視覺疲勞的影響，有助于降低眼睛受傷和患病概率。

1.5.2視線輸入技術

1）單一視線輸入技術：由用戶僅利用自主性移動視線完成字符輸入工作。

2003年，Lin等［59］使用電荷耦合器件（Charge Coupled Device， CCD）作為輸入源，在四種頭戴式顯示器的控制下測試了視網膜顯示器的敏銳度，驗證了視網膜光掃描在可穿戴低視力輔助設備中的獨特性。

2012年，Lim等［60］開發了注視跟蹤界面來控制3D游戲、遠程手術、軍事訓練和飛行員模擬在內的3D內容，與僅通過鼠標、鍵盤控制的方法相比，更加自然有效。

2020年，Chi等［61］提出一種基于虹膜半徑的角膜半徑標定方法，用于遠程單機雙光源系統中的3D注視估計。該方法首先基于雙目策略校準虹膜半徑，使用校準后的虹膜半徑估計空間虹膜中心，然后在角膜與虹膜間距離的約束下，通過非線性方程校準角膜邊緣點。

2）多方式交互輸入技術：用戶通過自動移動眼球，并使用視線與鼠標鍵盤等相結合的方法完成交互。

2015年，Skodras等［62］首先從感官數據中提取面部特征，接著從中導出與凝視距離相關的距離向量，并使用附加信息改進垂直方向上細微眼睛運動的建模，提高了在自然條件下注視跟蹤的準確性。

2020年，Pan等［63］基于空間定位、觸覺刺激、場景感知等方式，提出了融合多方式的多軸VR感知機制系統，該系統可以極大增強用戶體驗感。

2020年，才華等［64］設計了一種基于多模態融合方法的VR模型。該模型通過輸入不同學生的互動信息，讓學生可以根據自己的需要，選擇VR空間教室內各虛擬物體的狀態進行學習。

2021年，黃君浩等［65］基于卷積神經網絡估計人眼注視點位置，并使用眼動鼠標與眼動打字功能相結合來完成交互。

1.6　VR系統中融入眼動技術的優勢

VR與眼動技術融合主要有以下幾個優勢：增加用戶的沉浸感；降低疲勞、減小追蹤誤差；增強系統圖形渲染能力并降低VR頭顯價格［66］。

1.6.1增強用戶沉浸感

VR是虛擬事物在虛擬世界中的呈現，融合了立體顯示、傳感器和動態環境建模技術［67］。沉浸感是VR的三大特征中最主要的特征［68］，用戶的沉浸感取決于用戶本身的體驗，當用戶感受到來自虛擬世界的刺激時，便會產生與真實世界一樣的感受。眼動跟蹤技術相較于手勢、語音等其他交互方式，能夠給用戶帶來更強的沉浸感與更優質的體驗。

1.6.2降低疲勞并減少追蹤誤差

VR交互界面的發展經歷了命令語言界面、直接操作界面、多媒體用戶界面和多通道用戶界［69］。語音控制、頭部轉動、手勢交互都會使用戶感到疲勞，在交互界面中加入眼動跟蹤技術，通過傳感器跟蹤眼睛運動，采用視線點擊完成信息交互，能夠減輕用眼疲勞并提高用戶對網上資源利用率和追蹤精度，進而提升虛擬世界的社交化程度。

1.6.3增強圖形渲染能力并降低頭顯成本

通常，利用視覺呈現的景物都是三維的，要在虛擬世界中看到立體、有景深的畫面，對圖像渲染能力要求極高。眼睛注視物體時，視覺中心的影像比較清晰，周圍的影像比較模糊。注視點渲染技術利用眼動追蹤能夠獲取人眼注視位置，并實現渲染位置隨眼球運動而變化。中間區域使用高分辨率渲染，邊緣區域利用低于高分辨率一半的低分辨率渲染，以減小產品負荷，降低VR頭顯的成本。

2 集成眼動技術的VR頭顯

VR頭顯內置高精度眼動追蹤設備，可捕獲到受試者的眼動蹤跡，并將其轉化為人眼可觀察到的圖形［70］。通常，VR眼動追蹤系統由虛擬環境處理器、頭盔顯示器、身體姿態追蹤器、高性能傳感器以及感官系統組成，常用的高性能傳感器主要有：SteamVR追蹤傳感器、定位傳感器、觸摸傳感器、矯正傳感器等。

VR眼動設備是用于測量虛擬世界中人眼瀏覽信息情況和研究有關教育、醫療、社交、游戲等過程的專用儀器。目前，市面上出現了許多集成眼動跟蹤系統的VR頭顯設備，如：LG UltraGear、Vive Cosmos、Vive Pro Eye、StarVR One等。表1匯總了近年集成眼動追蹤技術的VR頭顯設備。

表1　集成眼動追蹤技術的VR頭顯設備

3 VR眼動技術應用場景

VR眼動交互是在人機交互的基礎上發展起來的一門新技術，主要應用于教育、醫療、社交、家具設計、旅游、新聞傳播、設計裝配、電子商務、運動和游戲等領域。實際應用中，可以從視覺效果、沉浸感、舒適度三個方面評價VR眼動系統的應用效果。其中：視覺效果指用戶在虛擬環境下，即使快速切換場景，也能看到良好的視覺景象；沉浸感指當用戶帶入頭戴式設備進入到虛擬環境中時，感覺系統可以出現與真實環境一樣的感覺并完成處理［71］；舒適度指用戶在長時間佩戴過程中，眼睛依舊舒適，并且場景切換時眩暈感低。未來會有更多行業使用VR眼動交互技術。

3.1　醫療領域

目前，VR在健康醫療領域主要應用在臨床醫學和醫學教育。隨著應用的多元化，VR與醫學深度結合主要有以下優勢：１）患者康復訓練中，真實訓練沒有虛擬環境中的訓練有效；2）讓醫生可以更加直觀認識病人的病灶，有助于醫生更快、更方便制定出治療方案；3）視覺效果、沉浸感與舒適度良好。在頭戴式VR設備的基礎上，Park等［72］使用加入紅外眼動儀的頭戴式設備，幫助患者進行前庭康復治療。Kadhum等［73］通過比較弱視患者與健康人群在VR視頻游戲中的不同表現，總結出治療弱視的障礙。Gestefeld等［74］使用VR眼動追蹤技術幫助偏盲患者進行視力恢復訓練。

3.2　社交領域

近年來，隨著各種社交APP的出現，人與人之間的交流方式不斷變化，線上交流也成為一種主流的交流方式，但隨著人們對多樣化設計的要求，VR社交也逐步進入大眾視野，雖然VR社交可以釋放硬件資源、降低負載和功能，能夠讓VR設備視覺效果、沉浸感和舒適度達到最佳，但在VR世界中人們交流受限，不能直觀了解對方，基于此，許多企業和研究人員也進行了探索。Oculus、Magic Leap、Facebook等公司都已經研究出了利用眼動跟蹤進行捕捉人的面部表情的技術；SMI Social Eye系統可通過瞳孔反應表達自己真實感受，有利于交流。

3.3　游戲領域

作為一種先進的技術，VR在游戲領域的深入使用使游戲產業得到了突破性的發展。眼動跟蹤讓玩家通過眼球注視點完成主動輸入操作，控制VR視角，使視覺效果、沉浸感與舒適度達到最好。但由于玩家控制游戲中的角色進行移動時，玩家需要大幅度移動手柄和多次按鍵，使玩家感到疲勞，且情感體驗感不強，因此，Bai等［75］通過在VR排球游戲中構建虛擬角色來增強用戶的情感體驗。

3.4　設計領域

目前，家具展示多以圖片、視頻為主，不能讓用戶全方位了解家具的功能與特點，難以保證用戶的體驗效果。而在家具領域使用VR技術，可以展示家具的詳細特點，眼動跟蹤也可以貼切反映用戶的體驗感，兩者結合有利于開發出適合用戶使用的家具，創造出視覺效果、沉浸感與舒適度良好的家居環境。Fen等［76］以室內色彩因素與感性語義之間的權重關系為指導，可以幫助設計師更快地在VR中設計出用戶需要的色彩；賀田瀟等［77］使用VR眼動技術從圖書館內設施的材質、布局、高度出發，進行家具的研究設計。

3.5　教育領域

在教育領域結合VR技術可以幫助學生更加直觀地學習知識并幫助他們健康成長。而隨著VR的不斷發展，VR技術在教育領域的應用也會更加深入，應用場景也會更加多元化。但VR教育由于技術上不成熟，也尚未在大中小學校普及，老師傳授知識依舊是依靠文字視頻的方式。Hou等［78］利用VR技術開發一個虛擬生態環境來學習臺北樹蛙，以提高學生的學習興趣；Khan等［79］通過VR設備研究虛擬空間中兒童道路安全教育與在游戲中進行學習的關系。

4 問題與展望

近年來，為進一步提高VR眼動追蹤在相關領域的應用效果，許多高校及研究機構都進行一些探究性實驗，如：墨爾本大學的Pai等［80］通過在用戶前臂上使用注視跟蹤和肌電圖檢查系統，使虛擬空間中的選擇任務更加高效，但此方法僅基于16位群眾進行研究，不具有普適性；圖賓根大學的Sipatchin等［81］使用Raspberry Pi系統測試VR時間精度，證明HTC Vive Pro Eye可作為視力喪失的在線幫助工具，但自動校準系統不夠流暢；同濟大學的郭亞楠等［82］在Unity 3D中搭建虛擬場景來完成眼動儀的對接，這有助于設計團隊優化建筑風貌，實現民居現狀和設計方案的實施對比；廈門大學的Zhang等［83］將眼睛定義為圓錐形光源，并基于傳統眼動追蹤技術，完成虛擬環境中的3D裸眼追蹤和空間定位，設計VR眼動追蹤平臺，完成在虛擬環境中對眼動數據和協議數據的集成與量化。從已有研究看，VR眼動追蹤技術依舊存在一些問題，還需要不斷探索實驗。

在已有研究的基礎上，本文總結并分析VR眼動的熱點問題，并提出相應的解決方案，認為目前VR眼動的熱點問題集中在微型化設備、屈光度矯正、優質內容匱乏、暈屏與眼球圖像失真、定位精度和近眼顯示系統六個方面。

4.1　微型化設備

對于VR眼動設備而言，輕量化、小型化是其成功的關鍵。目前，市面上的VR眼動設備，雖然其重量已低至500 g，但用戶長時間佩戴依舊會產生疲憊感。微軟的HoloLens2采用激光顯示器和碳纖維減輕頭盔重量，提升用戶體驗感；Tundra Labs開發的SteamVR Tracking套件可將VR眼動設備的控制、處理和通信組件壓縮為尺寸僅為16 mm×10 mm的微模塊，該模塊包含SteamVR Tracking、定位追蹤器和TS4112傳感器，通過簡化設備的控制器和外設，從而使VR設備尺寸更小、重量更輕。Magic Leap提出了一種基于單晶硅的MSMS掃描儀，能夠將光從第一光纖和第二光纖傳送到懸梁臂遠端的第一波導和第二波導，在懸梁臂上使用光纖、磁換能器和單晶硅等組件。單晶硅的厚度約為100 μm，因而讓使用單晶硅襯底光學掃描儀的厚度約為100 μm，從而進一步小型化了VR/AR設備。未來，可以進一步改進全息光學器件，例如對光學元件進行多次折疊或采用自適應光學處理器，使光學元件的厚度可以更薄，從而減輕設備的重量。

4.2　屈光度矯正

基于VR眼動交互技術的智能眼鏡針對近視人群的并不多，智能眼鏡大多都必須加入屈光度矯正裝置和VR眼動裝置，不僅難以穿戴，還會降低用戶體驗感。在VR眼動系統中加入近視自動矯正模塊，讓用戶使用VR設備時，能自動矯正視力，勢必會進一步增加VR設備在用戶中的普及度，進而提高用戶的使用率。另外，長時間佩戴VR眼鏡將造成用戶視覺疲勞，降低用戶視力，因此，屈光度問題成為VR設備發展的一大難題。目前，研究人員針對該問題不斷探索，例如：Mohammadpour等［84］根據屈光度不正引起的圖像質量退化問題，提出基于可計算的光場顯示器方法。王洋［85］使用全變差方法繪制圖像來矯正視覺畸變。Yang等［86］將全息3D投影技術用于近眼顯示器以提高近眼計算效率。Xia等［87］使用時間復用技術，以矯正聚光調節沖突問題。未來，在光學器件中加入自適應屈光度矯正方法，例如通過修改光學透鏡參數進行矯正，使VR頭顯能夠針對不同用戶的視力情況實現自適應調整，這樣就無須配戴眼鏡，可以為用戶帶來更好的體驗感。

4.3　優質內容匱乏

優質內容匱乏是VR行業面臨的又一大問題。目前，VR設備還處于完善階段。首先，硬件設備不成熟，3D攝像機、傳感器仍處于開發階段，國內外團隊更多關注的是如何提高硬件設備質量；其次，VR內容制作周期長、難度大，所有細節不僅要考慮視差校正、景深等因素，還需考慮與用戶的契合度，會耗費較大的人力與物力；最后，面向文化、制造、醫療、教育等領域的內容缺失，也制約了優質內容的制作。基于以上問題，國內外研究人員進行不斷探索，如：Wang等［88］提出利用卷積神經網絡設計VR全景圖像和3D場景視頻。劉寧寧［89］提出基于VR的半實物煤礦操作平臺，為復雜設備操作培訓提供了新思路。隨硬件設備質量的提升，會有更多的公司與團隊（如：Pinta公司是國內最重要的VR內容制作公司之一）加入VR行業，推出優質內容也只是時間問題。未來，在VR眼動設備中融入運行速率類似于“瀏覽器功能”的組件，該組件能夠直接渲染瀏覽器內部場景并將其呈現，這樣在VR設備中將會加載更多優質內容。

4.4　暈屏與眼球圖像失真

頭戴式VR設備中，“暈屏”和眼球圖像失真導致用戶體驗感降低。當體驗者的眼睛快速移動時，由于視覺和前庭刺激之間存在差異，鏡片呈現的全息虛擬影像的幀速率并不能與眼睛移動速度相匹配，導致眼球圖像失真和暈動癥。此外，圖像渲染速率低、姿態定位速度過慢和聚焦與視差沖突也會造成“暈屏”。圖像失真算法分為兩類：1）制作模板圖像，使用多項式坐標變換完成模板圖和失真圖像的地址映射［90-91］；2）借用攝像機成像原理研究幾何失真的原因［92］。針對以上兩類算法國內外出現了很多研究案例，例如：郭科等［93］提出EBL?幀篩除算法，采用相鄰圖像匹配點的位置計算EBL參數，進而篩選出最不清晰的圖像幀，去掉這些幀，根據剩下的幀計算相機位姿。程克非等［94］提出一種通過人眼注視區進行圖形校準，此方法利用重心提取、去噪處理、坐標變化等方式進行圖像矯正。有研究表明通過優化VR系統中的運動，如：通過調整3D環境和實驗裝置可降低眩暈感并提高圖像分辨率。另外，人體的運動數據是通過運動神經纖維將運動內容通過內耳傳感系統傳遞到大腦，可以在VR眼動設備中加入多通道傳感器（如：振動傳感器、聲音傳感器）來改變大腦對運動的感知，從而預防暈動癥的發生。

4.5　定位精度

精度是評估眼動追蹤數據質量的重要依據之一。即使很小的精度誤差都會帶來很大的影響，識別精度受環境亮度、眼睛最佳狀態、設備漂移（如：耳機滑動）等因素的影響。基于以上問題，研究者提出了許多算法。如：周曉榮［95］提出基于瞳孔中心二次提取處理和基于RANSAC的邊界擬合法，此算法先使用中值濾波、自適應閾值二值化處理，然后使用邊緣檢測和邊界擬合法進行瞳孔中心點坐標提取，較大概率避免了將眉毛眼瞼等錯檢為瞳孔，提高了精度。Tripathi等［96］提出用連續校準來補償耳機相對于頭部的細小移動，可使精確度與明確校準一致，但是多次校準需要額外的時間。Konrad等［97］使用眼視差渲染技術來改善VR中的深度感知精度和真實感。慣性測量裝置（Inertial Measurement Unit， IMU）是當前VR眼鏡測量角度的最常用設備，但復雜場景中，多個IMU測量會導致識別精度降低；紅外激光定位技術能夠提高識別精度、降低硬件成本，但不適用于復雜場景。未來，隨著VR技術的發展，基于深度相機或雙目相機的SLAM技術并融合多個傳感器和計算機視覺算法使VR頭顯實現身體多部位與環境的追蹤，不僅適用于復雜場景，還能提高定位精度和識別速度。一方面，根據不同用戶的頭部特征，通過逐一實驗來優化頭戴式顯示器中顯示屏的放置位置并根據不同情形下的影響因素來矯正鏡片能夠提高精度；另一方面，多數VR眼動設備是使用姿態傳感器對用戶姿態進行輸入，我們或許可以考慮將視覺傳感器、慣性傳感器、GPS和卡爾曼濾波器等相結合來提高用戶輸入數據的精度。

4.6　近眼顯示系統

由于近眼顯示系統設備小型化、微型化的需求，需要調整顯示屏發出的光線路徑，并對圖像數據進行壓縮和漸進傳輸，以減小頭戴式顯示器的顯示屏與眼睛之間的距離。近年來，許多研究人員都致力于研究該問題，例如：Zhang等［98］使用擬人視覺成像技術來測量近眼顯示器的關鍵參數，包括視場、角分辨率、眼眶和虛擬圖像深度。Xiao等［99］提出一種基于定向散射全息波導和彎曲護目鏡的同軸近眼顯示系統，用以實現大視場、高LU和輕量化場景。Park等［100］介紹了一種用于近眼顯示器的緊湊型光學元件，它使用一對微透鏡陣列，在距眼睛幾厘米以內的平視顯示器上進行調節眼睛視線。王小東等［101］提出在使用深度學習進行實現估計時，加入多任務訓練和多階段輸出，能夠在不增加訓練數據的基礎上，提升視線估計精度。目前，近眼顯示系統是提高VR眼動跟蹤性能的關鍵技術之一，未來依舊可以沿著顯示裝置、光學引擎等方面探索出性能更優的系統，例如：通過提高光學組件中的輸入濾光器、輸出濾光器、反射折射透鏡和波導反射組件的性能（如：更換表面材料提升光學參數、調整組件數量或者改變顯示面板的傾斜度來匹配3D屏幕深度等），讓光傳播后呈現在顯示器上的畫面能使眼睛的狀態最舒適。

5 結語

本文主要圍繞用于VR系統的眼動交互技術相關研究及進展進行了綜述。在VR中融入眼動交互技術意味著注意力跟蹤過程可以被測量，這為準確理解人類的行為提供了可能性，但也面臨巨大的挑戰。眼動交互技術目前已經在減輕VR帶來的眩暈感、疲憊感，增強環境的視覺效果、沉浸感、舒適度等方面給用戶帶來了更優質的體驗，在心理學、醫學、教育培訓、游戲等領域的應用也逐步落地，相關研究人員針對VR眼動交互系統的屈光度矯正、暈屏與眼球圖像失真、定位精度和近眼顯示系統等方面的研究進展顯著，各大巨頭公司對具有眼動跟蹤交互的VR頭盔產品的研發趨之若鶩。展望VR系統中眼動交互技術的研究發展趨勢，融合眼動跟蹤軟硬件的多感知人機自然交互的VR智能眼鏡（頭盔）的超輕量化以及智能化解決方案、多用戶VR環境中基于眼動交互技術的情感傳遞模型、多領域眼動跟蹤典型應用場景的拓展等將是未來一段時間內研究的重點和熱點。

[1] 賈宏博，師國偉，姚欽. 眼動跟蹤技術及其在軍事領域的應用［J］. 航天醫學與醫學工程， 2016， 29（5）： 385-390.（JIA H B， SHI G W， YAO Q. Eye tracking technology and its application in the military［J］. Space Medicine and Medical Engineering， 2016， 29（5）： 385-390.）

[2] ROBINSON R M， THOMAS M L， WETZEL P A. Eye tracker development on the fiber optic helmet mounted display［C］// Proceedings of the SPIE 1116， Helmet?Mounted Displays. Bellingham， WA： SPIE， 1989： 102-109.

[3] MORIMOTO C， MIMICA M R M. Eye gaze tracking techniques for interactive applications［J］. Computer Vision and Image Understanding， 2005， 98（1）： 4-24.

[4] 王麗萍，汪成，邱飛岳，等. 深度圖像中的3D手勢姿態估計方法綜述［J］. 小型微型計算機系統， 2021， 42（6）： 1227-1235.（WANG L P， WANG C， QIU F Y， et al. Survey of 3D hand pose estimation methods using depth map［J］. Journal of Chinese Computer Systems， 2021， 42（6）： 1227-1235.）

[5] RAYNER K. Eye movements in reading and information processing： 20 years of research［J］. Psychological Bulletin， 1998， 124（3）： 372-422.

[6] ROBERTS E O， PROUDLOCK F A， MARTIN K， et al. Reading in schizophrenic subjects and their nonsymptomatic first?degree relatives［J］. Schizophrenia Bulletin， 2013， 39（4）： 896-907.

[7] 王文冠，沈建冰，賈云得. 視覺注意力檢測綜述［J］. 軟件學報， 2019， 30（2）： 416-439.（WANG W G， SHEN J B， JIA Y D. Review of visual attention detection［J］. Journal of Software， 2019， 30（2）： 416-439.）

[8] 易琳，賈瑞雙，劉然，等. 虛擬現實環境中視覺誘導暈動癥的評估指標［J］. 航天醫學與醫學工程， 2018， 31（4）： 437-445.（YI L， JIA R S， LIU R， et al. Evaluation indicators for visually induced motion sickness in virtual reality environment［J］. Space Medicine and Medical Engineering， 2018， 31（4）： 437-445.）

[9] 周小龍，湯帆揚，管秋，等. 基于3D人眼模型的視線跟蹤技術綜述［J］. 計算機輔助設計與圖形學學報， 2017， 29（9）： 1579-1589.（ZHOU X L， TANG F Y， GUAN Q， et al. A survey of 3D eye model based gaze tracking［J］. Journal of Computer?Aided Design and Computer Graphics， 2017， 29（9）： 1579-1589.）

[10] BADI H. A survey on recent vision?based gesture recognition［J］. Intelligent Industrial Systems， 2016， 2（2）： 179-191.

[11] 黃進，張浩，田豐. 面向動態交互場景的計算模型［J］. 圖學學報， 2021， 42（3）： 359-366.（HUANG J， ZHANG H， TIAN F. Computational model for dynamic interactive scenarios［J］. Journal of Graphics， 2021， 42（3）： 359-366.）

[12] HANSEN D W， JI Q. In the eye of the beholder： a survey of models for eyes and gaze［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（3）： 478-500.

[13] 路雪，衛兵，吳小培. 基于連續眨眼的人?機交互新模式［J］.計算機工程與應用，2018，54（20）：263-270. （LU X， WEI B， WU X P. Novel human?computer interaction model based on continuous eye?blinks［J］. Computer Engineering and Applications， 2018， 54（20）： 263-270.）

[14] MA C F， BAEK S J， CHOI K A， et al. Improved remote gaze estimation using corneal reflection?adaptive geometric transforms［J］. Optical Engineering， 2014， 53（5）： No.053112.

[15] 呂文蕾，賀田瀟，耿曉杰. 虛擬現實結合眼動追蹤技術在家具設計中的應用前景［J］. 木材工業， 2019， 33（3）： 36-40.（LYU W L， HE T X， GENG X J. Application prospect of virtual reality combining eye tracking technology in furniture design［J］. China Wood Industry， 2019， 33（3）： 36-40.）

[16] ARIKAWA M， HAYASHI K. Adaptive equalization of transmitter and receiver IQ skew by multi?layer linear and widely linear filters with deepunfolding［J］. Optics Express， 2020， 28（16）： 23478-23494.

[17] 朱博. 視線追蹤技術及其在駕駛員與乘客監測系統中的應用研究［D］. 沈陽：東北大學， 2013：22-26.（ZHU B. Gaze tracking and its application in driver and passenger monitoring systems［D］. Shenyang： Northeastern University， 2013：22-26.）

[18] 程時偉，孫志強. 用于移動設備人機交互的眼動跟蹤方法［J］. 計算機輔助設計與圖形學報， 2014， 26（8）：1354-1361.（CHENG S W， SUN Z Q. An approach to eye tracking for mobile device based interaction［J］. Journal of Computer?Aided Design and Computer Graphics， 2014， 26（8）：1354-1361.）

[19] ZHU Y C， ZHAI G T， MIN X K. The prediction of head and eye movement for 360 degree images［J］. Signal Processing： Image Communication， 2018， 69： 15-25.

[20] ZHU Y， ZHAI G， MIN X， et al. The prediction of saliency map for head and eye movements in 360 degree images［J］. IEEE Transactions on Multimedia， 2020， 22（9）： 2331-2344.

[21] LEE K F， CHEN Y L， YU C W， et al. Gaze tracking and point estimation using low?cost head?mounted devices［J］. Sensors， 2020， 20（7）： No.1917.

[22] Apple Inc.Eye tracking using low resolution images： 20210081040［P］. 2021-03-18.

[23] CUI W， CHANG C L， GAO L. Development of an ultra?compact optical combiner for augmented reality using geometric phase lenses［J］. Optics Letters， 2020， 45（10）： 2808-2811.

[24] Magic Laep， Inc. Content interaction driven by eye metrics： 20210181514［P］. 2021-06-17.

[25] Facebook Technologies， LLC. Hybrid coupling diffractive optical element： 20210173210［P］. 2021-06-10.

[26] Apple Inc. Optical alignment for head?mounted device： 20210149203［P］. 2021-05-20.

[27] YEH C H， LIN M H. Robust 3D reconstruction using HDR?based SLAM［J］. IEEE Access， 2021， 9： 16568-16581.

[28] LI H X， YU H Y， KIM Y K， et al. Computational model?based estimation of mouse eyeball structure from two?dimensional flatmount microscopy images［J］. Translational Vision Science and Technology， 2021， 10（4）： No.25.

[29] Microsoft Technology Licensing， LLC. Light field camera modules and light field camera module arrays： 20210021785［P］. 2021-01-21.

[30] Oculus VR， LLC. Eye tracking using a light field camera on a head?mounted display： 20180173303［P］. 2018-06-21.

[31] 曹奕鋮，蔣路茸，童基均. 基于瞳孔角膜反射法的視線估計系統設計與實現［J］. 浙江理工大學學報（自然科學版）， 2019， 41（2）： 201-207.（CAO Y C， JIANG L R， TONG J J. Design and implementation of line of sight estimation system based on pupil corneal reflection method［J］. Journal of Zhejiang Sci?Tech University （Natural Sciences Edition）， 2019， 41（2）： 201-207.）

[32] NAQVI R A， ARSALAN M， BATCHULUUN G， et al. Deep learning?based gaze detection system for automobile drivers using a NIR camera sensor［J］. Sensors， 2018， 18（2）： No.456.

[33] LIU C G， PAZZUCCONI B， LIU J， et al. A holographic waveguide based eye tracker［C］// Proceedings of the SPIE 10474， Ophthalmic Technologies XXVIII. Bellingham， WA： SPIE， 2018： No.104741T.

[34] LEE D E， YOON H S， HONG H G， et al. Fuzzy?system?based detection of pupil center and corneal specular reflection for a driver?gaze tracking system based on the symmetrical characteristics of face and facial feature points［J］. Symmetry， 2017， 9（11）： No.267.

[35] MESTRE C， GAUTIER J， PUJOL J. Robust eye tracking based on multiple corneal reflections for clinical applications［J］. Journal of Biomedical Optics， 2018， 23（3）： No.035001.

[36] EBISAWA Y， FUKUMOTO K. Head?free， remote eye?gaze detection system based on pupil?corneal reflection method with easy calibration using two stereo?calibrated video cameras［J］. IEEE Transactions on Biomedical Engineering， 2013， 60（10）： 2952-2960.

[37] HENNESSEY C A， LAWRENCE P D. Improving the accuracy and reliability of remote system?calibration?free eye?gaze tracking［J］. IEEE Transactions on Biomedical Engineering， 2009， 56（7）： 1891-1900.

[38] OGAWA T， NAKAZAWA T， NISHIDA T. Point of gaze estimation using corneal surface reflection and omnidirectional camera image［J］. IEICE Transactions on Information and Systems， 2018， E101?D（5）： 1278-1287.

[39] Magic Leap， Inc. Virtual and augmented reality systems and methods： 20210141237［P］. 2021-05-13.

[40] BERTEL T， YUAN M Z， LINDROOS R， et al. OmniPhotos： casual 360° VR photography［J］. ACM Transactions on Graphics， 2020， 39（6）： No.266.

[41] Google LLC. Multi?perspective eye?tracking for VR/AR systems： 20190129174［P］. 2019-05-02.

[42] Disney Enterprise， Inc. Adaptive VR/AR viewing based on a users eye condition profile： 20190056780［P］. 2019-02-21.

[43] Microsoft Technology Licensing， LLC. Display with eye tracking and adaptive optics： 20210239971［P］. 2021-08-05.

[44] Apple Inc. Selecting a text input field using eye gaze： 20210240331［P］. 2021-08-05.

[45] Valve Corporation. Eye tracking system for head?mounted display devices： 20210232216［P］. 2021-07-29.

[46] Magic Leap， Inc. Method and system for eye tracking using speckle patterns： 20210232221［P］. 2021-07-29.

[47] Sony Interactive Entertainment Inc. Eye tracking system with holographic film decoder： 20190384386［P］. 2019-12-19.

[48] 吳鳳山，葛賢亮，王麗. 眼動人機交互技術的類別與特點［J］. 人類工效學， 2017， 23（4）： 80-86.（WU F S， GE X L， WANG L. Categories and characteristics of eye movement?based human? computer interaction technology［J］. Chinese Journal of Ergonomics， 2017， 23（4）： 80-86.）

[49] BROCKMOLE J R， LE?HOA V? M. Semantic memory for contextual regularities within and across scene categories： evidence from eye movements［J］. Attention， Perception， and Psychophysics， 2010， 72（7）： 1803-1813.

[50] KLEINKE C L. Gaze and eye contact： a research review［J］. Psychological Bulletin， 1986， 100（1）： 78-100.

[51] NAKANO Y I， ISHII R. Estimating user􀆳s engagement from eye? gaze behaviors in human?agent conversations［C］// Proceedings of the 15th International Conference on Intelligent User Interfaces. New York： ACM， 2010： 139-148.

[52] ENGEL J， STURM J， CREMERS D. Scale?aware navigation of a low?cost quadrocopter with a monocular camera［J］. Robotics and Autonomous Systems， 2014， 62（11）： 1646-1656.

[53] MASSICETI D， HICKS S L， VAN RHEEDE J J . Stereosonic vision： exploring visual?to?auditory sensory substitution mappings in an immersive virtual reality navigation paradigm［J］. PLoS ONE， 2018， 13（7）： No.e0199389.

[54] GAO Y， ZHAO Y Y， XIE L， et al. A projector?based augmented reality navigation system for computer?assisted surgery［J］. Sensors， 2021， 21（9）： No.2931.

[55] WADDINGHAM P E， BUTLER T K H， COBB S V， et al. Preliminary results from the use of the novel Interactive Binocular Treatment （I?BiT?） system， in the treatment of strabismic and anisometropic amblyopia［J］. Eye， 2006， 20（3）： 375-378.

[56] FORLIM C G， BITTNER L， MOSTAJERAN F. Stereoscopic renderinggoggles elicits higher functional connectivity during virtual reality gaming［J］. Frontiers in Human Neuroscience， 2019， 13： No.365.

[57] VANCLEEF K， SERRANO?PEDRAZA I， SHARP C， et al. ASTEROID： a new clinical stereotest on an autostereo 3D tablet［J］. Translational Vision Science and Technology， 2019， 8（1）： No.25.

[58] LEE C C， CHIANG H S， HSIAO M H. Effects of screen size and visual presentation on visual fatigue based on regional brain wave activity［J］. Journal of Supercomputing， 2021， 77（5）： 4831-4851.

[59] LIN S K V， SEIBEL E J， FURNESS T A F， III. Testing visual search performance using retinal light scanning as a future wearable low vision aid［J］. International Journal of Human? Computer Interaction， 2003， 15（2）： 245-263.

[60] LIM C J， KIM D. Development of gaze tracking interface for controlling 3D contents［J］. Sensors and Actuators A： Physical， 2012， 185： 151-159.

[61] CHI J N， WANG D， LU N， et al. Cornea radius calibration for remote 3D gaze tracking systems［J］. IEEE Access， 2020， 8：187634-187647.

[62] SKODRAS E， KANAS V G， FAKOTAKIS N. On visual gaze tracking based on a single low cost camera［J］. Signal Processing： Image Communication， 2015， 36： 29-42.

[63] PAN C T， SUN P Y， WANG S Y， et al. Integration of multi?axis platform with synchronous motion?sensing and virtual reality imagery for the depth of immersion［J］. The International Journal of Advanced Manufacturing Technology， 2020， 108： 91-103.

[64] 才華，孫俊，王爽，等.一種基于多模態融合方法的VR/AR模型構建方法：CN202010248294.5［P］. 2020-07-28.（CAI H， SUN J， WANG S， et al.A VR/AR model building method based on multimodal fusion method： CN202010248294.5 ［P］. 2020-07-28.）

[65] 賀輝，黃君浩. 基于眼動跟蹤的人機交互應用［J］. 山東大學學報（工學版）， 2021， 51（2）： 1-8.（HE H， HUANG J H. Eye tracking in human?computer interaction control［J］. Journal of Shandong University （Engineering Science）， 2021， 51（2）： 1-8.）

[66] 馮成志，沈模衛. 視線跟蹤技術及其在人機交互中的應用［J］. 浙江大學學報（理學版）， 2002， 29（2）： 225-232.（FENG C Z， SHEN M W. Application of gaze tracking in human computer interaction［J］. Journal of Zhejiang University （Science Edition）， 2002， 29（2）： 225-232.）

[67] 董士海. 人機交互的進展及面臨的挑戰［J］. 計算機輔助設計與圖形學學報， 2004， 16（1）：1-13.（DONG S H. Progress and challenges of human?computer interaction［J］. Journal of Computer?Aided Design and Graphics， 2004， 16（1）：1-13.）

[68] MAHALIL I， RUSLI M E， YUSOF A M， et al. Study of immersion effectiveness in VR?based stress therapy［C］// Proceedings of the 6th International Conference on Information Technology and Multimedia. Piscataway： IEEE， 2014： 380-385.

[69] HE Q， WU Y F， FENG Z P， et al. Triboelectric vibration sensor for a human?machine interface built on ubiquitous surfaces［J］. Nano Energy， 2019， 59： 689-696.

[70] 苗嶺. 虛擬現實眼動系統在環境交互設計中的研究［J］. 包裝工程， 2018， 39（22）： 274-281.（MIAO L. Eye?tracking virtual reality system in environmental interaction design［J］. Packaging Engineering， 2018， 39（22）： 274-281.）

[71] 黃東軍，伯斯科，陳斌華. 沉浸感顯示技術研究［J］. 計算機系統應用， 2007， 16（3）： 43-46.（HUANG D J， BO S K， CHEN B H. Research on immersion display technology［J］. Computer Systems and Applications， 2007， 16（3）： 43-46.）

[72] PARK J H， JEON H J， LIM E C， et al. Feasibility of eye tracking assisted vestibular rehabilitation strategy using immersive virtual reality［J］. Clinical and Experimental Otorhinolaryngology， 2019， 12（4）：376-384.

[73] KADHUM A， TAN E T C， LEVI D M， et al. Barriers to successful dichoptic treatment for amblyopia in young children［J］. Graefe􀆳s Archive for Clinical and Experimental Ophthalmology， 2021， 259（10）：3149-3157.

[74] GESTEFELD B， KOOPMAN J， VRIJLING A， et al. Eye tracking and virtual reality in the rehabilitation of mobility of hemianopia patients： a user experience study［J］. International Journal of Orientation and Mobility， 2020， 11（1）：7-19.

[75] BAI Z C， YAO N M， MISHRA N， et al. Enhancing emotional experience by building emotional virtual characters in VR volleyball games［J］. Computer Animation and Virtual Worlds， 2021， 32（3/4）： No.e2008.

[76] FEN G， PAN Y. Research on home interior colour based on VR panoramic rendering experience［J］. Journal of the Ergonomics Society of Korea， 2020， 39（5）： 423-435.

[77] 賀田瀟，呂文蕾，耿曉杰，等.基于虛擬現實結合眼動技術的圖書館家具設計研究［J］.家具與室內裝飾，2018（12）：12-13.（HE T X， LYU W L， GENG X J， et al. Research on library furniture design based on virtual reality combined with eye movement technique［J］. Furniture and Interior Design， 2018（12）： 12-13.）

[78] HOU K L， LIU Y H， TARNG W. Development of a virtual ecological environment for learning the Taipei tree frog［J］. Sustainability， 2021， 13（11）： No.5911.

[79] KHAN N， MUHAMMAD K， HUSSAIN T， et al. An adaptive game?based learning strategy for children road safety education and practice in virtual space［J］. Sensors， 2021， 21（11）： No.3661.

[80] PAI Y S， DINGLER T， KUNZE K. Assessing hands?free interactions for VR using eye gaze and electromyography［J］. Virtual Reality， 2019， 23（2）：119-131.

[81] SIPATCHIN A， WAHL S， RIFAI K. Eye?tracking for clinical ophthalmology with Virtual Reality （VR）： a case study of the HTC Vive Pro Eye􀆳s usability［J］. Healthcare， 2021， 9（2）： No.180.

[82] 臧偉，郭亞楠，周鳴浩.基于VR眼動數據的空間環境信息采集分析方法和應用探究——以喀什高臺民居保護與設計為例［C］// 數智營造：2020年全國建筑院系建筑數字技術教學與研究學術研討會論文集. 北京：中國建筑工業出版社， 2020： 249-254.（ZANG W， GUO Y N， ZHOU M H. Research on methods and application of spatial environment information collection and analysis based on VR eye movement data ― taking protection and design of Gaotai ancient homes in Kashgar as an example［C］// Digital Design and Intelligent Construction： Proceedings of 2020 National Conference on Architecture􀆳s Digital Technologies in Education and Research. Beijing： China Architecture and Building Press， 2020： 249-254.）

[83] ZHANG L M， ZHANG R X， JENG T S， et al. Cityscape protection using VR and eye tracking technology［J］. Journal of Visual Communication and Image Representation， 2019， 64： No.102639.

[84] MOHAMMADPOUR S， MEHRIDEHNAVI A， RABBANI H， et al. A pre?compensation algorithm for different optical aberrations using an enhanced wiener filter and edge tapering［C］// Proceedings of the 11th International Conference on Information Science， Signal Processing and their Applications. Piscataway IEEE， 2012： 935-939.

[85] 王洋. 基于反卷積濾波的頭盔顯示圖像人眼屈光度預校正算法研究［D］. 長春：長春理工大學， 2017： 1-51.（WANG Y. Research on pre?correction algorithm of human eye diopter for helmet mounted image based on deconvolution filtering［D］. Changchun： Changchun University of Science and Technology， 2017： 1-51.）

[86] YANG X， ZHANG H B， WANG Q H. A fast computer?generated holographic method for VR and AR near?eye 3D display［J］. Applied Sciences， 2019， 9（19）： No.4164.

[87] XIA X X， GUAN Y Q， STATE A， et al. Towards a switchable AR/VR near?eye display with accommodation?vergence and eyeglass prescription support［J］. IEEE Transactions on Visualization and Computer Graphics， 2019， 25（11）： 3114-3124.

[88] WANG M， LYU X Q， LI Y J， et al. VR content creation and exploration with deep learning： a survey［J］. Computational Visual Media， 2020， 6（1）：3-28.

[89] 劉寧寧. 基于VR虛擬現實的半實物綜采實操平臺［J］. 煤礦安全， 2019， 50（6）： 114-117.（LIU N N. Semi?physical fully- mechanized mining practical operating platform based on VR［J］. Safety in Coal Mines， 2019， 50（6）： 114-117.）

[90] SMITH W E， VAKIL N， MAISLIN S A. Correction of distortion in endoscope images［J］. IEEE Transactions on Medical Imaging， 1992， 11（1）： 117-122.

[91] HUGHES C， GLAVIN M， JONES E， et al. Wide?angle camera technology for automotive applications： a review［J］. IET Intelligent Transport Systems， 2009， 3（1）： 19-31.

[92] LIU A L， ZHANG J J， GUO B P. Geometric distortion correction for streak camera imaging［J］. Journal of Electronic Imaging， 2019， 28（3）： No.033023.

[93] 郭科，方俊永，王瀟，等. 一種視覺SLAM中運動模糊應對方法［J］. 哈爾濱工業大學學報， 2019， 51（11）： 116-121.（GUO K， FANG J Y， WANG X， et al. A method to deal with motion blur in visual SLAM［J］. Journal of Harbin Institute of Technology， 2019， 51（11）： 116-121.）

[94] 程克非，曹爽，臺正. 一種眼動跟蹤圖像失真的校正方法［J］. 激光雜志， 2013， 34（2）： 32-34.（CHNEG K F， CAO S， TAI Z. A method of image distortion correction based on eye tracking［J］. Laser Journal， 2013， 34（2）： 32-34.）

[95] 周曉榮. 基于頭戴式眼動儀的視線跟蹤算法研究［D］. 哈爾濱：哈爾濱工業大學， 2019： 1-71.（ZHOU X R. Eye tracking algorithm based on head?mounted eye tracker［D］. Harbin： Harbin Institute of Technology， 2019： 1-71.）

[96] TRIPATHI S， GUENTER B. A statistical approach to continuous self?calibrating eye gaze tracking for head?mounted virtual reality systems［C］// Proceedings of the 2017 IEEE Winter Conference on Applications of Computer Vision. Piscataway：IEEE， 2017： 862-870.

[97] KONRAD R， ANGELOPOULOS A， WETZSTEIN G. Gaze? contingent ocular parallax rendering for virtual reality［J］. ACM Transactions on Graphics， 2020， 39（2）： No.10.

[98] ZHANG Q， SONG W， HU X， et al. Design of a near?eye display measurement system using an anthropomorphic vision imaging method［J］. Optics Express， 2021， 29（9）： 13204-13218.

[99] XIAO J S， LIU J， LV Z L， et al. On?axis near?eye display system based on directional scattering holographic waveguide and curved goggle［J］. Optics Express， 2019， 27（2）： 1683-1692.

[100] PARK H S， HOSKINSON R， ABDOLLAHI H， et al. Compact near?eye display system using a superlens?based microlens array magnifier［J］. Optics Express， 2015， 23（24）： 30618-30633.

[101] 王小東，謝良，閆慧炯，等. 基于多任務輔助推理的近眼視線估計方法［J］. 北京航空航天大學學報， 2022， 48（6）：1030-1037.（WANG X D， XIE L， YAN H J， et al. Near?eye gaze estimation method based on multi?task auxiliary reasoning［J］. Journal of Beijing University of Aeronautics and Astronautics， 2022， 48（6）：1030-1037.）

Review of eye movement?based interaction techniques for virtual reality systems

HOU Shouming1， JIA Chaolan1*， ZHANG Mingmin2

（1，，454003，；2，，310027，）

Eye movement?based human?computer interaction can enhance the immersion and improve comfort of users by using eye?movement characteristics， and the incorporating of eye movement?based interaction techniques in Virtual Reality （VR） system plays a vital role in the popularity of VR systems， which has become a research hotspot in recent years. Firstly， the principles and categories of VR eye movement?based interaction techniques were described， the advantages of combining VR systems with eye movement?based interaction techniques were analyzed， and the current mainstream VR head?mounted display devices and typical application scenarios were summarized. Then， based on the analysis of experiments related to VR eye tracking， the research hotspots of VR eye movement were summarized， including miniaturized equipment， diopter correction， lack of high?quality content， blurring and distortion of eyeball images， positioning accuracy and near?eye display system， and the corresponding solutions were prospected for those related hot issues.

computer vision; Virtual Reality (VR) system; eye tracking; human?computer interaction

This work is partially supported by National Key Research and Development Program of China （2018YFB1004900）， National Key Technologies of Henan（172102210273， 182102210310）， Training Program for Young Backbone Teachers in Higher Education Institutions in Henan Province （2018GGJS298）.

HOU Shouming， born in 1972， Ph. D.， professor. His research interests include engineering digitalization and simulation， virtual reality， augmented reality.

JIA Chaolan， born in 1995， M. S. Her research interests include computer vision， virtual reality， augmented reality.

ZHANG Mingmin， born in 1968， Ph. D.， senior engineer. Her research interests include virtual reality， human?computer interaction.

1001-9081（2022）11-3534-10

10.11772/j.issn.1001-9081.2021122134

2021?12?21；

2022?02?27；

2022?03?07。

國家重點研發計劃項目（2018YFB1004900）；河南省科技攻關項目（172102210273， 182102210310）；河南省高校青年骨干教師培養計劃項目（2018GGJS298）。

TP391.9

A

侯守明（1972—），男，河南焦作人，教授，博士，CCF會員.主要研究方向：工程數字化與仿真、虛擬現實、增強現實；賈超蘭（1995—），女，河南商丘人，碩士，主要研究方向：計算機視覺、虛擬現實、增強現實；張明敏（1968—），女，浙江寧波人，高級工程師，博士，主要研究方向：虛擬現實、人機交互。