近眼顯示中光學畸變對視覺誘導暈動癥的影響

馬鳳云，夏振平，程 成，彭子雄，張元申

（蘇州科技大學 電子與信息工程學院，江蘇 蘇州 215009）

1 引言

近年來，虛擬現實（Virtual Reality，VR）技術在越來越多的領域得以廣泛應用。VR 技術對影視、游戲、教育、醫療等行業的發展產生了極大的推進作用［1-3］。該技術通過計算機模擬立體（Three Dimensions，3D）環境，用戶能夠借助近眼顯示（Near-Eye Display，NED）設備在虛擬世界中實現交互［4］，通過視覺、聽覺、觸覺等獲得與在真實世界中相同的感受［5］。VR 技術的核心就是沉浸感，大的視場是產生沉浸感［6-8］、讓人感覺身臨其境的重要因素。通常NED 設備需要高放大倍率的透鏡形成大視場來創建沉浸式虛擬環境，然而透鏡會導致虛擬空間產生光學畸變［9］，這在給使用者提供強烈沉浸體驗的同時，還可能引起部分用戶在體驗過程中產生視覺誘導暈動癥（Visually Induced Motion Sickness，VIMS）［10-11］。

VIMS 通常被認為是視覺和前庭知覺信息沖突引起的生理性反應［12-13］，該癥狀在平面顯示和立體顯示中都存在，并且在立體顯示中反應更為強烈。經驗理論認為，當一個人的感知系統接收到的信息與其經驗產生沖突時，VIMS 常常被誘發，伴有頭暈腦脹、視覺疲勞、惡心甚至嘔吐等癥狀［11-14］，該問題嚴重阻礙了VR 技術的推廣與應用。在VR技術所呈現的虛擬場景中，用戶所感知到的虛擬空間由于NED 設備產生光學畸變，導致空間中物體的形狀、大小等發生變化，即虛擬世界出現扭曲［9］，使其感知到的虛擬場景與以往認知積累的經驗不一致，導致感知上的沖突，這種沖突會引起用戶認知上的疲勞與不適，進而可能誘發VIMS［13］。

消除光學畸變，提高VR 技術的體驗舒適度是眾多研究人員以及NED 設備生產廠家的共同追求目標，并且如今也取得了一定的成效。Rolland等人［9］將圖像分割成小塊，將重建畸變的多邊形擴展到多邊形中的像素點以實現整體圖像重建。Pohl等人［15］采用像素著色器對已獲取的圖像預先調整顏色并且進行反畸變處理，以此對抗NED設備產生的失真。此外，還有許多處理圖像或全景圖的軟件專門用于畸變校正［16］。然而由于目前立體影像顯示技術的局限性，NED 設備還存在一些無法完全校正的光學畸變，這給用戶帶來感知上的影響，用戶在使用的過程中容易出現頭暈、惡心等癥狀［16］。

針對上述現象，本文詳細分析了近眼立體顯示設備使用者感知立體影像的過程，模擬其VR 技術體驗，再現虛擬場景的畸變情境。設計了不同畸變參數下VIMS 等級評價的視覺感知實驗，對實驗數據進行統計分析，得到各畸變等級對VIMS 癥狀的影響趨勢，明確立體空間畸變對VIMS 癥狀的影響機理。本文結果可為VR 技術體驗的舒適度提升提供理論依據。

2 近眼顯示中的視覺誘導暈動癥

人的左眼與右眼處于不同空間位置。在現實世界中，人眼看到的同一物體落在雙眼視網膜上的位置是不同的，因此兩只眼睛接收到的圖像略有不同，即具有一定的視差。目前的立體顯示技術基本都是在模擬人眼雙目視覺形成機制的基礎上進行的［5］。

如圖1所示，在距離眼睛不遠處放置一個顯示面板以填充用戶視野，并使用透鏡使圖像聚焦。由于透鏡會引起虛擬空間的扭曲，所以展示在顯示面板上的圖像需預先進行反畸變處理以抵消這種扭曲［15］。處理后的左、右視差圖像在屏幕上連續交替顯示，送入雙眼產生立體感，模擬出人們觀看真實世界的方式［17］。

圖1 近眼顯示圖解1Fig.1 Near-eye display diagram 1

2.1 成像光學原理

NED 設備的鏡片可以看成兩個完全相同的放大透鏡。透鏡能夠修正晶狀體接收光源的角度，幫助人眼重新讀取信息，達到增大視場角，放大畫面的作用，從而為用戶提供更廣闊的視野，增強用戶的沉浸體驗。如圖2 所示，人眼與光軸線交匯于焦點A 處，中間為透鏡，上方為顯示面板。人眼常規可觀看范圍為rs，由于透鏡折射光線的作用，給人的感覺則是沿著虛線從更高處位置進入人眼，彷佛是將屏幕放大至rv范圍。視場的大小會直接影響VR 體驗的沉浸感，小視場（＜50°）會削弱自我運動的感知，大視場（＞100°）能夠增強VR 的立體感與用戶的沉浸感。

圖2 近眼顯示圖解2Fig.2 Near-eye display diagram 2

為增強用戶的沉浸感，NED 設備通常采用高放大率的透鏡，這會導致觀看圖像的邊緣產生光學畸變［6-18］。畸變就是圖像扭曲，屬于光學像差（即光經過透鏡后產生的圖像失真或模糊）的一種，是由于光線在真實光學系統中所遵循的路徑與理想光學系統中光線的路徑的不同造成的［19］。對于理想光學系統，透鏡放大率是常數，但是對于實際的光學系統而言，物像的放大率隨視場而定，如此會使物像相對物體失去相似性，從而產生畸變。對于球面鏡片，畸變是不可避免的，并且隨著視場的增大，邊緣圖像的畸變會更加明顯［20］。光學畸變會影響感知深度，進而可能引發VIMS。

2.2 視覺誘導暈動癥的產生機制

暈動癥在日常生活中非常普遍，通常我們在乘坐汽車、飛機、輪船等交通工具時，會出現頭暈、惡心、甚至嘔吐等癥狀，這些癥狀統稱為暈動癥［11］。研究發現在虛擬場景當中，通常人們處于靜止，但視覺處于刺激的狀態下，也會出現上述癥狀，因此被稱為視覺誘導暈動癥。

關于VIMS 的產生原因，眾說紛紜，當前主流觀點主要有：（1）感官沖突理論；（2）姿態不穩定理論；（3）經驗沖突理論。其中，感官沖突理論認為引起VIMS 的關鍵在于我們的感知系統發出的信號在相互之間產生了矛盾。感知系統包括前庭系統、視覺系統和體感系統。其中，前庭系統負責提供空間感和平衡感；體感系統是指自身對外界力的感知系統，包括觸覺、痛覺、溫覺以及自身運動的感知［12］。當我們的前庭系統沒有感知到運動，而視覺系統感知到了運動時（如增強現實、VR、3D電影等），就會產生信號的沖突。此時，視覺系統與前庭系統傳遞給中樞神經的信息不一致，大腦接收到的是相反的信號，底層決策系統無法做出合適的反應，就會出現VIMS。例如在虛擬駕駛游戲當中，視覺系統意識到自身正在隨汽車行駛，而前庭系統和體感系統感知到的信息卻表明自身是靜止不動的，此時就可能引發VIMS。

姿態穩定性理論主要強調人體的姿態穩定性對VIMS 癥狀的影響［21］。研究表明，在一個人的姿態穩定性受到挑戰而需要額外努力來維持的情況下，就會容易產生VIMS。此外，對自身穩定性控制能力較弱的人相對來說更容易產生VIMS。

經驗理論認為，當前感知到的信息和以往認知積累的信息不匹配是引發VIMS 的重要因素［13］。在近眼顯示成像的過程當中，透鏡畸變導致左眼與右眼圖像之間局部不對齊，尤其是視場周邊產生了扭曲，這些扭曲破壞立體融合，影響感知深度。用戶感知到的影像產生幾何畸變，與其預期場景不一致而發生沖突，可能引發VIMS。

當前的立體影像顯示技術仍具有局限性，NED設備存在一些無法避免的光學畸變，導致人眼通過NED 設備感知到的虛擬空間場景與真實世界空間不一致。本文針對在近眼顯示過程中的虛擬空間畸變對VIMS 的影響展開研究。

3 主觀實驗設計

3.1 影像畸變設計

NED 中所涉及到的畸變都是徑向畸變［20］，主要包括桶形畸變和枕形畸變兩種，如圖3 所示。圖像的像素點以畸變中心為中心點，沿著徑向產生位置偏差，導致成像發生形變，這種畸變在普通廉價的鏡頭中表現得更加明顯。

圖3 徑向畸變效果示意圖。（a）原始圖像；（b）桶形畸變；（c）枕形畸變。Fig.3 Radial distortion examples. （a） Original images；（b） Barrel distortion；（c） Pincushion distortion.

成像儀光軸中心的畸變為0，沿透鏡半徑向邊緣移動，畸變越來越嚴重。畸變的數學模型可以用主點周圍的泰勒級數展開式的前三項進行描述［15］，本文取第一項：

其中：k為畸變參數，(x，y)是畸變點在成像儀上的原始坐標，(x0，y0)是畸變后新的坐標。距離光心越遠，徑向位移越大，畸變也越嚴重。本文k取正數時為桶形畸變，取負數時為枕形畸變。

同一立體影像在不同的畸變等級下呈現，必然會產生不同的虛擬空間感知。本文模擬通常的NED 設備所產生的枕形畸變為k=-0.4，為研究不同畸變等級對暈動感知的影響，依據該枕形畸變，選取不同參數的桶形畸變分別與之匹配，對立體影像先后進行桶形畸變和枕形畸變的處理，模擬出3 種不同等級的空間畸變效果（圖4）。經過測試，k1=0.4 時的畸變校正效果最佳，幾乎可以實現無畸變；k1=0.2 時的校正效果為中等畸變；未采用桶形畸變校正的為嚴重畸變。對應的3 組畸變參數分別為：k1=0.4，k2=-0.4；k1=0.2，k2=-0.4；k1=0，k2=-0.4。后續直接用無畸變、中等畸變和嚴重畸變的表述。

圖4 立體圖像不同等級畸變校正設計。（a）無畸變立體圖像；（b）中等畸變立體圖像；（c）嚴重畸變立體圖像。Fig.4 Design of distortion correction for stereo image at different levels. （a） Stereo images without distortion；（b） Moderately distorted stereo images；（c） Severely distorted stereo images.

與傳統研究通常選用的簡單圖案不同，本文選用的主要是容易誘發VIMS 的高速運動場景影像，例如虛擬過山車或第一視角駕駛、射擊游戲等。對每個影像抽幀并剪裁成獨立的左、右視圖，分別進行上述3 組不同等級的畸變處理。為確保受測者觀看到的影像主體場景大小一致，對畸變處理后的影像進行剪裁與填補黑邊，所有影像均是30 幀/s，分辨率為1 920 像素×1 080 像素。每組影像由15 個視頻片段組成，每段3 min，視頻片段順序唯一。

3.2 實驗設備

在近眼顯示過程當中，NED 設備自身不完全的畸變校正會導致一定程度的空間畸變，這個“額外”的畸變使得在NED 設備上無法精確呈現畸變模擬效果。為了盡可能減少不必要的額外畸變，本文選用27 in（1 in=2.54 cm）偏光眼鏡式立體顯示器（PHILIPS 278G4DHSD），研究影響VIMS 的因素及其產生機理。準確的測量和量化方法尤為重要，本文采用主觀與客觀相結合的方法來量化與分析VIMS。其中，客觀方法使用平衡板（Wii Balance Board，WBB）采集受測者的平衡能力數據；主觀數據通過受測者填寫模擬視覺誘導暈動癥問卷（Simulator Sickness Questionnaire，SSQ）以及視覺誘導暈動癥級別問卷（Visually Induced Motion Sickness Level，VIMSL）的形式記錄［22-23］。

WBB 通過Matlab 可視化程序控制，可實時采集實驗數據。人體壓力中心（Center of Pressure，CoP）的坐標位置通過4 個壓力傳感器的值計算得出［24］，假設傳感器的受力分別為fTL、fTR、fBL、fBR（單位：kg），WBB的尺寸是W×H（cm），其中，W和H的長度分別為43.3 cm 和22.8 cm。CoP（x，y）的具體計算過程如式（4）所示：

3.3 實驗流程

參與實驗之前，參與者需要填寫一份視覺誘導暈動癥易感性問卷（Motion Sickness Susceptibility Questionnaire，MSSQ）［25］，以確定其暈動癥易感性。在影像觀看前，受測者首先根據自身狀態填寫一份SSQ［22］；接著站立于WBB 標記處進行姿勢穩定性測試［26］，要求受測者分別在睜眼（先）和閉眼（后）的狀態下（雙臂自然下垂放在身體兩側），盡力保持身體的平衡，測量1 min；觀看后受測者需根據其當下情況再填寫一份SSQ［22-26］（圖5）。

圖5 實驗流程圖示Fig.5 Experimental flow diagram

在實驗過程中，受測者端坐于屏前3 倍屏高的位置處以固定的視角觀看影像（圖6，圖中H為顯示屏高度）。3 組不同等級畸變的立體影像隨機呈現于顯示屏上，受測者每觀看完一段3 min 影像，對模擬VR 技術體驗的立體影像進行無時間限制的VIMSL 評分，采用0～4 分評分標準［23］，具體分值對應的視覺誘導暈動癥等級如表1 所示。在整個影像觀看過程中，若受測者已經達到4 分（非常嚴重）的VIMS 等級且無法堅持繼續觀看，可立即停止本階段實驗，該階段時長根據受測者個人的VIMS 承受能力而定。包括初始評分，共計最多16 次評分。

表1 視覺感知實驗評分標準Tab.1 Grading standard of visual perception experiment

圖6 視覺感知實驗設置Fig.6 Visual perception experiment settings

所有實驗均在同一地點進行，每位受測者每次實驗時間點前后相差不超過0.5 h，且每次實驗至少相隔48 h，以確保其不受上次實驗影響。實驗共邀請23 名受測者（人數達到視覺感知實驗的最低要求，具有統計學意義，可排除個體間差異）［27］，男性18 名，女性5 名，包括來自不同專業的本科生、研究生以及教職員工。受測者年齡在19 歲～36 歲之間，平均年齡24 歲，視力均正常或矯正至正常水平，且沒有影響平衡或姿勢控制相關疾病。

4 實驗結果分析

數據分析表明，不同的MSSQ 評分并未對分析結果產生顯著性影響，因此最終未因MSSQ 評分刪除任何受測者。

4.1 客觀數據

每名受測者有4 種狀態下的WBB 數據：實驗前睜眼、實驗前閉眼、實驗后睜眼以及實驗后閉眼。圖7 展示了同一受測者在觀看不同畸變立體影像后閉眼狀態下的CoP 軌跡示例圖。可以直觀地看出，隨著立體影像畸變程度增強，受測者的搖擺量變化明顯，CoP 軌跡范圍增大。然而實驗前后具體狀態的變化無法根據簡單的軌跡圖量化，本文采用WBB 的CoP 振幅標準偏差（Standard Deviation，SD）［24］以及95%置信橢圓（Confidence Ellipse Area，Area）［28］作為衡量受測者平衡能力的指標。

圖7 一典型受測者觀看不同畸變立體影像后閉眼狀態的CoP 軌跡示例圖。（a）無畸變；（b）中等畸變；（c）嚴重畸變。Fig.7 Sample graphs of CoP track in closed eye state of a typical subject after viewing stereo images with different distortion. （a） No distortion；（b） Medium distortion；（c） Severe distortion.

CoP振幅的標準偏差SDCoP反映壓力中心點數據的離散程度，其數值越大，代表壓力中心點的波動越大，即受測者擺動幅度越大，表征受測者的VIMS 癥狀越嚴重。SDCoP的具體表達如式（5）～（7）所示：

95%置信橢圓面積是CoP 點所經過區域的度量，它是通過取長軸（式（9））和短軸（式（10））半徑，擬合成一個包含距離中心點約95%的CoP點的橢圓來確定的，其數值表征受測者壓力中心點軌跡所占用的面積［29］，計算方法如表達式（8）～（12）所示：

其中，F0.05[2，n-2]是在95%置信水平下的F統計量，F0.05[2，∞]的值為3，Sxy為協方差。

圖8（a）為受測者實驗后較實驗前SDCoP以及Area 的變化率，可知隨著立體影像畸變程度的增大，SDCoP和Area 的變化率越大，即受測者的不穩定性越大，VIMS 癥狀越明顯。

圖8 不同等級畸變立體影像下客觀與主觀測量結果。（a） CoP 振幅標準偏差與95%置信橢圓面積變化率；（b）模擬視覺誘導暈動癥問卷評分；（c）視覺誘導暈動癥級別問卷評分。Fig.8 Mean values of objective and subjective measurement results under different levels of distortion stereo images. （a） SDCoP and 95% confidence ellipse area change rate；（b） SSQ score；（c） VIMS level.

4.2 主觀數據

主觀反饋也在一定程度上反映出不同畸變等級的立體影像對受測者VIMS 不同程度的影響。如圖8（b）所示，立體影像觀看后的SSQ 評分均高于觀看前，且隨立體影像畸變程度增大，受測者的不舒適程度增大。圖8（c）反映了受測者在觀看影像過程中VIMSL 的評分情況，能夠直觀地看出，隨著立體影像畸變程度增加，VIMSL 評分呈上升趨勢。整體而言，受測者VIMS 癥狀的嚴重程度與立體影像畸變等級趨勢一致。

4.3 主觀數據與客觀數據的相關性

生理指標能夠客觀地描述VIMS 癥狀，主觀數據則是受測者根據其觀看立體影像前后的自身狀態的如實反饋，相對來說可能更加貼合受測者的真實感受。

雖然數據的收集方式不同，但兩者都能夠反映受測者VIMS 癥狀的變化。從實驗結果可以看出，當主觀數據反映受測者的VIMS 癥狀增強時，客觀數據所反映出的VIMS 癥狀程度也具有相同的趨勢。但主觀感知有時也會發生混亂，這就需要我們將主觀數據與客觀數據相結合，從而更加精準地分析出受測者實驗前后的真實狀態。

整理所有實驗數據，使用SPSS 軟件（IBM SPSS Statistics 26.0）對照不同實驗狀態下的指標進行分析。方差分析（ANOVA）（表2）結果表明，客觀數據SDCoP與Area、主觀數據VIMSL 以及SSQ 評分均與受測者VIMS 癥狀密切相關，立體影像畸變等級對受測者VIMS 癥狀程度具有顯著影響（p＜0.05），且立體影像畸變等級越大，受測者VIMS 癥狀越明顯。表2中，df是自由度，F為組方差值，Sig. 是顯著性檢驗值。

表2 影像不同畸變量對受測者VIMS癥狀影響的ANOVA分析結果Tab.2 Results of ANOVA analysis of the effects of different video distortions on the VIMS symptoms of subjects

5 結論

VR 技術憑借其強烈的沉浸體驗在娛樂、影視、醫療等行業有著極其廣闊的發展前景。用戶體驗舒適度是VR 技術的基本需求。本文基于VR技術立體影像的獲取、顯示以及感知過程的分析，設計3 個不同畸變參數，進行VIMSL 評價的視覺感知實驗，并對實驗結果進行統計分析。結果表明，虛擬空間畸變對VIMS 具有顯著影響。VR技術的使用感受與其能否順利發展直接相關，該研究對提高VR 體驗的舒適度、推進VR 技術的發展提供了理論參考。