多感官信息對虛擬現實中感知控制的影響

孫小方，趙婧羽，饒培倫

(1.清華大學 工業工程系， 北京 100084；2.中國船舶工業綜合技術經濟研究院 船舶人因工程研究中心，北京 100081)

1 引言

在現實生活中，人們習慣于通過多感官的媒介來感知和處理各類信息。為了在虛擬現實的技術中建構類似現實世界的體驗，涉及視覺、聽覺、觸覺甚至嗅覺和味覺的多感官信息的發展被高度關注[1]，以期盡可能提高人們在虛擬現實中的真實感。真實感的提升將拓展虛擬現實技術的應用空間，使得虛擬現實不僅可應用于游戲娛樂的領域，還可以在制造生產、暴露療法等領域大放異彩。例如，在具有一定危險性的場景中，可以通過虛擬現實技術模擬真實的生產制造場景，為員工提供沉浸式的培訓。還可以通過虛擬現實暴露療法，針對恐高癥和社交恐懼癥等焦慮癥患者，將患者逐漸暴露在特定的壓力場景中，例如高度挑戰或公開演講，以誘發焦慮反應和無法控制的感覺[2]，達到暴露療法的目的。

增加虛擬現實技術真實感可以通過提供多感官的信息實現。研究發現虛擬現實中的聽覺、觸覺、味覺和軀體感覺等多感官信息可以提高用戶的體驗[3]。并且，在虛擬現實環境中增加任何單一感官的信息同樣可以提高用戶的沉浸感。如與傳統視聽感官的虛擬現實體驗相比，在虛擬現實環境中添加嗅覺和觸覺的刺激可以提高相關的感官參與度。不過考慮到技術的可行性和接受度，關注多感官信息對虛擬現實體驗感影響的研究大多集中在聽覺和觸覺模態的影響。

虛擬現實環境中的聽覺信息可以增強認知能力并提高用戶體驗，也會給用戶帶來更強烈的情緒感染力和體驗的臨場感。一項研究發現，在立體的虛擬環境中增加同樣聲源空間化的聽覺刺激會改善用戶的主觀感受[4]。也有研究發現，在視聽條件下的用戶臨場感會比單純視覺條件下的臨場感顯著提高[5]。另一項研究也表明，虛擬環境中的聽覺刺激線索會引發更強烈的情緒反饋[6]。而虛擬現實中的觸覺信息同樣可以豐富虛擬現實的功能并提高用戶的主觀體驗。有研究人員借助一個物理實體的表作為在虛擬現實中操作的觸覺反饋，發現觸覺信息的提供會提高操縱的速度，但也降低空間準確性。另有研究發現，與僅在視覺或視聽覺條件下相比，能夠體驗到虛擬社交環境中虛擬人腳步振動的觸覺反饋，會為參與者帶來更高的社交臨場感[7]。

多種感官信息對虛擬現實體驗的增強，源于人類的認知和情感在虛擬環境和現實生活中的多感官整合[8]。多感官信息在虛擬環境中的融合會對用戶的認知加工帶來了積極影響，同時也會引發更強烈的情緒反饋，帶來更好的主觀體驗，提高享受度和沉浸感。例如，多個感官可作為補充信息提高了視覺處理的準確性[9]，聽覺線索可以修正在虛擬環境中出現的距離壓縮[10]。 還有研究發現觸覺的加入會改善參與者在虛擬懸崖環境中的訓練表現，并對其在現實世界中的表現產生積極影響[11]。另一方面，在大多數情況下多感官的線索會引起更高的生理反應。例如，當參與者在虛擬環境中體驗到額外的被動觸覺時，會出現比在單一視覺條件下更高的心率和皮膚電導率[11]。

然而，目前多感官信息對虛擬環境的影響的研究大多集中在沉浸感和臨場感，很少有研究關注多感官信息對虛擬環境中控制感的影響。而感知到的控制感作為虛擬現實體驗中重要組成，也對用戶在虛擬環境中的真實感有著重要作用。本研究通過設置不同感官參與下的虛擬現實高空行走任務，結合主觀體驗反饋數據和皮電心電的生理反饋數據，旨在探究單一視覺、視覺聽覺以及視覺觸覺對虛擬現實中感知控制的影響，以及不同感官場景下應激的誘發差異，為使用虛擬現實環境進行高空作業類的培訓以及高空刺激類游戲的體驗完善可提供參考。

2 對象與方法

2.1 被試

本研究招募大學生及工作人員共36人，其中女性19人，男性17人。平均年齡為23.44歲，標準差為3.35歲。

被試篩選標準為：(1)針對VR頭盔：視力或矯正視力正常(2)無心血管疾病歷史(3)是否有相關的游戲體驗：蹦極、跳傘、游樂園高空游樂設施(如跳樓機)、VR高空游戲經驗、其他VR游戲經驗。

通過當天狀態的問卷進行進一步的狀態控制：(1)無內分泌絮亂，如甲狀腺疾病、腎上腺疾病等，最近1個月沒有服用任何跟內分泌疾病相關的藥物，如激素類藥物；(2)無精神和神經系統疾病；(3)無酗酒(每天飲酒超過200 mL)、無吸煙過度(每天吸煙超過5根)；(4)無長期焦慮、抑郁、失眠等癥狀，無長期晝夜作息電導，無任何慢性心理疾病；(5)今天沒有喝過咖啡或其他含咖啡因的飲料。

2.2 實驗設計

本研究使用通過頭戴式顯示器(HMD)呈現出虛擬高空的場景，在虛擬現實場景中，參試者將乘坐觀光電梯被傳送到一座 300 m高的摩天大樓的高空地面上。然后他們被要求在出電梯后，走上一座懸置在空中的長為1.5 m的獨木橋。在到達橋的盡頭后，參試者需要停留在那里并向西周及樓下看30 s鐘的時間，參試者再轉身回到大樓的電梯。

每名參試者需分別體驗三種多模態信息的整合水平：單一視覺條件，視覺聽覺條件和視覺被動觸覺條件。在單一視覺條件下，參試者只是通過 HMD 看到虛擬現實的顯示場景。在視聽條件下，參試者能夠通過無線藍牙耳機聽到VR場景的高空背景環境音，包括高空的風聲、鳥鳴的嘰嘰喳喳聲、飛機的螺旋槳噪聲和地面的交通背景噪聲等。在視覺被動觸覺條件下，實驗人員在實驗室鋪設了1.5 m長度的木板模擬獨木橋，在木板下放置了水墊以產生晃動的效果，提供觸覺的反饋，見圖1。

圖1 實驗場景及實驗設置

2.3 實驗測量

實驗中測量的數據主要包括生理數據和主觀反饋數據。

生理數據的采集使用 BIOPAC MP150(Biopac Systems Incorporation,California)來記錄和預處理心電ECG和皮電(SC)的數據。心電的采集使用三個一次性電極片貼于胸前以1 000 Hz的采樣率連接。皮電的采集通過將兩個一次性電極片貼于參試者的左食指和左中指進行記錄。

主觀反饋的測量包括積極情感和消極情感表、臨場感、感知控制感。積極情感和消極情感表(PANAS)用于測量參試者在不同條件下的情感表達[12]。該量表包括10個正向題目和10個負向題目。參試者被要求回答他們在最近的實驗條件下對每個項目的感受，采用從非常輕微到非常喜歡的5點量表。臨場感，也稱為心流，用于測量參試者的沉浸程度，采用四個問題的5點中文量表(完全不同意；比較不同意；說不清楚；比較同意；完全同意)測量[13]，得分越高，臨場感越高。感知控制感則由參試者在0-100的量表中標記自己感知到的控制水平，0表示完全不可控，100表示完全可控。

另外，本研究在招募參試者階段會采用李克特10級量表調查參試者的恐高程度，1表示人在高處沒有明顯的心理和生理反應，10表示處于高處的人感到極度壓力和失控。實驗招募會排除恐高評分大于 8 分的人，所有招募參試者的平均分數為 6.25(SD=1.71)。

2.4 實驗流程

在參試者招募的過程中，會對符合實驗條件的參試者進行篩選。在邀請參試者前來實驗室參加實驗后，主要實驗流程為：(1)參試者會先被告知實驗的具體內容與流程，簽署實驗知情同意書；(2)參試者需填寫主觀問卷，匯報相關信息；(3)參試者佩戴皮電和心電設備，并進行靜息狀態的生理測量采集；(4)參試者將分別體驗單一視覺、視覺聽覺以及視覺觸覺三種條件下的高空行走場景，每個場景結束后參試者會反饋PANAS和控制感問卷，并進行休息和恢復，之后再體驗下一場景。三種場景的順序在參試者之間是被平衡的，見圖2。

圖2 實驗流程

2.5 實驗設備

實驗在具備隔音條件的室內房間進行，無日光暴露下。主要設備包括一臺電腦(CPU：Intel i7-6700 K；GPU：技嘉 GTX1080 8GB)、HTC vive 套裝(一個 HMD 和兩個控制器)和一對降噪耳機。生理數據采集使用的為BIOPAC MP150(Biopac Systems Incorporation,California)硬件配合一次性電極貼片使用。

3 結果

3.1 生理數據結果

通過對心率數據的進行重復測量方差分析，結果表明，不同感官參與條件的主效應顯著，F3,105=15.13，P<0.01,η2= 0.3。進一步的分析表明，視聽覺條件與視觸覺的條件下，參試者的心率顯著高于視覺條件與基線條件，而視聽覺條件與視觸覺條件之間無顯著差異，視覺條件與基線條件之間也無顯著差異，見圖3。

圖3 心率數據結果

對心率標準差(stdHR)進行重復測量方差分析，結果發現，不同感官參與條件的主效應顯著，F3,105=4.19，P<0.01,η2=0.11。進一步分析發現，視覺條件的心率標準差顯著<視觸覺條件，其他條件及基線之間均不顯著，見圖4。

圖4 心率標準差結果

在心率變異性(HRV)分析中，我們分析了極低頻(very low),低頻(low)，高頻(high)，極高頻(very high)的心率頻譜能量數據，其所代表的交感神經(sympathetic)和迷走神經(vagal)及其比值。重復測量方差分析的結果表明，各感官模態間的主效應均不顯著。

對皮膚電水平進行重復測量方差分析，結果表明，不同感官參與條件的主效應顯著，F3,108=46.89，P<0.01,η2=0.57。進一步分析發現，基線皮膚電水平顯著低于VR環境中的各情境，但三種模態之間差異并不顯著，見圖5。

圖5 皮膚電結果

3.2 主觀量表結果

對正負向情緒量表PANAS得分進行重復測量方差分析，正負性情緒具有顯著差異，F3,106=123.77，P<0.01,η2=0.78，在基線條件及三種模態條件下，正性情緒顯著高于負性情緒。

不同感官參與條件的主效應顯著，F3,108=33.29，P<0.01,η2=0.48，進一步分析發現，三種模態條件下，情緒激活顯著高于基線條件，視觸覺條件的情緒激活顯著高于視聽覺條件，視覺和聽覺之間無顯著差異。分別對正性情緒與負性情緒進行分析，對于正性情緒，所有模態條件得分均顯著高于基線條件，但是模態之間無差異；對于負性情緒，所有模態條件得分均高于基線條件，同時視觸覺條件誘發了更大的負性情緒，視覺與聽覺條件之間無差異，見圖6。

圖6 PANAS量表結果

對心流問卷的沉浸感維度進行分析，總體的沉浸感得分為14.48(SD=2.25)，95%的置信區間為(13.73,15.23)。對三種條件進行重復測量方差分析，結果發現條件效應顯著，F2,72=3.292，P<0.05,η2=0.084，進一步分析發現，在視觸覺條件下，相對于視覺條件，被試有更高的沉浸體驗，結果邊緣顯著，P=0.062，見圖7。

圖7 心流問卷結果

對控制感得分進行重復測量方差分析，發現不同感官參與條件的主效應顯著，F3,108=21.54，P<0.01,η2=0.37。進一步分析發現，視觸覺條件下控制感顯著低于其他條件。

對心流量表的控制感維度進行重復測量方差分析，條件的主效應顯著，F2,72= 6.76，P<0.01,η2=0.16。進一步分析發現，視觸覺條件下控制感顯著低于視覺條件。

對不同模態的PANAS得分與控制感數軸分數進行相關分析，結果發現控制感與負性情緒顯著負相關，表現為負向情緒越高，控制感越低，見表1。

表1 PANAS量表與控制感的相關性分析結果

4 討論

本研究結果表明，本研究發現虛擬現實高空應激場景誘發了被試的應激狀態，表現為在生理上心率與皮電均高于基線條件；在主觀感覺上，PANAS得分顯著高于基線條件。而在三種模態中，視觸結合條件誘發效果更好，表現為心率更高， PANAS負性情緒得分更高以及沉浸感更高。多感官信息會降低用戶在壓力型虛擬環境中的感知控制，影響用戶的生理反應和負面情緒。將適當的多感官模態引入虛擬環境中，會帶來與現實更加符合的體驗和反應，既包含體驗中的享受和興奮，還會帶來體驗中的不可控感與恐懼感。

在研究中我們發現，額外的觸覺信息對感知控制有著顯著影響。與其他兩種視覺和視聽覺的情況相比，用戶在觸覺條件加入后的控制感較低。對應到高空行走這一有著真實壓力情況的情境，用戶對感知控制的降低也說明了用戶感覺的更加沉浸。而這一結果也與以往的研究一致。例如，一項研究發現，與在聽到腳步這一情況下相比，參試者在感受到虛擬人腳步的振動觸覺反饋時會表現出更大的回避行為[7]。 有研究者發現，虛擬威脅環境中的被動觸覺元素會增加用戶的生理喚醒，帶來更高的壓力反應[11]。然而，與觸覺信息相比，額外的聽覺信息并沒有對用戶的控制感帶來著影響，在視聽覺條件下體驗到的感知控制水平與單純視覺條件和基線條件下的基本相同。但是在另一些實驗中，研究者發現在聽覺視覺條件下的參與者比在唯一視覺條件下的感知更明顯[5]。這些實驗間的差異我們認為是由于實驗的 情境和任務的特征導致的。在感受虛擬人腳步的研究中，側重于關注虛擬環境中的社交存在，它對視覺和觸覺信息更加敏感，因為視覺信息和腳步是有人接近的更重要的信號。但在視聽覺實驗更優的實驗中，空間化的聲音為虛擬環境中的導航任務提供了額外的信息，所以會帶來更顯著的感受。在我們的研究中，模擬高空木橋的晃動感這一顫抖性并帶有跌倒暗示的被動觸覺，使用戶的失控感急劇增加，而與高空環境一致的聽覺信息并沒有引起壓力的激增。但研究發現，環境噪音是會使人產生焦慮和失控的。綜上所述，感官線索是否影響用戶的感知控制和其他主觀體驗，主要取決于感官線索在虛擬世界和現實世界中所提供的信息之間的因果關系。本研究中，相比高空聽覺的背景音，被動觸覺的晃動會帶來更強的跌倒暗示，導致更大的壓力與失控感，也就會導致感知控制和其他主觀體驗的明顯變化。

我們的研究還表明，感知控制與負面情緒之間存在顯著的相關性。較高的負面情緒與較低的控制有關。游戲研究發現感知控制與挫敗感之間存在負相關關系[14]，然而，我們的研究發現感知控制與積極情緒之間沒有顯著關系。這一結果與游戲研究不同，后者發現更高的控制感知會帶來更多的享受體驗[15]。不過本研究的場景與游戲類場景本身存在差異，場景的設定并不會帶來高的娛樂性，可能也導致了研究中的感知控制與積極情緒無顯著關系。而我們的結果與關注壓力的研究一致，這類研究認為，缺乏感知控制是壓力源的一個特定維度。感知控制的缺乏會誘發消極情緒，但與積極情緒無關。

本研究中同時發現，多感官信息會幫助人們更加動態和自然地與虛擬環境進行交互。尤其與現實場景有著高因果性的感官線索的提供，如本研究中被動觸覺的反饋提供，使用戶不僅可以調整主觀體驗，還可以調整生理反應，對不斷變化和信息豐富的環境有一種心理適應。在考慮使用虛擬場景進行高空或特殊類型作業培訓時，可參考多感官信息的加入，將關鍵性的線索通過多感官方式呈現，達到更加真實和有效的交互體驗。

目前的研究存在一些局限性。首先，情境的特殊性限制了結論的一般性。本研究的情境為高空行走類，未來應考慮更多的恐懼癥或有壓力的虛擬場景。其次，本研究中的參試者在心理和生理上都是健康的，在進一步的研究中可以考慮招募更多患有恐高癥等特征的參試者進一步進行比較。第三，由于實驗時長的設置，參試者在高空情況下的暴露持續時間相對較短。當人們長時間處于較高頻率的此類情境中時，多感官信息對感知控制的影響是否與當前研究中的相同，這是一項未來可繼續深入的研究工作。

5 結論

本研究發現虛擬現實高空應激場景誘發了被試的應激狀態，以及多感官信息會降低用戶在壓力型虛擬環境中的感知控制，影響用戶的生理反應和負面情緒。在高空行走類任務中，對比單一視覺、視覺聽覺以及視覺觸覺的交互體驗，視觸覺會導致更低的感知控制、更高的負向情緒得分和更高的沉浸感。同時，本研究驗證了在壓力場景中，感知控制與負面情緒之間的顯著相關性。對未來多感官信息支持下的虛擬場景設計，如高空作業類型的培訓、以及高空刺激類游戲的體驗完善等，可提供一定的參考。