虛擬現實中多通道信息呈現方式的認知負荷定量研究

羅世懷，呂健，劉翔

【工業設計】

虛擬現實中多通道信息呈現方式的認知負荷定量研究

羅世懷，呂健，劉翔

（貴州大學 現代制造技術教育部重點實驗室，貴陽 550025）

針對虛擬現實體驗系統中的不同信息呈現方式，對使用者交互效率影響難以確定及量化的問題，進行定量研究。通過搭建虛擬現實場景，以信息呈現通道的類別與數量作為變量，展開跟蹤–檢測響應雙任務實驗；通過記錄任務行為數據中的跟蹤誤差和響應時間，以及生理數據中的瞳孔直徑大小，分析并討論在不同通道刺激影響因素下的實驗中，任務績效及眼動生理反應變化規律；同時結合主觀負荷評價數據，建立了基于BP神經網絡的多通道認知負荷模型，以認知負荷作為交互效率的綜合評價指標，量化任務執行效率。信息呈現的通道類別及其數量對任務效率均有顯著的影響。信息呈現通道數量與任務績效及生理反應呈一定程度的正相關；多個任務使用相同通道呈現信息會損害所有任務的績效，增加認知負荷。模型輸出的負荷值與主觀認知負荷評估值吻合較好，相對誤差為8.2%，驗證了其有效性。

認知負荷模型；多通道交互；交互效率；虛擬現實

虛擬現實技術作為智能工業制造的一部分，通過其高度逼真感的三維交互式虛擬可視化環境在工業制造、培訓領域中得到了廣泛應用。在模擬駕駛室、設備監控室等環節復雜、需求變化多的虛擬操作任務中，操作員在操控設備時，通常還需要處理來自人機界面的其他信號[1]。以往的研究證實，相對于單一感官的刺激信號，多通道信號可以通過減少感知模糊性、降低反應時間等方式來提高操作員任務執行的認知績效[2]。根據認知負荷理論，認知負荷是交互難易程度重要評價指標之一，且認知負荷的高低直接影響任務執行效率[3]。因此，虛擬現實下信息呈現方式的影響和構建認知負荷量化模型是一個值得深入研究的主題。

1 相關工作

1.1 多通道信息呈現對任務績效影響

與單一任務相比，在多任務情況下，額外的任務會增加工作負載，這種負載會對整體任務性能產生影響[4]。Huang等[5]通過模擬駕駛員執行并行駕駛任務，證實聽覺信息比視覺信息能讓被試者更好地理解指令。這種呈現跨模態信息優于模態內信息的優勢已經由多資源理論解釋，該理論提出視覺處理與聽覺處理使用不同的資源[6]，可減少對公共處理資源的競爭，從而為雙任務處理提供更好的認知績效。

而多通道交互（或顯示、輸出）是指將信息同時呈現給用戶的多個感官通道，而通過多種通道呈現相同的信息，即冗余多通道輸出，有可能提高信息傳遞的能力，減少認知負荷[7]。Pitts等[8]發現冗余的視覺–聽覺和視覺–觸覺雙通道刺激比單獨使用視覺刺激減少了反應的時間，這種現象被稱為冗余目標效應(RTE)。Sella等[9]等在模擬擊球游戲中，三通道線索比雙通道線索檢測得更快更準確，而雙通道線索比單通道線索檢測得更快、更準確。

1.2 認知負荷評估

Calandra等[10]提出多通道交互對認知負荷的影響，主要體現在提供高效的人機交互方面。其中認知負荷是任務復雜性與用戶完成任務所需的認知能力之比。目前，認知負荷評估方法主要有主觀評價、績效評估和生理三大類評估指標[11]。

主觀評價法是被試者根據任務中的自身主觀感受，對負荷進行評價，包括美國航天局負荷指數（NASA-TLX）、主觀認知負荷評價（SWAT）等成熟方法[12]。績效評估法通過被試者參加任務的績效評估認知負荷，在雙任務范式中要求被試者在規定時間內同時進行兩項任務，通過被試者任務完成的準確率和響應時間長短評估認知負荷的高低[13]。生理實驗測量通過獲取被試者在任務過程中不同的生理反應來評估認知負荷。Wang L等[14]通過設置三種不同時間壓力的不同任務發現，主觀認知負荷與瞳孔直徑和時間壓力呈線性關系。柯青等[15]通過研究眼動跟蹤技術和認知負荷相關的生理指標，通過心理學理論評估用戶的認知負荷。

在構建認知負荷評估模型領域，黃晶等[16]模擬駕駛實驗，通過獲取各種情緒下的心電生理信號，提出基于個性化敏感生理特征的駕駛負荷評價方法。BP神經網絡通過模擬人腦對復雜信息的處理機制，能夠建立輸入與輸出之間復雜的非線性關系的預測模型[17]。在認知負荷模型研究中，研究者通過信號采集設備，提取被試者人眼動、腦電等生理信號，運用支持向量機及神經網絡[18]等算法，建立認知負荷評估模型。由于生理信息測量的局限性以及特征選取的單一性，因而導致其分類評估精度不高[11]。

因此，本文在多通道交互的基礎上，通過虛擬現實場景呈現多種通道刺激，搭建跟蹤–檢測響應雙任務范式，研究在呈現不同通道刺激信號及通道數量等因素下，任務績效及眼動生理指標的影響。使設計者更好地利用多通道信息呈現的特性來改進虛擬現實場景的設計。同時，通過受試者眼動生理信號和任務績效作為評價指標，結合主觀評價數據，基于BP神經網絡構建多通道認知負荷評估模型，提升認知負荷的評估準確性，為后續虛擬現實多任務場景提供設計方法和優化途徑。

2 方法

2.1 多通道認知負荷質量評價模型的構建

人通過觸覺、聽覺和視覺等多種感覺信息來感知物理環境。這些不同形式的信息需要從有效的合并中得到一個增強和連貫的信號。Ohshiro等[19]構建多感官的歸一化模型，成功地用它解釋了包括空間原理、逆效應等多感融合中許多重要的原理。

如圖1所示，展示了兩個不同的單通道刺激在多感神經元中進行融合處理，并產生輸出的過程。可簡單理解為，單通道輸入1和2為對應通道響應的外界刺激引起的神經反應，隨后在對應的初級感覺層中轉化成多感神經元的輸入，多感神經元對來自不同通道輸入的集合，見式（1）。

圖1 多感融合的歸一化模型總體架構

本文對刺激所引起的神經響應不做深入研究，旨在構建信息識別結果、交互行為與認知負荷的對應關系。楊賢等[20]采用概念外延的方式對用戶認知負荷進行表達，把用戶認知負荷這個復雜對象轉換成研究用戶認知負荷表現因素的集合。

在虛擬環境中用戶所感受的通道刺激及其用戶認知表現的因素較多，用表示用戶的認知負荷，該認知負荷由刺激信號和在該刺激下的用戶認知表現因素組成，其中為用戶的任務績效和生理指標。因此，多通道用戶認知負荷模型如下：

以實驗中交互行為參數為輸入層，以認知負荷為輸出層，構建工作負荷量化模型（見圖2）。

輸入層：指刺激信號及任務績效與生理指標等活動數據。包括跟蹤誤差、反應時間、平均瞳孔直徑等。

隱含層：將獲取的數據納入神經網絡認知負荷量化模型中進行數據處理。

輸出層：數據融合處理后的最終輸出值，即在一定條件通道下被測試者量化的認知負荷值。

圖2 多通道交互認知負荷評價模型

假設每個測試值中有個評價指標。則多任務矩陣如下：

矩陣中的值代表實驗獲得指標數據。各評價指標的性質不同，所以指標之間具有不同的屬性和量級，無法直接用原始指標進行分析。為保證結果有效性，采用max-min標準化，對原始數據進行歸一化處理，使數據落到[0，1]區間內。轉換函數如下：

得到輸出后，利用期望和實際兩個輸出指標，計算誤差函數對輸出層的各神經元的偏導數。

2.2 實驗設計

實驗在Unreal Engine 4引擎搭建的場景中輸出通道刺激和收集實驗數據。采用HTC Vive Pro Eye作為輸入設備。在實驗中，需要參與者去完成同時出現的兩種不同任務。第一組任務為視覺跟蹤任務：一個直徑為10 mm的圓形目標在200 mm（寬）×200 mm（高）的域內隨機移動。參與者用手柄發射的一個10 mm× 10 mm的“十字”光標來追蹤圓形目標，見圖3。

圖3 跟蹤-視覺檢測響應雙任務實驗示例

第二組任務為檢測響應任務[21]。視覺，聽覺和觸覺刺激分別由虛擬現實頭盔，耳機和手柄控制器提供。為了確保視覺、聽覺、觸覺刺激進行實驗時，被試者感知的刺激強度是相等的，依據Riggs等[22]在跨通道強度匹配研究中得到的結論，并假設其強度刺激都為1。視覺輸入為直徑30 mm的圓形圖標，位于跟蹤場的左右，間距為50 mm；從微軟視窗聲音庫中選擇的75分貝的單聲道“叮”聲作為聽覺信號；使用者通過將大拇指放于手柄控制器的觸摸板上感受 6.5 Hz的振動頻率作為觸覺信號。被試者需要在感受到刺激后，扣動與刺激方位相同的手柄扳機作為響應，見表1。

表1 檢測響應實驗不同通道特征

Tab.1 Characteristics of different channels in detection response experiment

如表2所示，第二組實驗的自變量為不同通道的刺激信號以及它們的組合，測試者通過不同的刺激通道完成實驗。

表2 跟蹤-檢測響應實驗自變量

Tab.2 Independent variable of the track-detection response experiment

整個實驗因變量包括均方根跟蹤誤差、響應時間和平均瞳孔直徑和主觀認知負荷。均方根跟蹤誤差（以下簡稱跟蹤誤差）通過計算被跟蹤目標和跟隨光標之間的像素差來衡量跟蹤任務的精度，其公式如下：

響應時間是從刺激開始到測試者做出反應的持續時間；準確性被定義為在特定條件下正確反應的數量與所有刺激數量的比率；本文使用美國國家航空TLX調查問卷測量認知負荷，并以0～100的加權平均值進行計算；實驗通過HTC公司最新帶有眼球跟蹤的虛擬現實裝置HTC Vive Pro Eye來獲取任務過程中的平均瞳孔直徑的變化數據。

一是具有自主知識產權的技術少，對外依存度高。集成電路產業是一個高度集成的高新技術產業，集成電路的技術領先優勢需要整個產業鏈條的關鍵技術集成作用，牽一發而動全身。此外，集成電路的技術優勢很大程度取決于先發的優勢，一旦技術上的突破會持續保持領先，很難在短期內超越。2013年至今我國集成電路產業進口額連續超過2 000億美元/年以上。

2.3 實驗流程

實驗招募了22名參與者，其中12名女性和10名男性，年齡范圍為20～25歲（= 23.2，= 3.5）。所有人報告聽力正常，觸覺沒有受損，視力正常或矯正至正常。

參與者單獨進入實驗室。坐在顯示屏正前方500 mm處，佩戴集成耳機的虛擬現實顯示頭盔，并握住兩個手柄控制器，將肘部放于椅子扶手上，大拇指放于手柄觸控板上接受觸覺刺激，食指在扳機上做出反應。參與者閱讀并觀看了任務演示之后，隨機選取一個練習模塊。練習后，脫下頭盔休息1 min，然后開始正式實驗。

實驗開始時，跟蹤目標和手柄射線的十字光標位于跟蹤區域中心，參與者點擊手柄控制器，跟蹤目標開始隨機移動，實驗者需要移動手柄將十字光標射線盡可能地疊加到跟蹤目標上。在每個實驗中隨機延遲1～3 s后，左右兩側會給出不同通道的刺激信號，參與者用左/右食指按下對應手柄控制器扳機響應。從刺激呈現開始到反應所經過的時間被作為反應時間。1 s后做出的反應被認為是失誤。每位被試者需完成8次子實驗，分別對應于視覺、聽覺、觸覺三個通道和它們之間的不同組合。實驗中各子實驗按隨機順序出現，抵消順序帶來的影響。在每個子實驗結束后，參與者脫下虛擬現實顯示頭盔，在計算機上填寫認知負荷調查問卷，休息30 s，開始下一個子實驗，實驗場景見圖4。

圖4 跟蹤–檢測響應實驗場景

3 實驗結果分析

實驗一共收集了來自22名實驗參與者的表現，包括主觀認知負荷、跟蹤誤差、瞳孔直徑和反應時間與準確率。具體數據見表3。

3.1 跟蹤誤差分析

本文選用均方根跟蹤誤差來衡量跟蹤任務的精度，跟蹤誤差計算被跟蹤目標和跟隨光標之間的像素差。總共有176個（22個參與者×8個條件）值，從34.81～111.43 px不等。

表3 跟蹤-檢測響應交互實驗結果

Tab.3 Results of track-detection response interaction experiment

如圖5所示，無響應任務的單獨跟蹤誤差值最低（44.72 px），隨后是三通道響應任務的跟蹤誤差（50.36 px）。單通道視覺響應任務條件下的跟蹤誤差最高（77.46 px）。跟蹤誤差數據的方差齊性檢驗（=0.182，>0.05）顯著性大于0.05，即方差齊性假設成立，因此可以對數據進行下一步方差分析。

對通道進行單因素方差分析發現，響應任務的通道變化對跟蹤績效有顯著性影響（=13.72，<0.001），這意味著參與者的跟蹤精度受到響應任務刺激變化的明顯影響。對不同通道進行最小顯著性差異（Least- significant Difference，LSD）驗后多重比較檢驗發現，無響應任務的跟蹤誤差顯著小于有響應任務，而在三種單通道條件之間，視覺條件下的跟蹤誤差顯著大于聽覺與觸覺（<0.05），雙通道和三通道的跟蹤誤差顯著小于所有單通道跟蹤誤差（<0.010），且彼此之間沒有差異。

圖5 不同變量因素的均方根跟蹤誤差比較

3.2 響應時間分析

響應時間是從刺激出現到第一次按下扳機之間的時間。實驗總共收集了1 540個反應(22名參與者×7個條件×10個試驗)。所有反應時間均在平均反應時間的3s內，即在166～1 495 ms，沒有要丟棄的異常值。

與跟蹤誤差類似，三通道的響應任務的平均反應時間最短（424.14 ms），隨后為包含觸覺刺激的雙通道觸覺單通道的反應時間也小于其他單通道反應時間。響應時間的方差齊性檢驗（=0.284，>0.05）顯著性大于0.05，因此對數據進行下一步方差分析。

通道對反應時間有著顯著的影響（=6.742，<0.001），視覺條件下的響應時間明顯慢于其他通道（<0.05），三通道的響應時間明顯快于未包含觸覺通道即視覺、聽覺，以及視聽覺條件下的響應時間（<0.05），見圖6。

圖6 不同變量因素的反應時間比較

3.3 準確率分析

準確性是通過包含受試者刺激的全部試驗中正確反應（命中）的比例來衡量的。準確性在所有條件下都非常高（>96 %）（見圖7），總的來說，錯誤響應發生率為2.01%，兩兩比較顯示通道之間沒有差異（> 0.120）。

圖7 不同變量因素的準確率比較

3.4 瞳孔直徑分析

瞳孔直徑是用戶認知負荷指標之一，其變化幅度與實驗者的努力程度相關。當認知負荷較大時，瞳孔直徑較大[23]。通過獲取受試者在任務過程中雙眼瞳孔的平均直徑作為分析數據。如圖8所示，隨著通道的增加，瞳孔直徑逐漸減小，其方差齊性檢驗（=0.114，>0.05）顯著性大于0.05，因此對數據進行方差分析。對不同變量因素的平均瞳孔直徑進行單因素方差分析，得出不同通道對瞳孔大小有顯著影響（=2.82，=0.036，<0.05）。

圖8 不同變量因素的平均瞳孔直徑比較

3.5 多通道認知負荷量化模型訓練

表4為不同通道組合下實驗指標數據（部分），數據已進行歸一化處理。

表4 神經網絡模型輸入層數據（部分）

Tab.4 Input layer data of neural network model (partial)

神經網絡輸出隱含層神經元數量理論上沒有明確的規定。多數情況下使用試湊法，公式如下：

BP神經網絡模型評估的負荷與實驗測試主觀負荷的對比，如圖9所示，認知負荷模型評估結果和實驗主觀數據較為吻合，說明該模型具有一定的有效性。

圖9 BP神經網絡預測值與實驗主觀負荷對比

4 實驗結果討論

4.1 不同通道呈現信息性能討論

現有的多重資源理論或聽覺先占理論，能夠解釋視覺或聽覺等單通道刺激對正在進行的視覺跟蹤任務的干擾效果[2]。多重資源理論認為多個視覺任務會共享相同的視覺通道資源，因此視覺刺激對進行中的跟蹤任務的干擾應大于聽覺刺激。而聽覺先占理論認為，聽覺刺激會將注意力從進行中的視覺任務上轉移，增加認知負荷。因此，聽覺刺激的干擾效應大于視覺刺激。

本實驗通過對比不同通道信息刺激下的跟蹤誤差，發現任何形式的檢測響應任務都會干擾同時進行的跟蹤任務的表現，證明額外的任務會增加認知負載，這符合Wickens的多重資源理論[6]，其中視覺通道的刺激誤差顯著大于聽覺和觸覺。表明在執行視覺跟蹤任務時，與視覺提示相比，使用聽覺、觸覺提示具有更好的性能。與跟蹤誤差相似，實驗中的反應時間和瞳孔直徑也支持多重資源理論，表明當多任務使用相同通道時，會同時損害兩種任務的表現，并增加工作負荷。說明在設計虛擬現實系統中類似人機交互任務時，應避免使用同一通道進行交互，以消除或減少反應干擾。

4.2 多通道交互增強效應討論

多通道輸出在自然人機交互中是必不可少的，尤其是在虛擬現實中[18]。本實驗中觀察到通過多個感官通道來傳遞相同的信息，顯著提高了信息傳遞能力，這與Petts等[8]、Sella等[9]研究的結論類似。相對于單通道刺激，雙通道刺激對跟蹤任務干擾及反應時間和瞳孔平均直徑大小顯著降低，三種通道信息呈現的組合則更低。將單通道中最優的實驗數據平均值，減去包含其多通道的平均數據時，再除以單通道最優值，將該值乘以100可以得到多通道信息組合反應增強百分比。

表5 多通道信息增強百分比

Tab.5 Multi-channel information enhancement percentage

如表5所示，雖然各項指標的增強效應不同，但在同一指標下實驗能夠觀察到與此前研究普遍觀點相一致的現象，即多通道的冗余信息整合能夠提升用戶任務表現，降低認知負荷。

4.3 多通道認知負荷量化模型討論

相較于[13]提出的多維綜合評估模型，本文通過加入任務績效、多通道信號等指標，基于BP神經網絡構建了多通道認知負荷量化模型。模型輸出結果與實驗主觀負荷具有高度相關性，表明得到的預測值是有效的。可針對影響虛擬現實中多任務交互系統進行優化改進。

其中，為實驗人數，評價結果見表6。

表6 神經網絡訓練結果評價

Tab.6 Evaluation of neural network training results

總的來說，平均相對誤差為8.2%，平均均方根方誤差為11.4%。同時，從評價表中可以看出，最大相對誤差為10.9%，最小相對誤差為3.6%，最大均方誤差為14.4%，最小均方誤差為8.7%。這說明本文提出的認知負荷模型具有較高的準確性。

5 結語

本文基于虛擬現實下的多通道交互和認知負荷理論，通過分析不同信息呈現的方式對任務績效及眼動生理反應的變化，運用BP神經網絡構建多通道認知負荷量化模型，旨在為虛擬現實系統中提高交互、認知效率的設計方案提供科學的設計和評價依據。

研究發現，信息呈現的通道類別及其數量對任務效率均有顯著的影響，信息呈現通道數量與任務績效及生理反應呈一定程度的正相關；多個任務使用相同通道呈現信息會損害所有任務的績效。通過對比主觀工作負荷和量化后的認知負荷，證明本文提出的神經網絡認知負荷評估模型具有一定的可靠性，可以作為評價虛擬現實多任務交互系統的檢測標準。

[1] 滕健, 黃佳慧, 宮凱. 基于BCI的虛擬現實模擬駕駛教學系統設計[J]. 圖學學報, 2020, 41(2): 217-223.

TENG Jian, HUANG Jia-hui, GONG Kai. Design of Virtual Reality Simulated Driving Teaching System Based on BCI[J]. Journal of Graphics, 2020, 41(2): 217-223.

[2] 趙劍, 王柳, 史麗娟, 等. 面向言語康復的多模態人機交互系統[J]. 吉林大學學報(工學版), 2020, 50(4): 1478-1486.

ZHAO Jian, WANG Liu, SHI Li-juan, et al. Multimodal Human-Computer Interaction System for Speech Rehabilitation[J]. Journal of Jilin University (Engineering and Technology Edition), 2020, 50(4): 1478-1486.

[3] 趙欣, 丁怡, 侯文軍, 等. 復雜信息系統界面可用性指標體系研究[J]. 圖學學報, 2018, 39(4): 716-722.

ZHAO Xin, DING Yi, HOU Wen-jun, et al. On the Usability Evaluation Index System of Complex Information System Interface[J]. Journal of Graphics, 2018, 39(4): 716-722.

[4] STEFANIE X Q K, TSANG S N H, CHAN A H S, et al. Hand- and Foot-Controlled Dual-Tracking Task Performance Together with a Discrete Spatial Stimulus-Response Compatibility Task[J]. International Journal of Human-Computer Interaction, 2017, 33(1): 21-34.

[5] HUANG Gao-jian, STEELE C, ZHANG Xin-rui, et al. Multimodal Cue Combinations: A Possible Approach to Designing In-Vehicle Takeover Requests for Semi-Aut-onomous Driving[J]. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 2019, 63(1): 1739-1743.

[6] WICKENS C D. Multiple Resources and Mental Workload[J]. Human Factors, 2008, 50(3): 449-455.

[7] PETIT O, VELASCO C, SPENCE C. Digital Sensory Marketing: Integrating New Technologies into Multisensory Online Experience[J]. Journal of Interactive Marketing, 2019, 45: 42-61.

[8] PITTS B J, SARTER N. What You Don't Notice can Harm You: Age-Related Differences in Detecting Concurrent Visual, Auditory, and Tactile Cues[J]. Human Factors, 2018, 60(4): 445-464.

[9] SELLA I, REINER M, PRATT H. Natural Stimuli from Three Coherent Modalities Enhance Behavioral Responses and Electrophysiological Cortical Activity in Humans[J]. International Journal of Psychophysiology, 2014, 93(1): 45-55.

[10] CALANDRA D M, CASO A, CUTUGNO F, et al. CoWME: A General Framework to Evaluate Cognitive Workload During Multimodal Interaction[C]// Proceedings of the 15th ACM on International Conference on Multimodal Interaction. New York: ACM, 2013: 111- 118.

[11] 鄭玲, 喬旭強, 倪濤, 等. 基于多維信息特征分析的駕駛人認知負荷研究[J]. 中國公路學報, 2021, 34(4): 240-250.

ZHENG Ling, QIAO Xu-qiang, NI Tao, et al. Driver Cognitive Loads Based on Multi-Dimensional Information Feature Analysis[J]. China Journal of Highway and Transport, 2021, 34(4): 240-250.

[12] 查先進, 黃程松, 嚴亞蘭, 等. 國外認知負荷理論應用研究進展[J]. 情報學報, 2020, 39(5): 547-556.

ZHA Xian-jin, HUANG Cheng-song, YAN Ya-lan, et al. Progress of Foreign Cognitive Load Theory Application Research[J]. Journal of the China Society for Scientific and Technical Information, 2020, 39(5): 547-556.

[13] 衛宗敏. 面向復雜飛行任務的腦力負荷多維綜合評估模型[J]. 北京航空航天大學學報, 2020, 46(7): 1287-1295.

WEI Zong-min. A Multi-Dimensional Comprehensive Evaluation Model of Mental Workload for Complex Flight Missions[J]. Journal of Beijing University of Aeronautics and Astronautics, 2020, 46(7): 1287-1295.

[14] WANG Li-jing, HE Xue-li, CHEN Ying-chun. Quantitative Relationship Model between Workload and Time Pressure under Different Flight Operation Tasks[J]. International Journal of Industrial Ergonomics, 2016, 54: 93-102.

[15] 柯青, 丁松云, 秦琴. 健康信息可讀性對用戶認知負荷和信息加工績效影響眼動實驗研究[J]. 數據分析與知識發現, 2021, 5(2): 70-82.

KE Qing, DING Song-yun, QIN Qin. Health Information Readability Affects Users' Cognitive Load and Information Processing: An Eye-Tracking Study[J]. Data Analysis and Knowledge Discovery, 2021, 5(2): 70-82.

[16] 黃晶, 楊夢婷. 考慮初始情緒的個性化駕駛負荷狀態評價[J]. 中國公路學報, 2021, 34(1): 167-176.

HUANG Jing, YANG Meng-ting. Initial Emotion-Based Evaluation of the Personalized Driving Load State[J]. China Journal of Highway and Transport, 2021, 34(1): 167-176.

[17] 王歡歡, 初勝男, 顧經緯. 基于神經網絡的汽車側面造型評價方法[J]. 圖學學報, 2021, 42(4): 688-695.

WANG Huan-huan, CHU Sheng-nan, GU Jing-wei. Evaluation Method of Vehicle Side Modeling Based on Neural Network[J]. Journal of Graphics, 2021, 42(4): 688-695.

[18] 徐小萍, 呂健, 金昱潼, 等. 用戶認知驅動的VR自然交互認知負荷研究[J]. 計算機應用研究, 2020, 37(7): 1958-1963.

XU Xiao-ping, LYU Jian, JIN Yu-tong, et al. Research on Natural Interactive Cognitive Load of Virtual Reality Driven by User Cognition[J]. Application Research of Computers, 2020, 37(7): 1958-1963.

[19] OHSHIRO T, ANGELAKI D E, DEANGELIS G C. A Normalization Model of Multisensory Integration[J]. Nature Neuroscience, 2011, 14(6): 775-782.

[20] 楊賢. 虛擬現實自然交互環境下用戶認知的數學表達及其可視化評估[D]. 廣州: 廣東工業大學, 2018.

YANG Xian. Mathematical Expression and Visual Assessment of User Cognition in Natural Interaction of Virtual Reality Environment[D]. Guangzhou: Guangdong University of Technology, 2018.

[21] THORPE A, INNES R, TOWNSEND J, et al. Assessing Cross-Modal Interference in the Detection Response Task[J]. Journal of Mathematical Psychology, 2020, 98: 102390.

[22] RIGGS S L, SARTER N. Crossmodal Matching: The Case for Developing and Employing a Valid and Feasible Approach to Equate Perceived Stimulus Intensities in Multimodal Research[J]. Human Factors: the Journal of the Human Factors and Ergonomics Society, 2019, 61(1): 29-31.

[23] 陳曉皎, 薛澄岐, 陳默, 等. 基于眼動追蹤實驗的數字界面質量評估模型[J]. 東南大學學報(自然科學版), 2017, 47(1): 38-42.

CHEN Xiao-jiao, XUE Cheng-qi, CHEN Mo, et al. Quality Assessment Model of Digital Interface Based on Eye-Tracking Experiments[J]. Journal of Southeast University (Natural Science Edition), 2017, 47(1): 38-42.

Quantitative Study on Cognitive Load of Multi-channel Information Presentation in Virtual Reality

LUO Shi-huai, LYU Jian, LIU Xiang

(Key Laboratory of Advanced Manufacturing Technology of the Ministry of Education, Guizhou University, Guiyang 550025, China)

Aiming at the problem that different information presentation methods in the virtual reality experience system are difficult to determine and quantify the impact on user interaction efficiency, the work aims to conduct quantitative research.By building a virtual reality scene, the category and number of information presentation channels were used as variables to carry out the track-detection response dual-task experiment. By recording the tracking error and response time in the task behavior data, as well as the pupil diameter in the physiological data, the changes in task performance and eye movement physiological response in experiments under different channel stimulation factors were analyzed and discussed. At the same time, combined with subjective load evaluation data, a model of multi-channel cognitive load based on BP neural network was established. The cognitive load was used as a comprehensive evaluation index of interaction efficiency to quantify the task execution efficiency. The results showed that the type and number of channels for information presentation had a significant impact on task efficiency. The number of channels for information presentation is positively correlated with task performance and physiological response to a certain extent. Using the same channel for multiple tasks to present information will harm all the performance of all tasks and increase the cognitive load. At the same time, the cognitive load value of the model is in good agreement with the evaluation value of subjective cognitive load, with an absolute error of 8.2%, which verifies its effectiveness.

cognitive load model; multi-channel interaction;interaction efficiency; virtual reality

TB472

A

1001-3563(2023)04-0069-08

10.19554/j.cnki.1001-3563.2023.04.009

2022–09–25

國家自然科學基金項目(52065010)；貴州省自然學科基金（ZK2021341）；貴州省科技項目（黔科合支撐[2021]一般397；黔科合支撐[2022]一般008）

羅世懷（1996—），男，碩士生，主攻智能設計、虛擬現實研究。

呂健（1983—），男，博士，副教授，主要研究方向為工業設計、智能設計研究。

責任編輯：陳作