增強現實系統對認知負荷的影響效果元分析

羅培文，汪 穎

（浙江理工大學 藝術與設計學院，浙江 杭州 311103）

0 引言

增強現實（Augmented Reality，AR）作為一種新興技術，是指將虛擬信息與真實空間反應的信息融合，讓兩類信息進行互補，以此促進人們的感官認知，達到超越現實的感官體驗。AR 技術作為“后互聯網時代”一項革命性的認知工具，已經成為促成工業智能改革的關鍵技術之一。目前AR 技術已被廣泛應用于教育、工業裝配、汽車駕駛、在線零售、醫療康復等領域。

認知負荷（Cognitive Load）是指在一段特定作業時間內用于個體工作記憶的腦力勞動總量［1］。在人機交互過程中，信息呈現的時效性、直觀性以及全面性影響著系統的效率和可靠性。因此，通過測量使用者的認知負荷來間接評判系統的可用性已成為常用方法。隨著工業4.0 時代的到來，人機交互的高效協作對于提高生產力至關重要，但高負荷的信息環境會使操作者的認知工作量過載，進而影響生產表現，甚至對身心造成傷害［2］。因此，減少腦力工作量已被視為現代信息工作空間中的一個重要目標。本文采用社會科學領域最常見的定量研究方法——元分析法（Meta-Analysis），有目的地整合AR 系統對認知負荷影響的研究結果，對單個樣本進行綜合統計學分析，闡明AR 技術對用戶認知負荷的影響，并對其在應用領域的發展提出相應建議。

1 相關研究

為探索AR 技術在人機交互領域的應用是否有降低認知負荷的作用，許多研究者進行了實證研究，但結果卻存在一定差異。當前對于AR 技術降低認知負荷的有效性主要存在兩種觀點：

第一種觀點認為AR 技術能顯著降低用戶的認知負荷。文獻［3］安排實驗組使用AR 模擬實驗工具進行物理知識學習，對照組則使用傳統教材學習，經過45min 的干預，發現實驗組的認知負荷水平低于對照組，且實驗組有更積極的學習態度。文獻［4］讓汽車行業裝配員佩戴AR眼鏡執行裝配任務，與不使用AR 眼鏡的員工相比，佩戴AR 眼鏡員工的任務負荷指數NASA-TLX 量表得分下降了10%。因此，AR 技術的使用對員工的認知負荷產生了積極影響，并且員工可以較好地適應這種新設備。除實驗研究外，一些系統評價綜述也表明許多AR 系統都可以幫助使用者降低認知負荷，并在任務中具有更好的表現［5］。

第二種觀點卻認為AR 技術會增加用戶的認知負荷。文獻［6］采用AR 技術作為信息提示系統來指導學生完成物理電路的連接學習，并設置了使用平板顯示信息的學生作為對照組。實驗結果表明，對照組的認知負荷與學習收益要優于使用AR 技術的實驗組。文獻［7］通過一項實驗發現，使用AR 材料學習化學的認知負荷高于使用普通圖文材料，說明AR 技術的介入未能有效降低認知負荷。

顯然AR 技術的使用還存在一定爭議。盡管已有許多研究和實驗報告了AR 技術給用戶帶來的認知負荷、任務績效以及許多調節變量對結果的影響，但是缺少對此類研究的整合與歸納。本研究采用元分析法對國內外5 個權威數據庫的相關文獻進行二次分析，旨在解決以下問題：①與傳統方法（或不使用AR 技術）相比，AR 技術是否可以降低用戶的認知負荷？②AR 技術應用于人機交互領域時，是否受到AR 設備、干預時間等調節因素的影響？

2 數據收集

本研究采用系統評價與元分析方法進行數據收集。系統評價是指按照一定標準納入、精煉文獻，聯合所有搜集到的結果進行編碼、評價和分析。元分析是對某一類問題進行定量分析，有助于探索研究結果之間的一致性和差異性，將結果映射至研究主題，有利于后續發展探索。由于元分析選題必須具備一定的爭議性，AR 技術是否有助于降低用戶認知負荷，提升其可用性和易用性往往也具有一定爭議。因此，將元分析方法介入該話題，旨在研究AR這種新興技術相較于傳統系統是否能降低用戶的認知負荷。

2.1 文獻篩選

本研究主要圍繞AR 技術對認知負荷的影響展開。選擇知網、Web of Science、IEEE、Scopus 和ACM Digital Library5 個覆蓋內容較為全面的數據庫作為搜索源，選擇文獻發表時間為2013 年1 月-2022 年10 月，選擇AR 檢索關鍵詞為“增強現實”“Augmented reality”“Head mounted reality”“AR-HUD”“HoloLens”和“HMD”，認知負荷的檢索關鍵詞為“認知負荷”“cognitive load”“mental load”“mental effort”“mental workload”和“cognitive load”，由“AND”連接兩類關鍵詞進行檢索。

按照Prisma 發布的2020 版框架進行文獻篩選。文獻納入標準如下：①納入文獻必須為期刊論文或會議論文，排除綜述型文章；②需要包含實驗組（AR 技術）和對照組（非AR 技術）用戶認知負荷的分析與測量；③研究通過實驗展開，文中需詳細記錄被試信息、實驗方法、測量指標和對數據結果的分析，測量數據包括樣本量N、均值M、方差SD。綜合上述標準，將從5 個數據庫中檢索到的1 956 篇相關文獻按照條件進行逐篇排查，最終得到25 篇文獻供后續數據提取分析，具體流程如圖1所示。

Fig.1 PRISMA flow for systematic review圖 1 系統回顧PRISMA流程

2.2 文獻編碼

開發一個編碼系統并提取25 篇文獻中的31 組數據，將是否使用AR 技術作為自變量，將報告的主觀認知負荷作為因變量。

在結局指標選擇上，均選擇主觀認知評分作為結局指標，但是不同文獻在量表選擇上略有不同，若文獻報告了總認知負荷值，則將其作為結局指標；若文獻報告了多個維度的認知負荷，則依據以往研究選擇某一類作為結局指標。文獻［8］使用PAAS 認知負荷主觀評級量表［1］，該量表報告了“心理努力”和“任務難度”兩個維度。本研究選擇“心理努力”這一維度進行評分，因為該維度評分對認知負荷的評估更加敏感［9］。文獻［10］使用五點Likert 量表，報告了“腦力勞動”和“腦力負荷”兩個維度的數據。已有研究證實“腦力負荷”報告的是內在認知負荷，通過量表自評方式對內在負荷進行評估更加敏感［11］。因此，本研究將內在認知負荷數據納入評估范圍。

在調節變量的選擇上，按照AR 設備類型分為可穿戴式設備和非可穿戴式設備。將可穿戴式設備編碼為A，如HoloLens、AR-HMD 等，將非可穿戴式設備編碼為B，如手機、平板等。按照AR 系統功能類型分為輔助學習系統和信息提示系統，將輔助學習系統編碼為1，信息提示系統編碼為2。在信息提示系統中，按照30min 這一注意警覺極限［12］將其分為長時間干預與短時間干預。將使用信息提示系統超過30min 編碼為L，少于30min 編碼為S。使用輔助學習系統均進行了多次長期干預，因此未對輔助學習系統的使用時間進行編碼。編碼由兩位研究人員分別進行，有爭議的地方邀請其他研究者共同討論、矯正，得出最終的文獻編碼表如表1所示。

Table 1 Literature coding situation表 1 文獻編碼表

3 數據分析

為了定量探索AR 技術對認知負荷的影響，本研究采用綜合性研究工具Stata17 SE 對數據進行深度處理。本研究收集到的結局指標都是連續性變量，故采用標準化均數差法（SMD）作為效應值，采用Cohen 的效應量作為計算方法。Stata17 SE 統計結果包括計算的單個效應值、整體效應值，以及偏倚分析、異質性檢驗與亞組分析結果。

3.1 異質性分析

收集到的文獻由于發表時間、地域、研究對象、實驗設計等不同，難免會存在差異。因此有學者將元分析中不同研究之間的各種變異稱為異質性［13］。元分析中主要有兩類異質性檢驗方式：定性方式主要采用森林圖、漏斗圖等圖示法；定量方式主要有Q 檢驗、I2檢驗、H 檢驗等方法。若Q 統計量顯著（P＜0.05），則拒絕同質性假設，使用隨機效應模型；反之采用固定效應模式。根據25%、50%和75%將I2統計量劃分為低、中、高級別［14］。采用Stata 軟件計算得出31 組數據的異質性I2=65%，Q 檢驗的P=0.02＜0.05。結果表明納入的文獻存在較強的異質性，故本研究選擇隨機效應模型評估AR 技術對認知負荷的影響。

3.2 偏倚檢驗

偏倚又被稱為“系統誤差”，是指研究結果相較于真實結果存在一定偏差。在元分析中，發表偏倚結果會直接影響結果的可靠性。因此，正確而真實地評估偏倚結果，才能盡可能地減小對元分析結果的影響，使后續分析結論更具說服力。本研究采用定性的漏斗圖與定量的Begg 秩相關法檢驗發表偏倚。首先采用Stata17 SE 制作漏斗圖，如圖2 所示，可以發現圖中點基本均勻對稱分布在合并效應值-0.225 兩側，但是僅通過圖示結果定性地判斷具有一定主觀性，因此使用Begg 秩相關法進行定量分析。根據Begg 秩相關法檢驗結果來看，Z=0.97＜1.96，p=0.333＞0.05。因此，綜合定性與定量分析結果可以得出本研究不存在發表偏倚的問題，得出的合并效應值是比較穩健的。

Fig.2 Funnel plot of meta-analysis圖 2 元分析漏斗圖

綜上所述，選擇隨機效應模型計算主效應量，并采用Cohen 的效應量計算方法。31 組數據樣本合并后效應值SMD=-0.225，根據Cohen 的效應值統計理論，當效應值ES≤0.2 時，表明效應較?。划?.2 ＜ES ＜0.8 時，表明具有中等效應；當ES＞0.8 時，則表明效應較大。因此，根據研究匯總的SMD 為-0.225（95%CI ［-0.397，-0.053］，P=0.01＜0.05）初步判定AR 技術對認知負荷具有中等顯著影響。

3.3 不同AR設備類型對認知負荷的影響

為了進一步探索認知負荷是否受到不同AR 設備這一調節變量的影響，研究人員按照設備類型進行亞組分析，結果如表2 所示。組間效應檢驗結果Chi2=2.78（p=0.1＞0.05），說明使用不同類型AR 設備對認知負荷的降低效果不同，非可穿戴式設備如手持小型移動設備或平板電腦（SMD=-0.289；95%CI ［-0.494，-0.084］，p=0.006）比可穿戴式設備（SMD=-0.01；95%CI ［-0.265，0.247］，p=0.942）有更大的效應值，說明使用非可穿戴式設備對認知負荷的降低效果更明顯。在可穿戴式設備中未達到統計學上的顯著性差異，這可能與樣本數量和任務設計有關。

3.4 不同功能類型AR系統對認知負荷的影響

AR 技術介入的領域多種多樣，按照納入的文獻可以將其分為兩類：一類是輔助學習系統，目的是為了讓用戶學習并記憶相關知識；第二類是信息提示系統，目的是為了讓用戶接受指令并完成相應操作。這兩類系統的區別在于前者強調信息展示的全面性和多維性，后者強調信息感知的時效性。如表3 所示，AR 技術在介入不同類型的AR 系統時，對降低認知負荷均有積極作用。輔助學習系統（SMD=-0.228；95%CI［-0.468，-0.011］，p=0.062）比信息提示系統有更大的效應值（SMD=-0.200；95%CI ［-0.471，-0.008］，p=0.057），說明當AR 技術介入輔助學習系統和信息提示系統時都降低了認知負荷。

Table 2 Difference analysis of the effect of different types of AR equipment on cognitive load表2 不同AR設備類型對認知負荷的差異分析

Table 3 Difference analysis of the effect of different functional types of AR system on cognitive load表 3 不同功能類型AR系統對認知負荷的差異分析

輔助學習系統的p 值不顯著，推測原因是在使用信息系統時使用時間對結果有影響。由于注意警覺的極限是30min［12］，而注意警覺的主要作用是保持機體處于靈敏狀態，以接收外來信息。當使用者作業超過30min 后，注意力會大幅下降，因此AR 系統在使用者注意力大幅下降后，仍能減少用戶認知負荷以幫助作業正常推進，這將是本研究需要重點探索的地方。

亞組分析結果如表4 所示，短時間干預的效應值（SMD=-0.41；95%CI ［-0.66，-0.17］，p=0.001）比長時間干預的效應值（SMD=0.01；95%CI ［-0.37，0.35］，p=0.95）更大。組間效應檢驗結果Chi2=3.25（p=0.07＞0.05），說明使用AR 技術進行不同時長的干預會使其對認知負荷的影響產生差異。當使用AR 系統完成信息提示任務時間超過30min后，AR 技術對認知負荷的降低效果非常微小，而當用時少于30min時能顯著降低認知負荷。

4 討論

隨著AR 技術的成熟與發展，降低認知負荷、提高作業效率已經成為現代信息工作中的重要內容。本文采用元分析定量地對AR 技術與認知負荷之間的關系進行綜合檢驗，目的在于量化2013 年至今的31 組文獻數據樣本中關于AR 技術對認知負荷的影響。研究結果表明，AR 技術可以有效降低認知負荷、提升系統可用性，有助于用戶更高效地完成任務。

Table 4 Difference analysis of AR information system on cognitive load under different intervention time表 4 不同干預時間下AR信息系統對認知負荷的差異分析

4.1 AR技術可以減少認知負荷

研究表明AR 技術可以有效減少認知負荷，這與先前的研究報告結果相同［15］。一方面AR 技術介入信息傳播媒介提高了信息感知效率，因為AR 技術是將虛擬信息直接疊加在物理現實空間中，用戶不需要在任務空間與信息空間中來回切換，從而減小了在兩個空間進行信息交換的工作量。而且AR 技術已經從視覺增強擴大到聽覺、嗅覺甚至味覺增強，這種多感官交互技術的發展擴大了信息接受渠道，提高了信息感知效率，符合腦科學的結論［16］。從另一方面看，AR 技術因其具備的情境性、交互性和空間性提升了系統的感知可用性，進而提升了用戶的使用動機與滿意度。

4.2 不同AR設備對認知負荷的影響

使用可穿戴式設備時報告了較低且低于非可穿戴式設備的效應值，說明使用非可穿戴式設備相較于可穿戴式設備對認知負荷的控制效果更好。眾所周知，當系統的可用性較低時往往會加重用戶的認知負荷，雖然AR-HMD、HWD 被廣泛使用，但是許多研究表明了其存在的可用性問題，佩戴較長時間用戶會出現眩暈、頭痛等癥狀［15］，并且較小的FOV 會對用戶產生負面影響，進而增加用戶的認知負荷［17］。當AR 搭載的是非可穿戴式設備時，對認知負荷的控制具有顯著的積極影響。非可穿戴式設備主要以手機、平板等小型輕量化儀器為主，此類設備的可負擔性和使用的普遍性使其成為用戶體驗AR 技術的主要途徑。在一些教學情況下，AR 搭載可移動設備可以激發學生學習興趣、增強學習動機，以游戲化的方式提升學習體驗，從而降低學生的認知負荷、提升學習成績和表現［18］。有研究表明，使用HMD 作為裝配指令顯示時，報告的認知負荷高于使用平板顯示時［19］，但是由于目前未檢索到對于同一任務下哪種設備用AR 技術展示指令時有助于任務表現和工作量評估的相關文獻來支持該結論，因此不能直接判斷哪種設備更具有優勢。不過依據可穿戴式設備對于使用者適應新事物的能力要求更高，可以推測使用者的知識經驗背景可能會影響使用不同AR 設備時的認知負荷表現。

4.3 不同功能類型AR系統對認知負荷的影響

分析表明，雖然AR 介入輔助學習系統與信息提示系統在認知負荷的控制上沒有呈現顯著性差異，原因之一可能是實驗的被試者都是受過高等教育的學生或者是網生代的學生，其對新興技術的接受度較高。眾所周知，認知負荷往往和設備可用性、易用性相聯系，因此當其快速適應后，AR 系統不會對其造成較高的認知負荷。當AR 介入輔助學習系統時，從學習者的角度看，AR 輔助學習系統搭配相應的教學方法可以豐富教育環境，提升學習者的學習動機與信心。相較于傳統學習方式，AR 教育游戲產生的心流體驗更強烈［11］。從實驗材料來看，AR 技術幫助從更多維的視角展示學習素材，使教學材料更具趣味性，并且隨著技術的發展，學習者可以在空間中與學習材料進行交互。但是AR 技術需要搭配適宜的學習方法和模式才能降低認知負荷，從而提升學習成效［20-21］。AR 介入信息提示系統時未表現出統計學差異。在信息提示系統下，用戶主要依據信息完成任務，在搜索和解釋信息的過程中，用戶不再需要執行如測量、記錄、切換、確認等涉及體力和腦力的指令，AR 信息被直接疊加在工作空間上，從而減輕了不同空間互相映射的工作量。但是觀察納入的元分析文獻可以發現，出現不顯著差異的原因可能是具體的任務類型、研究設計掩蓋了認知負荷間的差異。選取的實驗需要用戶迅速、準確地完成組裝、拼接或檢查任務，此類研究對時間和體力的要求更高，因而導致更高的認知負荷。

4.4 AR干預時間對認知負荷的影響

不同的干預時間對認知負荷的降低效果不同，當AR介入信息提示系統時，30min 以下的短時間干預能顯著降低認知負荷，當干預時間較長時反而會增加認知負荷。正如有的研究驗證了技術工具在短期干預時會有更為積極的效果［20］。輔助學習系統對于時間需求相對較多，往往都是以一節課或者一學期為單位進行研究，本研究收集到有關AR 輔助學習系統的數據樣本有限，因此無法探索到有關AR 輔助學習系統的使用時長與認知負荷之間的影響。但是現有研究表明，學生成績在很長一段時間內都能得到提高［22］，因為教學工具會持續影響學習進程的良性發展。

5 結語

通過對31 項研究數據進行元分析可以發現，盡管AR技術有助于減少認知負荷，但是會受到AR 設備、AR 系統類型以及干預時間等變量的影響。非可穿戴式設備對于認知負荷的降低有更顯著的作用。AR 輔助學習系統可以有效降低認知負荷，有助于學習者全面了解并吸收知識。當使用AR 信息提示系統時，AR 對于認知負荷的影響不存在顯著差異，但是長時間的AR 干預會加重認知負荷，而短時間的AR 干預可以顯著降低認知負荷。因此，為了幫助AR 技術更好地介入人機交互領域，提升系統的可用性和用戶體驗，提出兩條發展建議：

（1）找準介入路徑發展AR 技術，提升人機交互系統的可用性。AR 技術具有一定發展潛力，但在人機交互領域還未實現AR 技術與人機交互系統的深度融合。AR 技術可以應用于系統的界面顯示，幫助使用者快速獲取信息。這一過程需要設計者按照任務類型及特征對信息的重要性進行優先級展示，選擇適宜的AR 設備進行信息傳達，并且控制使用時間，加強多感官多模態交互，促進使用者的信息感知。同時需要進一步發展AR 技術，這是提升AR 系統可用性最關鍵的一環，以減少因網絡延時、掉幀、使用時出現眩暈感帶來糟糕的使用體驗。

（2）多研究交叉融合，提升AR 技術與人機系統的適配性。一個好的人機交互系統不僅需要技術作為底部支撐，而且需要適應用戶的使用習慣，并對媒介材料進行合理利用。要提升AR 與人機交互系統的適配性，則需要對人機系統的交互邏輯、感知方式、界面設計等進行研究。這樣一個交叉研究領域離不開設計者對計算機科學、心理學、人機工程學和藝術學等各類學科的綜合研究，并促進其深度融合發展。

但是本研究仍然存在一些不足，認知負荷的測量方式是多樣的，本文僅采用了主觀量表評定方式對認知負荷檢測結果進行分析。認知負荷還可以通過如眼動儀、肌電儀或通過次任務方式進行客觀檢測，因此在后續研究中會嘗試將客觀測量的認知負荷數據與主觀評定的認知負荷進行整合，更加綜合性和全面性地探索AR 技術對認知負荷的影響。