基于認知負荷理論的有形交互設計方法探索

田花果 楊雪松

摘要：探索認知負荷理論如何為有形交互設計提供設計心理學層面上的指導。從認知負荷理論的視角來分析有形交互產品的信息加工與互動過程，總結出基于認知負荷理論的有形交互產品設計方法。結合設計實踐，驗證該設計方法的可行性。提出基于認知負荷理論的有形交互產品設計方法。該方法可以為有形交互產品設計過程提供設計心理學層面上的參考。

關鍵詞：有形用戶界面 有形交互 認知負荷理論 設計方法 設計心理學

中圖分類號：J59 文獻標識碼：A文章編號：1003-0069（2023）12-0132-04

引言

數字世界與物理世界的深度融合是人機交互產品的未來發展方向之一。與當今主流的圖形用戶界面（GUIs）相比，有形用戶界面（TUIs）選擇利用數字功能來增強和豐富現實世界，基于有形用戶界面的交互行為一般被稱作有形交互。這種交互方法的動機是希望保留物理交互的豐富性和情境性，利用用戶與真實的物理世界互動的知識和技能來直接操控數字信息，以實現“數字”和“現實”之間的流動轉換。有形交互設計過程中重要的一點就是如何使用戶以最簡單、直接的方式操縱物理工具進行輸入，并實時接收到反饋。當下缺乏一些理論知識來為有形交互產品提供設計參考，認知負荷理論關注于減少人在信息加工過程中的認知負擔，這與有形交互的設計重點具有較高的重合度。因此文章選擇認知負荷理論作為指導理論，通過理論研究來歸納出一些有形交互設計方法，結合有形交互產品設計實踐，來分析如何將這些方法運用到有形交互設計過程當中。

一、有形交互設計基本概述

有形用戶界面（TUIs）是一種基于感知的界面類型。1997年麻省理工學院的學者Brygg Ullmerr和Hiroshi Ishii提出了基于有形用戶界面的有形交互設計定義，即將數字信息耦合到日常物理對象和環境中以增強真實物理世界來完成人機交互[1]。當用戶與圖形用戶界面進行交互時，不能利用自身的靈活性或者機能來操控各種物理對象。而有形用戶界面為數字信息和計算提供了物理形式的載體，從而更有利于用戶直接操控它。這些增強的物理對象通常用作輸入和輸出設備，為用戶提供平行的反饋循環：物理的、被動的觸覺反饋來告知某個物理操作已經完成，以及視覺或聽覺循環來告知某個計算操作已經完成。TUI試圖將數字技術編織到物理環境中去，使其變的“無形”。它提供了在圖形用戶界面之外的另一種人機交互的可能性。

圖1是兩種用于景觀分析的有形交互產品，它們的交互方式是用戶更改桌面上物理的沙子和黏土的形狀，來改變模擬景觀的地形。而天花板上的激光掃描儀可以實時捕捉到不斷變化的幾何形狀，同時使用投影進行數據輸出。

（一）有形交互設計的基本交互模型

人與數字信息之間的連接需要兩個關鍵的要素：輸入和輸出，或者叫作控制與表示。輸入控件使用戶能夠操縱信息，而輸出表示則由人類的感官感知。在傳統的GUI界面中，用戶通過鼠標等設備進行信息輸入，數字信息則通過無具體形態的像素圖像、聲音等反饋出來[2]。在有形用戶界面中，通過將數字信息變為可觸摸的形式，強調對物理表達與控制設備的無縫結合[3]，一些無形輸出例如視頻投影等可以與有形物體同步來補充表達。從基于GUI交互的MVC（模型、視圖、控制）模型中，Ullmer和Ishii提出了一個名為MCR的交互模型，它是英文當中模型-控制-表示的縮寫。MVC模型強調了圖形表示（通過像素表示信息）和控制（通過鍵盤、鼠標等輸入信息），MCR模型則強調了有形用戶界面中物理表示和物理控制的集合[4]，如圖2所示。通過有形用戶界面的MCR模型，可得出TUI具有“表示和控制的無縫結合”的特性，這意味著可觸摸物理對象包含了表示和操控數字信息的能力。

（二）有形交互設計的主要特征

1.有形物體通過計算機化功能和數字信息相耦合。這也是有形用戶界面的核心特征，有形交互設計過程中重要的挑戰，是如何以一種有意義的方式，將物理對象及其操作映射到數字計算和數字反饋當中去[5]。

2.有形物理對象作為交互過程中的控制器，移動與操縱對象是主要的控制形式。有形物體可以通過用戶直接操作，或通過電力或磁力驅動間接操作，來進行數據輸入。為了使操作簡單易學，需要設計交互行為，使有形交互對象支持的操作與物理對象自身的操作機制匹配。

3.可感知的物理對象與數字對象產生的表征的耦合。有形界面依賴于有形和無形表現之間的平衡。雖然物理的有形元素在TUI的表示和控制當中發揮著中心和定義的作用，但TUI的無形表示（通常是圖像和音頻）同樣重要。無形表征的實時反饋與有形表征的操作相對應，是確保感知耦合的關鍵。

有形交互拋卻了圖形用戶界面使用的WIMP范式，通過將數字信息賦予物理物體，允許用戶真正地使用雙手“抓住”信息、操控信息。人與數字世界的關系通過有形的界面變得更加直接與簡單。

二、認知負荷理論基本概述

與傳統的基于圖形用戶界面的交互產品相比，有形交互產品將交互范圍擴大至用戶身邊的環境，它非常注重人與環境、物理工具之間的信息交互過程。認知負荷理論作為一門研究人與信息的交互活動的心理學，與有形交互設計密切相關。認知負荷理論的基本假設主要部分如下：人的記憶由工作記憶和長時記憶兩種組成，前者貯存容量有限，主要負責信息加工，一次只能處理兩到三條基本信息塊；而后者具有無限的貯存容量，主要負責信息貯存。工作記憶被認為由三個部分組成，分別是執行控制系統、視覺空間系統、發音或語音識別系統。圖式是一種基于經驗循環模式形成的已有知識，知識以圖式的方式長期儲存在長時記憶當中。

認知負荷理論的基本觀點如下：認知負荷包括三種形式，即內在認知負荷、外在認知負荷，與有效認知負荷。內在認知負荷是工作記憶對認知任務本身所包含的信息元素，及其交互性進行認知加工所產生的負荷。外在認知負荷是由于不恰當的認知方式設計，造成與圖式構建沒有直接關聯的活動[6]，其造成的工作記憶負荷，與人為的交互過程設計息息相關。有效認知是工作記憶對認知任務進行圖式構建而承受的負荷[7]。

為了提升信息處理效率，在認知活動的過程中應盡可能減少外部認知負荷，增加相關認知負荷[8]，人在認知過程中所應承受的壓力過高或過低都會影響用戶的使用和體驗。研究認知負荷理論能幫助設計師構建出與用戶模型較為匹配的設計模型，從而減少用戶認知壓力，提高用戶體驗[9]。

三、認知負荷理論指導下的有形交互設計方法探索

（一）有形交互產品的設計要素分析

在對有形交互的模型和特征進行分析后，文中將有形交互產品的設計要素總結為以下4種：物理對象、數字對象、動作交互、信息關系（如圖3所示）。這4 種要素的設計決定了有形交互產品的呈現方式。

1.物理對象：物理對象是用戶與有形交互學習系統進行交互的物理材料。它是存在于現實世界中的具體的物質對象，具有必要的物理屬性。例如視覺屬性（如顏色、明暗度），觸覺屬性（如紋理、材質），空間屬性（如位置、大小、方向），有時候還有聽覺屬性（如音色、音調）等。

2.數字對象：數字對象是TUI系統中具有特定屬性（如顏色、位置）的虛擬對象。數字對象需要設計的屬性和物理對象的屬性大致相似，但不包括觸覺屬性，此外數字對象還具有隨著時間動態變化的屬性。

3.動作交互：人擁有豐富的知覺與運動技能，利用這些以及對物理對象的條件反射，有形交互能夠調動人本身既有的知識技能。通過動作交互，有形用戶界面的物理和數字對象之間形成耦合，即用戶通過與物理物體進行動作交互實現數字信息輸入。

4.信息關系：信息關系可以看作是物理對象、數字對象、人與產品的動作交互，以及對現實世界實體的引用之間的信息關系集合[10]。一個物理對象可能代表有形交互界面中特定的東西，但它也可以同時承載現實世界中的意義映射（如物體的動作、含義或現象）。

（二）有形交互產品要素設計方法及理論支撐

結合認知負荷理論知識來思考有形交互產品的人機交互過程，文中總結出三點有形交互產品要素的設計方法：

方法一、在設計物理對象與數字對象時，可以使用多種模式的信息分配，來拓寬工作記憶的容量，減輕工作記憶的負荷。

理論依據：根據認知負荷理論，使用視覺和聽覺兩種表征形式，可以將信息加工分配在兩個不同的工作記憶處理系統中，降低認知負擔。比如在已經需要用到視覺認知的前提下，可以讓文字以聲音而非文本的形式呈現，以將交互過程中施加的認知負荷分配到視覺處理系統和語音識別處理系統中。

方法二、在設計有形交互學習系統的信息關系設計時，物理對象或者數字對象與現實世界中實體的形式和行為之間的信息映射保持一致，這有助于減少額外的認知負荷。

理論依據：認知負荷理論認為產品施加給用戶的用于理解產品本身的認知負荷，對于用戶來說是不必要的，比如GUI界面中的流程邏輯、圖標意義等。在有形交互中減少這種外部認知負荷的方法之一，是將系統中物理對象和數字對象的信息關系映射與現實世界保持一致。因此可以多使用現實生活中被多次強化的，不需多加思考的信息關系來映射有形交互中的信息關系，比如向上抬高物體對應有形交互當中音量的增加。

方法三：在設計動作交互時，在輸入操作中利用用戶的已有圖式有助于提高產品的易學性。

理論依據：圖式是一種基于經驗循環模式形成的已有知識，人有默認的意象圖式（例如前-后、大-小、快-慢、遠-近等），并且每種意向圖式都會產生一些隱喻延伸，例如快樂與明亮、悲傷與黑暗聯系起來。人們常會將它運用到對新事物的理解中。在有形交互產品當中，可以利用圖式來設計，用戶無意識地進行操作，這種減少了學習成本，用戶專注于使用產品，降低外在認知負荷。

（三）基于認知理論的有形交互產品設計流程構建

通過對有形交互的基本概念與設計要素分析，文中構建了基于認知理論的有形交互產品設計流程（如圖4所示）。

首先，有形交互產品的調研可以重點關注用戶的身份特征與使用目的，身份特征決定了用戶的使用環境、認知能力與肢體操作能力。調研方法一般有訪談法、問卷法、觀察法、定性研究法與實驗研究法。下一步的概念設計，是將上述用戶信息轉換為設計方案的一種過程，這一步可以交互流程圖的方式進行呈現。

在概念設計的基礎之上，可以提出具體的設計想法，包括產品的功能、界面選擇、操作模式等，來構建產品的功能原型。接下來，可以用草圖或者實物模型來表達有形交互的創意、用戶體驗和物理交互對象之間的關系等方面。

最后，可以進行系統的4種要素，即物理對象、數字對象、交互動作、信息關系與設計，它們是系統設計流程中極為重要的一環。前面文章通過認知理論的視角分析了有形交互學習系統要素設計，并得出了一些設計方法，來提升學習系統的可用性和用戶學習效率。在進行系統要素設計時，可以將這些設計方法作為理論參考。

四、基于認知負荷理論的有形交互產品設計實踐

以基于認知負荷理論的有形交互的設計要素方法為理論指導，結合有形交互學習系統的設計流程，針對兒童對于幾何數學的理解困難問題，文中設計了一種有形交互學習產品——“幾何積木”。“幾何積木”目的是在兒童在玩積木的過程當中，構建或提升對幾何學的基本概念、空間關系、幾何符號的認知水平。

（一）“幾何積木”設計概念

“幾何積木”中的物理對象是帶有RFID標簽的積木，作為產品的信息輸入裝置，兒童可以自由地進行積木連接、堆疊。每當用戶把積木拼成值得探索的圖形時（正方形、棱形、等腰/等邊三角形等），系統會用聲音提醒用戶看向屏幕，用動畫播放的方式顯示出幾何體的組合路徑，并且屏幕上的圖形顯示出該幾何形體的數學信息（如圖5所示）。當積木被放置在進行地毯上進行組合時，信息會被讀取并發送到電腦上，當用戶搭建出值得探索的幾何組合后，系統會做出相應的回應（聲音、圖案、動畫）展示給用戶該幾何體的數學信息。

（二）基于認知理論的有形交互要素設計

1.物理對象和數字對象設計：根據有形交互產品要素設計方法一，物理對象與現實世界中實體的形式和行為之間的信息映射保持一致，有助于減少用戶的信息負荷。因此在物理對象的設計中，選擇了木質積木作為產品的信息輸入物理對象，其操作邏輯與普通積木類似，兒童很快就能從普通積木的使用經驗中學會如何使用它。在數字對象的設計當中，使用了視覺和聽覺兩種信息分配模式。視覺信息的主要作用為顯示幾何物體空間關系以及數學概念。聽覺信息的主要作用為用戶探索提示音、正向反饋。將輸出信息以視覺和聽覺兩種不同的表征形式傳遞給用戶，來減小交互過程中用戶工作記憶的負荷。

2.信息關系設計：根據有形交互產品要素設計方法二，在設定物理對象的信息關系時，使用現實世界中的玩具積木隱喻映射到幾何積木的操作實體上，有形物體操作與現實世界中實體的形式和行為保持一致。另一種信息關系——物理對象到數字對象的映射，已經被設計和定義，用戶使用積木搭建出幾何體后，相同的數字形象出現在屏幕上。

3.交互動作設計：根據有形交互產品要素設計方法三，在動作交互設計中，調用了用戶已掌握的操作積木的技能，來操作有形交互產品。用戶的輸入動作（擺放積木）和輸出動作（屏幕信息顯示）幾乎同時進行。系統不存在錯誤交互，用戶可以隨意進行輸入。

（三）“幾何積木”產品設計特色

為了測試“幾何積木”帶給用戶的直觀感受，穩重使用了卡片反映法進行用戶體驗定性測試。共選取了目標用戶25人，測試者提供了30個寫著不同的形容詞的卡片。被測試者在觀看“幾何積木”產品的視頻交互流程后，選擇5個最符合感受的卡片，并結合產品視頻對卡片進行解釋。然后將所有用戶的卡片進行匯總，并對測試結果以詞云顯示的方式呈現出來，結果中出現次數越多的形容詞在詞云中比重越高（如圖6所示）。

為了測試“幾何積木”與現有的幾何學習產品之間的差異性，選取了較為典型的幾種現有幾何學習產品：方格圖、幾何折紙、幾何堆積模型、幾何視頻教學，來與“幾何積木”進行用戶體驗度量差異分析。由3名兒童和7位家長進行測試，測試的三種用戶體驗標準以馬斯洛心理學當中的感官層、行為層和反思層為依據進行設計。

在測試結果計算中，“方格紙”的平均總得分為15.9分。“幾何折紙”的平均總得分為19.4分。“幾何堆積模型”的平均總得分為17. 5分。“幾何視頻學習”的平均總得分為19. 7分。“幾何積木”的平均總得分為22.9。分數越高代表其綜合性體驗越好。由圖7可知，有形交互產品“幾何積木”在用戶體驗定性測試結果中，相較于同類產品而言總體較好。

傳統的幾何平面教學，實際上缺乏學習抽象概念所需的物理空間操作；實體幾何模型雖然有助于增強學習者對空間想象力的認知，卻又不能形成用戶反饋，屬于單向交互。基于圖形用戶界面的電子產品幾何教學，雖然實現了雙向交互，但仍屬于平面交互，用戶不能直觀地感受到空間關系和幾何物體變換過程。

有形交互產品“幾何積木”彌合了物理操作與數字操作之間的鴻溝，它借助人與積木模型在空間中的交互，來提升用戶的幾何空間想象力；又依靠積木模型內耦合的數字信息，來進行人與數字信息的直接互動。將搭建積木的動作設計為產品的信息輸入過程，伴隨著用戶的動作，產品使用聲音和動畫的形式進行實時輸出，實現了人與物體的雙向交互。人與產品之間的互動不需要其他的媒介與認知過程，交互過程是在空間中直接發生的，是簡單的、雙向的，實時的。

結論

在數字信息與萬物進行互聯的趨勢之下，有形交互以其直接而自然的交互方式逐漸成為人機交互領域重要的發展方向之一，對有形交互設計的方法研究是開展有形交互設計的重要前提與基礎。文中以有形交互設計方法為研究內容，以認知負荷理論為理論支持，嘗試從認知負荷理論的角度分析有形交互中的信息模式、映射關系、動作輸入方式，得出了有形交互產品四要素的設計方法；結合對有形交互設計流程的分析，總結出了有形交互產品的設計方法。

依據此方法設計了有形交互產品——“幾何積木”，并進行用戶定性測試。結果顯示該設計方法具有一定的可行性。基于認知負荷理論的有形交互設計方法探索，有助于設計出更加自然、便于理解和操作的創新性有形交互產品。

參考文獻

[1]H.Ishii，B.Ullmer. Tangible bits：towards seamless interfaces between people，bits and atoms.In：Association for Computing Machinery. Proceedings of the ACM SIGCHI Conference on HumanFactors in Computing Systems[C]. New York，1997：234–241.

[2]周曄星. 基于有形用戶界面的兒童音樂智能玩具設計研究[D].浙江大學，2017：19-20.

[3]覃京燕，計匯文. 基于TUI的產品自然交互界面設計方法研究.見：第18屆全國多媒體學術會議（NCMT2009）、第5屆全國人機交互學術會議（CHCI2009）、第5屆全國普適計算學術會議（PCC2009）論文集[C].[出版者不詳]，2009：286-290.

[4]Ullmer B，Ishii H. Emerging frameworks for tangible user interfaces[J]. IBM systems journal，2000，39（3.4）：915-931.

[5]Hiroshi Ishii. Tangible bits：beyond pixels. In：Proceedings of the 2nd international conferenceon Tangible and embedded interaction（TEI '08）[C]. Association for Computing Machinery，NewYork，2008：15-25.

[6]祁玉娟，熊才平.認知負荷理論在多媒體軟件設計中的應用分析[J].遠程教育雜志，2009，17（03）：51-53.

[7]唐劍嵐，周瑩.認知負荷理論及其研究的進展與思考[J].廣西師范大學學報（哲學社會科學版），2008（02）：75-83.

[8]羅曉云，謝慶森.基于目標導向設計理論減輕產品認知負荷的探究[J].設計，2015（16）：119-120.

[9]張凱，劉舒楊.基于認知負荷調節的交互規則構建策略研究[J].設計，2016（01）：57-59.

[10]Antle A N，Wise A F. Getting down to details：Using theories of cognition and learning toinform tangible user interface design[J]. Interacting with Computers，2013，25（1）：1-20.