基于具身認知的博物館虛擬展陳交互設計研究

王妍 朱俐徽 鞏新龍

關鍵詞：虛擬展陳 具身認知 手勢交互 博物館 交互設計

引言

博物館擔負著傳承人類文明和傳播人類文化的重要職責，并且作為我國文化事業的重要組成部分而備受重視。新興的博物館熱也要求博物館進行質的改變，其中極為重要的一點是“讓博物館里的文物活起來”。目前，許多博物館與百度、騰訊等互聯網企業開展各種形式的合作，博物館展陳與互聯網的結合也日趨緊密[1]，“互聯網+博物館”的形式也促進了博物館虛擬展陳技術的發展。虛擬的數字化展陳方式具有不受時空與數量限制、富于趣味性與體驗感、兼顧展品的保護和利用的優勢[2]，因此，本文針對博物館虛擬展陳交互設計進行研究，利用具身認知理論，總結設計思路，開展設計實踐，以期對博物館展陳交互設計提出新思考。

一、博物館展品虛擬展陳交互設計現狀分析

根據虛擬博物館跨國網絡的定義來看，虛擬博物館是一種基于博物館本身的特性，通過提高內容的豐富性、互動性和個性化來補充或增強博物館體驗[3]的數字化實體。可訪問、收藏、交流、保存、文化、教育、數字創作、遺產、解釋、互動、研究這十一個關鍵詞描述了虛擬博物館的本質。博物館展品虛擬展陳為其中的一個部分，其是指將博物館展品、場景等展示對象進行數字化呈現，在計算機生成的虛擬環境中搭建重組，使得觀者能夠借助多種技術實現與其多樣化的交互。和實體的博物館展品展陳方式相比，虛擬展陳的形式有著更多的靈活性、交互性。我國許多博物館也構建了自身的虛擬展館。比如全景故宮、數字敦煌、中國國家博物館等。

當前，博物館展品的虛擬展陳主要有兩種，一是基于移動端的虛擬展陳應用，二是基于PC端的虛擬展陳網頁網站。通過研究數個著名博物館的數字展館，發現網頁上的博物館展品虛擬展陳大多以博物館官方網站為平臺，呈現博物館展覽信息和展品信息，附有博物館的全景展示。大多數博物館在網頁上的展品虛擬展陳與博物館的全景展示是相互結合的，觀者在全景圖探訪博物館的過程中可以看到，相應展品的介紹。而在移動端的博物館展示則主要是與實體游覽相結合，更注重標注其位置信息而并非其具體環境。本文選取了現在博物館展品虛擬展陳交互設計的代表性案例進行分析，見表1。

綜合以上案例可見，目前博物館展品虛擬展陳往往是通過鍵鼠和顯示器進行輸入輸出，交互方式通常是點擊，然后顯示詳情，內容多以文字、圖片的形式呈現，有一部分附有音頻講解，缺少與觀者的多通道多樣化趣味性互動。有的將展品放置于場景中呈現，有的單純展示展品，即使是放置于場景中的，往往也只是浮于形式，難以在觀者頭腦中構筑場景和展品結合的印象。將展品展陳于游客面前，不僅是要把展品真實還原，還允許游客能夠“動手”把玩，滿足觀覽者一探究竟的愿望，以及自然地與之互動的體驗[4]；同時應該把展品背后的故事呈現出來，讓游客身臨其境，調動游客的全部感官，如同置身于展品所在的時代，使觀看展品的過程真正有血有肉，這樣才能提高用戶體驗，并使其真正看懂展品。

二、基于具身認知的博物館虛擬展陳交互設計思路

（一）具身認知理論

傳統認知理論把認知過程看作是計算的過程，符號輸入產生符號編碼輸出，按照這種觀點，知覺和運動系統與中心認知過程無關，只是外圍輸入輸出設備，從而將認知過程中的身與心分開了[5]。具身認知不認同這種離身的認知理論，認為身體在認識中具有重要作用，心靈必須在和與世界直接互動的肉體的關系中理解，人類的認知并非集中而抽象的，而是植根于感覺運動加工的。具身認知把認知過程看作是一個涉及主體精神、身體、環境及其關系的系統運作過程，強調其系統性、各元素的交互性和交互的直接性即具身性，這個感覺的身體植根于更廣泛和深刻的生物、心理和文化背景中，是作為嵌入于世界之中的身體而進行認識的，因此認知又是嵌入的。具身認知的另外一個核心觀點是，在實際行動和體驗中涉及的自身行動、情緒或感覺的表征的約束，也適用于觀察他人執行給定行動或體驗給定情緒或感覺的相應表征，這些約束非常相似，因為它們有一個共同的身體格式[6]。也就是說，在認知的過程中，人們會將所觀察到的行動、情感等轉化為從自身出發進行的行動或情感，從而進行對他人的模擬。具身認知的過程如圖1所示。綜上，可以從具身認知的理論出發，概括認知的特征為具身的、擬仿的、嵌入的。具身認知的這三個特征，啟發了博物館展品虛擬展陳交互設計的思路。

（二）基于具身認知的博物館虛擬展陳交互設計思路

1.認知是具身的——自然式交互方式

認知是具身的，這也就意味著在虛擬展陳交互設計時要更為適應人類身體的物理特征與結構，與人預期情境下已有的思維模型相符合，貼近人類自然的交互方式。當下人們可以依托各種可穿戴設備、手持設備、桌面設備、虛擬現實等技術，將具身認知理論應用于人機交互中，進行具身交互[7]。現在文化遺產的保護和傳播中不斷使用到的沉浸式技術就是注重了身體的作用，通過各種真實和數字內容的組合提供感官體驗[8]，使得人們可以使用自然直覺的方式交互，獲得良好的體驗。對于博物館展品虛擬展陳來說，就可以利用現在不斷發展的體感交互技術，使得觀者與展品的交互更為自然直接。比表1 博物館展品虛擬展陳交互設計的案例分析如說不同于現在的鍵鼠輸入，而是使用手勢交互，讓觀者在查看展品時，物理空間的手勢活動與虛擬空間的操作一致，使得觀者可以像觀察真實世界中的物體一樣觀察虛擬展陳中的展品并與之交互。在設計上要使得用戶與展品之間有直接的互動，包括視、聽、觸、動等多維度多通道的互動。在視覺表現上要鮮明，突出要展示的部分；在聽覺表現上，根據具體情況添加背景音樂、聲音講解和相應音效等，以達到提示引導和氛圍營造的目的，從聽覺通道給予觀者刺激；在觸覺表現上，可以使用戶能夠全方位觀察展品的結構并“拿起”展品進行把玩，在設備條件允許的情況下，也可以通過手柄等設備，在用戶把玩的同時給予觸覺上的刺激。最為重要的是，對于交互手勢的設計既要基于人類的自然習慣，同時也要考慮到人機交互的經驗和習慣，如果貿然進行“創新”，反而會增加觀者的學習成本，造成不便。所以在手勢等的設計上，要對于當前交互要完成的任務進行分析，基于人的行為來定義，使得動作簡單易用，便于記憶，實用且能給觀者帶來愉悅的體驗。

2.認知是擬仿的——隱喻式指導操作

認知是擬仿的，我們在感知到一個物體以后，在內心會進行明確的行為模擬，用于調節運動、社交和認知過程[9]。人們認識事物，會在心中模擬與其的互動，并且這個模擬會受到事物本身、環境、以及自身經驗的影響。基于此，在博物館虛擬展陳的交互設計中，要利用隱喻式的設計。隱喻設計是使用象征等手法，利用一個物體使用戶理解另一個物體，從而使得新的復雜的概念簡明地呈現出來的設計方法。在博物館虛擬展陳交互設計中，需要通過營造環境、搭建線索的方式，使得周圍環境以及展品本身作為提示，引導觀者如何操作，達到觀者同展品共融共創的效果[10]。在搭建整個展廳時要考慮到通過環境的使得用戶進入狀態，使用燈光、指示標志等為用戶提供行動的線索。在虛擬的環境中，燈光的使用更加靈活自由，可以通過改變燈光的亮度強調可交互的物體，調整燈光的顏色從而調節氛圍。而指示標志除了實體博物館中使用的固定標志外，在虛擬展館中可以是流動的，隨著用戶的位置變化而變化的。除了游覽的位置的引導外，還需要通過隱喻式的設計指導用戶與展品的具體交互，比如放置明確的操作說明，想要觀者做捏合的動作，就放置一個起說明作用的手做捏合的動作，使觀者模仿這個動作。或者有一個展品需要觀者將其“拿”起來，那么就要使其視覺上突顯，強調其弧度，擬仿出“持握”的感覺，從而自然地推動觀者與虛擬展品的交互。由于固有經驗的影響，某些功能性的展品本身就會引起觀者模仿的行為，比如人們看到照相機就會在心中模擬拍照的動作，這時對于虛擬展陳交互來說就需要考慮到人們的這種預期，設計相應的交互功能。這種隱喻式的設計對于自然科技類博物館展陳尤為重要，自然科技類博物館展陳與其他博物館的不同之處在于其“實驗概念”，重點在于展品的原理，而要使得游客明白原理，最為簡易與直接的方式就是讓游客親自動手對展品進行操作，跟隨引導，將展品拆裝或者復原，從自己的身體經驗中構建起對展品的認知。除此之外，雖然虛擬展陳本身對于現實博物館逼真的模仿，但是UI界面上還是涉及到對于抽象符號的設計，所以可以使用擬物的方法促進用戶的操作理解，比如將“定位”的功能以小地圖的形式呈現。

3.認知是嵌入的——情境式內容呈現

認知是嵌入的，認知的身體是物理環境、自然環境、文化環境中的身體，也就是說，認知是層層嵌套的，局部與整體的情境都會對認知產生影響。具身交互強調的是人機交互中的意義創造與有形習慣和社會習慣的結合，人們的身體先天能力、身體技能和文化習慣決定了人們如何理解世界，如何感知和行動。對于博物館展品虛擬展陳來說，認識的嵌入特征就要求將展陳內容以一種情境化的而非孤立的方式呈現。這里可以分成兩個部分，一是展館漫游部分，這時觀者觀覽的對象是整個展館，展館本身就是一個情境，是展品展陳的一部分，展品要放在這個環境中理解，所以展館的設計上就要考慮到整體性，把整個展館看成是一個有情節的故事，通過對與主題相符和的場景的構建和相應風格、色彩的UI界面的運用喚起用戶的代入感與沉浸感，從而促進用戶的投入與參與。而進入展品瀏覽部分時，最主要的部分就變成了展品的信息，這時如果要將展品以情境化的方式呈現，那就并不只是放置于博物館這個情境，而是能夠表現其文化背景的情境之中，從而增加呈現內容的深度，也避免使觀者的注意力偏移。展品不必設置于同實體博物館一樣的展柜展架，而可以切實地將展品置于其真正的使用情境的模擬環境之中。虛擬展陳環境本身的設計將用戶帶入到展陳的主題之中，而每一個展品的細節呈現上又需要把用戶帶入到一個更具體的觀賞使用操作情境之中，層層嵌套，逐漸深入地帶給用戶多維度的沉浸體驗。在歷史類博物館的虛擬展陳中這一點非常重要，因為要使得文物活起來就是要充分展示出其文化歷史的意義，講出其背后的故事，并建立起二者的聯系，虛擬展館不受時空限制的優勢在這種情況下能夠得到最大的發揮，使觀者產生身臨其境的感覺。

三、風云衛星模型虛擬展陳交互設計實踐

確定了自然式、隱喻式、情境式的設計思路以后，以風云衛星模擬虛擬展陳為例，進行基于Leap Motion的博物館展品虛擬展陳交互設計的實踐。Leap Motion是現在常用的手勢交互設備之一，同其他設備相比，Leap Motion是裸手識別，不需要穿戴設備或者持握手柄，更接近自然交互方式。其對于手部的運動軌跡數據信息的檢測也更為精確，適宜用于博物館展品虛擬展陳。本文進行的風云衛星模型虛擬展陳交互設計實踐屬于對于自然科技類博物館虛擬展陳的實踐，重點在模擬實體博物館內無法創造的情境，營造氛圍，復原場景，使觀覽者在實際的操作過程中理解科學原理。與設計思路對應，進行自然式交互手勢、隱喻式交互功能和情境式交互場景的設計。

（一）自然式交互方式：交互手勢設計

根據自然式的設計思路進行交互手勢的設計。使用Leap Motion裸手交互比起鍵鼠操作來說更符合人在自然狀態下的交互模式，但是裸手手勢的設計也一定要符合人們的習慣與經驗。在風云衛星模型虛擬展陳的設計實踐中設計的手勢主要有懸停、捏取和翻轉這三個狀態，三個手勢都是常用且簡單的手勢。懸停指的是左手射線指向位置為所選擇的物體，若能夠進行交互，懸停2s視為確定選擇，則進入相應的功能，主要用于對界面的交互和位置的移動。捏取指的是，當食指和拇指距離小于一定的數值時視為捏取，主要用于和三維模型的直接互動，交互手勢操作如圖2所示。而翻轉指的是右手手心朝向攝像機，此時退出系統的按鈕彈出，用于展示退出系統按鈕。

移動有漫游和瞬移兩個方式。當觀者在虛擬場館中，但還未進入任何一展品的具體交互模塊中時，可以通過由左手手掌發出的射線選擇虛擬展館中預設的位置點，手在相應位置停滯2s視為確定選擇，之后虛擬手和攝像機瞬移到所選擇的位置，實現用戶位置及相跟隨的攝像機的移動。另一個方法是漫游，觀者可以通過左手的搖晃來改變方向，右手握拳則前進，以這種手勢控制的方式實現在虛擬展館中的漫游。

（二）隱喻式指導操作：交互功能設計

根據隱喻式的設計思路進行交互功能的設計。由于展品對象是風云衛星模型，所以最重要的是使得觀覽者能夠認識其結構與功能。所以除了模型的圖文視頻介紹以外，其內部的結構展示也是不可缺少的。整體設計中，進入展品展示模塊之后就涉及到大部分的交互功能。首先是模型展示，進入此功能后界面上的三維模型會自動從一邊移動到中間，然后用戶可以對其進行旋轉、拖拽的操作，具體的交互方式為捏取。用手在適當位置做捏取動作，進行拖拽或者搖晃，模型則相應地進行旋轉或者移動。展品的介紹分散在兩個事件中，一是展品介紹，二是部件介紹。展品介紹為與模型相對應的圖文視頻信息。而在使用懸停的手勢進入部件介紹的功能后，會先播放一段動畫，隨后可以通過懸停的方式選擇場景中三維模型的不同部件，所選擇的部件會變成紅色從而告知用戶所選擇的部件是哪一個，確定選擇后呈現相應部件的模型和文字信息，之后可以選擇回到上一步查看另外的部件。用戶覺得自己查看完畢，可以選擇下一步進入到小測試的部分。進入這個功能之后場景中會出現題目及選項，而平臺上會有部件的模型，虛擬手放置于模型位置處，呈捏取狀態，則可實現對模型的拾取，之后移動到相應的選項處則視為選擇。測試之后則設置有一個模型拼裝互動游戲，用戶用手抓取桌面上的不同的組件擺放于相應位置，全部擺放完成后即完成模型拼裝，用戶能夠在這個動手拼裝的過程中更深刻地了解模型的結構。

（三）情境式內容呈現：交互場景設計

在場景搭建上分為兩個部分。一個是展館的搭建。因為本文的設計實踐并沒有采用現實真正博物館作為原型，所以展館上使用的就是一個風格較為現代的且具有科技感的普通展示場景。置入Unity后將展品模型放入展示臺對應的方位并調整燈光。另一個部分就是展品展示部分的場景。因為展品是風云系列衛星模型，所以將其放置于一個太空的場景中，使得觀者更加具有代入感。在進入模型拼裝這個功能并完成后，模型升入背景的太空中。將觀者身體上的虛擬感知浸入一個對應的虛擬環境中，從而更深層次地傳達展品地信息。

（四）設計評估

使用焦點小組訪談法邀請10人參與用戶體驗評估測試，主要評估與驗證此虛擬展陳交互設計的可用性及知識傳達的效果。首先由主持人詢問得到各受訪者的背景信息，包括對虛擬博物館的了解程度，對風云衛星的了解程度以及對體感互動設備的接觸與使用情況。結果顯示大部分的受訪者都知道虛擬博物館的存在但沒有刻意瀏覽，10名受訪者都接觸過體感互動設備，在對風云衛星的了解程度上，大部分人知道，但沒有深入了解。隨后主持人組織受訪者對風云衛星模型虛擬展陳進行體驗，體驗過后，10位受訪者分別對手勢交互方式的易用性、整體設計的趣味性和創新性、虛擬環境的效果和對風云衛星知識的認識程度進行評定。如圖3結果顯示，10名用戶均認為使用手勢交互的方式參觀虛擬展陳新穎獨特，具有趣味性，8名用戶對于手勢交互的方式感到滿意，大部分用戶認為動手游覽虛擬展陳后更有效地獲取了風云衛星相關知識，結果證明了設計的有效性。體驗過后用戶也提出了流暢性欠缺、場景不夠豐富的問題，有待優化與改進。

結論

數字技術和實體的綜合運用代表著博物館發展的趨勢，虛擬展陳的形式將會越來越普及，其內容將會越來越豐富。博物館的虛擬展陳是對實體展陳的有力補充，對于博物館展品的保護和博物館展品知識的傳播都具有重大的意義。虛擬博物館使博物館展陳交互方式更加多元化，人們可以不受時空的限制，與展品進行自由自然的互動。元宇宙時代的來臨意味著人們生活的現實世界與虛擬的高度融合，在這種情況下，自然的、符合人們自然認知方式的人機交互方式是大勢所趨，現階段的虛擬展陳雖然仍然以鍵鼠輸入為主，但是隨著虛擬展陳交互的發展，自然的具身交互方式會越來越普及，人們可以像“拿起”手邊的物體一樣輕易地與博物館中的藏品交互。這樣，展品能夠展現出其蘊含的豐富多彩的文明的魅力，真正“活起來”，從而更有效地傳播文明與文化。