圖博檔館藏實體多模交互式呈現的可用性評估

項 欣，祁彬斌，朱學芳

0 引言

圖書館、博物館和檔案館(以下簡稱“圖博檔機構”)館藏資源豐富，如何從中進行知識發現并向用戶提供更好的知識服務，是當今圖博檔機構面臨的挑戰，而智慧時代的來臨意味著該問題需要從更深的層次及更高的維度進行考量。首先，“智慧數據”概念的產生將數據的范疇從結構化拓展到無結構化，能夠表現實體信息并適于交流、闡釋、處理的表現形式都應被視為數據[1]。圖博檔機構保存著圖像、文物、雕刻等不可或缺的館藏實體。這些實體所蘊含的文化寓意、時空場景等深度信息，僅僅通過現有文字、圖片、實體呈現等視覺單模態方式并不能完全展現，資源價值的體現需要更加智慧的數據呈現方式。其次，智慧圖書館、智慧博物館概念的提出促使圖博檔機構重新審視資源服務方式，以人為本的智慧服務應在與用戶的交互中感知需求，構建個性化的知識獲取環境[2]。對于館藏實體，圖博檔機構的現有服務模式往往是單向度的，即用戶通過觀展、瀏覽等臨場(在線)的方式獲得資源(電子資源)，而作為資源的呈現方，機構卻無法了解用戶的行為特征和認知過程。因此，智慧服務的提供期待機構與用戶交互方式的改變。

人機交互領域的研究為相關機構帶來了可借鑒的技術框架，以多模交互為特點的人機交互技術能夠彌補傳統方式單模態、單方向的缺點，為館藏實體帶來全新的呈現方式。多模交互通過視覺、聽覺、嗅覺和觸覺等多個模態傳遞信息，高度模擬了人類與客觀世界的交互過程，是虛擬/增強現實的重要實現技術之一[3]。以其中的觸覺交互為例，通過對文物實體的觸覺信息進行采集、分析和建模，用戶能夠在虛擬三維空間內“觸摸”物體，感知物體表面的紋理和材質等實體特征。同時，交互過程中用戶的運動及施力數據會被記錄，進而可以分析其行為特征甚至情感狀態。顯然，感知模態的增加使得實體呈現出了更加深度的信息，而基于觸覺的力反饋則讓用戶由被動接收信息變為主動感知。因此，多模交互能夠給用戶帶來真實、自然的交互體驗。此外，在復雜任務環境下，多模交互還能夠均衡各感觀模態的工作負荷[4]，從而提高交互效率，增強交互效用。

作為人機交互領域前沿技術，多模交互在圖博檔領域的應用潛力已逐漸凸顯。國外已有博物館藏品虛擬呈現的應用[5]以及應用效果的評測[6]，國內還未見此領域的相關研究。因此，探索館藏實體呈現領域的多模交互應用，研究交互過程中的用戶行為，體現其相對于傳統交互方式的比較優勢，將有助于其交互界面的設計與優化，更好地滿足圖博檔機構研究需求。本文采用實驗研究方法對基于觸覺的多模交互式呈現系統進行可用性評估，并與傳統交互系統比較，結合主客觀數據評價其效用、效率及用戶滿意度，并為多模交互系統可用性的改進提供建議。

1 相關研究述評

1.1 多模交互應用研究

圖書館、博物館及相關機構的館藏資源具有較高的數字化水平，是開展多模交互應用的首選領域。就現狀而言，國內研究僅涉及視覺模態的單向呈現[7-8]，而國外研究則更加深入，結合虛擬現實等技術，采用多模態方式，開展了一系列觸覺交互的應用嘗試。在美國南加州大學互動藝術館項目中，McLaughlin等[9]提出了一套基于三維模型的圖像采集、力反饋及多人實時交互的方法，使得多名研究人員可以通過在線合作對虛擬館藏進行探索，在提升用戶體驗的同時，為多機構在線協作研究提供一種基礎環境；Bergamasco等[10]針對于實體博物館應用場景，描述了“The MuseumofPureForm”概念下多模交互的兩種實現架構。該技術被應用于歐洲多個展館，使用戶在真實觀展的同時可以虛擬觸摸，解決了珍貴實體藏品展示與保護的矛盾，進一步挖掘了現有館藏的文化價值。

1.2 多模交互可用性研究

可用性是多學科交叉概念，一直受到數字圖書館、人機交互、信息系統等領域學者的關注，研究內容各有特色[11]。人機交互中典型的可用性通常被定義為特定用戶界面的效力、效率和用戶滿意度[12]。這些可用性的指標共享著一組相似的屬性，但是在面向特定對象時，仍然需要引進一些針對性的指標來完善評估體系。在此背景下，Makri等[13]將可用性評估與用戶信息行為模型進行關聯，通過實證研究來使指標體系適應具體領域，為可用性評估給出一種可行的方法理論。

在可用性評價研究方面，可用性測試得到了較多關注[14]。該方法遵循以用戶為中心的原則，獲取用戶的使用反饋，以便改進產品設計。在測試過程中，該方法應用觀察[15]、發聲思考[16]和問卷[17]等技術收集定量數據，具有很強的可操作性。部分研究[18]在實驗中模擬用戶執行真實任務的過程，通過任務完成率和完成時間測量有效性與效率，通過問卷獲得用戶滿意度，結合主觀與客觀數據綜合評價可用性，評價結果較為全面。作為前沿性技術，多模交互可用性也受到眾多關注，現有研究主要來自國外。Jeong等[19]基于地理信息呈現系統研究了不同交互方式對用戶交互績效帶來的影響，將感知模態、任務復雜度等4種可能的影響因素納入實驗設計，并通過用戶任務表現比較不同因素組合間的差異。但是，此研究在用戶滿意度測量部分缺少成熟量表的支撐，滿意度評價較為簡略。Bateman等[20]針對視力障礙學生的需求對觸摸屏開展了可用性測試。除了對準確度和效率等常規指標的評價以外，研究還基于測試結果對用戶觸覺行為進行了分析，發現設計在觸摸屏邊緣的交互元件能提高任務效率，很好地促進了被試交互系統的可用性改進。

2 研究方法

在虛擬呈現的使用情境下，本研究通過實驗方法，引導被試者在不同交互系統中完成預先設定的感知任務，利用觀察法、問卷法和訪談法獲取任務過程中的主客觀數據，在量化的指標體系下對兩種交互系統進行可用性評估及對比。

2.1 測量指標與量表設計

本研究通過有效性、效率、用戶滿意度和易學性四個維度來測量交互式呈現的可用性。有效性指交互方式應能準確呈現藏品的屬性，有效完成交互過程；效率指交互方式應保證用戶的交互效率，從時間及難度上降低用戶的交互成本；用戶滿意度反映了用戶主觀層面對交互方式的偏好；此外，考慮到多模交互的新穎性，用戶需要花費一定時間來適應操作，本研究還考察了交互方式的易學性。具體指標體系設計如表1所示。用戶滿意度量表參考系統滿意度量表(SUS)[21]設計，采取5點李克特量表測量，并根據本研究需求增加了部分項目。

2.2 實驗設計

2.2.1 實驗環境

本研究分別選取了兩種交互系統進行實驗。多模交互系統基于美國斯坦福大學CHAI3D技術框架構建，被試者通過多模交互設備與顯示器中虛擬三維場景互動；傳統交互系統基于Web3D技術框架構建，被試者通過鼠標與顯示器中虛擬三維場景互動。兩系統配置在相同的臺式電腦上，在不易受到干擾的場所完成實驗。實驗過程通過屏幕錄制軟件進行記錄，以便后期進行分析。

表1 多模交互可用性評估指標體系

2.2.2 實驗任務

虛擬呈現是館藏實體的數字化，通過對形狀、色彩、材質、紋理等屬性[22]的記錄與再現，以求真實還原藏品的人機交互過程。根據上述使用情境，本實驗通過啟發式專家討論設計了4個虛擬呈現任務，考慮到交互系統的多種呈現功能，每個任務只針對性測量一種可用性指標。在每個任務結束后，向被試者提出一個針對性問題，根據回答正確與否來判斷交互系統的某一種功能是否有效。同時，記錄任務完成時間用于測量交互系統效率。此外，考慮到多模交互系統較為新穎，本研究在呈現任務前增加了學習任務，用于評價系統的易學性。具體任務內容如下：

任務0：學習任務。被試者首先觀摩實驗人員對虛擬藏品的觸碰、移動和旋轉等交互操作演示，然后進行練習直至能夠熟練完成相同操作為止。

任務1：形狀呈現任務。呈現一個虛擬雕塑藏品，要求被試者改變藏品的位置與角度，感知并回答虛擬藏品的外觀形狀。

任務2：色彩呈現任務。呈現一個虛擬繪畫藏品，要求被試者從不同視角觀察，感知并回答虛擬藏品的色彩。

任務3：相對大小呈現任務。呈現多個大小不一的虛擬藏品，要求被試者觀察或移動藏品，感知并回答指定兩個虛擬藏品間的大小關系。

任務4：紋理(溝紋)呈現任務。呈現多個紋理不同(平滑或粗糙)的虛擬藏品，要求被試者通過觀察或觸碰表面，感知并指出紋理最粗糙的虛擬藏品。

實驗采用被試間設計方式進行。所有被試者被分為兩個小組，每小組完成一種交互系統的可用性測試。為了避免學習效應對實驗結果造成的影響，虛擬呈現任務按照4×4拉丁方設計編排為4種順序。本研究在正式實驗前進行了前測，針對出現的問題修改相關任務及問卷。

2.2.3 實驗對象

根據任務需求，本次實驗在線下招募40名被試者，年齡范圍為22～39歲，平均年齡26.05歲，男女比例分別47.5%和52.5%。通過實驗前調查與測試，被試者的視覺、觸覺等感知能力正常，且無實驗系統的使用經驗。實驗按照完全隨機的方式將被試者平均分配到兩個組中，同時一并確定任務順序。具體分組情況如表2所示。

表2 實驗分組及任務順序

2.2.4 實驗流程

整個實驗流程由研究人員引導被試者完成。實驗過程中，實驗人員只作必要說明，并提示被試者進入任務界面，任務中不提供任何幫助。具體步驟如下：向被試者介紹本次實驗的目的、步驟、注意事項等，聲明實驗隱私保護政策，并向用戶提示實驗大致耗時，保證被試者盡量以自然狀態完成實驗；引導被試者完成基本信息問卷填寫；向被試者演示交互系統操作，引導被試者進入系統自行學習操作，以能夠復現所學操作為標準終止學習；依次完成4個呈現任務，在每個任務后提示被試者回答問題；所有任務完成后，提示被試者完成滿意度問卷，并進行訪談。

3 實驗結果

實驗結束后，本研究收集了任務正確完成的次數、任務完成時間和滿意度評價等數據。其中，任務完成時間通過研究人員觀看任務過程的屏幕錄像回放后計算得出。本研究將所有數據整理后按交互方式分為兩組，并使用SPSS22軟件分析組間數據差異，在對應指標上比較兩種交互方式的可用性。

3.1 有效性

根據可用性指標體系，有效性可以從任務完成情況來測量。本研究通過分類變量交叉表卡方檢驗，來比較兩組間4個任務的正確完成次數是否有顯著差異。

表3 不同交互方式任務完成次數統計分析

由表3可知，兩種交互方式在相對大小與紋理(溝紋)呈現兩個任務正確完成次數上的檢驗顯著性分別為0.000、0.011，均小于0.05，說明在這兩種功能上，不同交互方式間存在顯著差異。多模交互對展品大小和紋理呈現的有效性明顯高于傳統交互方式。而在形狀呈現任務中，檢驗顯著性表明兩種交互方式間不存在顯著差異，傳統交互方式表現略優。兩種交互方式在色彩呈現任務中的表現完全一致，不存在差異。有效性分析結果真實地反映了實驗中的情況，在虛擬呈現時，視覺提供的信息模態較為單一，不能幫助被試者有效地感知到展品的某些屬性。而觸覺使得被試者的感知能力得到增強。交互效果明顯提升。

3.2 效率與易學性

在對兩個實驗組分別進行的K-S檢驗中，效率與易學性指標數據均不滿足正態分布。因此，本研究使用非參數方法Mann-WhitneyU檢驗來比較兩組數據。

表4 不同交互方式任務完成時間統計分析

從表4中的檢驗結果中可以看出，兩組學習任務的完成時間存在顯著的差異性。相較使用鼠標操作的傳統交互任務，被試者需要更長時間的學習才能掌握多模交互操作。在效率指標的比較中，出現了與有效性評估相似的結果。針對相對大小及紋理呈現任務的完成時間，兩組間均體現出顯著性差異。在實驗中具體表現為多模交互組完成對應任務的時間更長。而針對形狀及色彩呈現任務，兩組任務效率指標間無明顯差異。

3.3 用戶滿意度

用戶滿意度評價通過比較兩組量表對應問項的評分，從而分析被試者主觀層面上對不同交互系統可用性的評價差異。本研究在量表中設置了反向問題，因此，剔除無效數據后，共有39份個案數據進入分析環節。分析結果的統計顯著性來自于Mann-WhitneyU檢驗。

由表5中的檢驗結果可知，感知可用維度下的兩個指標都具有顯著性差異，尤其以新穎性上的差異最為明顯?？梢姡嗄＝换ゴ_實帶來了更加優異的呈現效果與用戶體驗。在感知效率性維度下，多模交互的操作體驗在流暢感和無疲勞感上顯著優于傳統交互，在自然感體驗上與后者持平。在感知易學性維度下，兩種交互方式間不存在顯著差異，都較為容易學習?？傮w滿意度的數據顯示，用戶使用意愿顯著偏向于多模交互方式。

表5 不同交互方式用戶滿意度統計分析

4 可用性分析與建議

通過對實驗數據的統計分析，可知兩種不同的交互方式在可用性指標上的評價結果。從交互效果、交互效率、交互易學性及用戶滿意度四個維度來看，多模交互在呈現效果上明顯優于傳統交互方式，用戶的主觀體驗也較為滿意，而在任務執行效率及易學習性上不及后者。單個指標評價結果的對比能夠體現多模交互方式的一些基本特性，但是對特性間的關系以及形成原因的解釋能力有限，難以形成可用性改進建議。因此，本研究需要結合客觀實驗數據、主觀量表數據及實驗后訪談內容，挖掘數據間關聯，從任務層面、評價方法層面綜合考慮，進一步開展可用性分析，并為未來的研究與實踐提供建議。

4.1 任務差異對可用性評價的影響

在所有呈現任務中，多模交互方式在相對大小和紋理呈現任務(大小-紋理任務)中正確完成任務的次數更多，完成時間也更長，與傳統交互方式的評價結果相比有顯著差異。而在形狀與色彩呈現任務(形狀-色彩任務)中，兩種交互方式的評價結果相似。本研究認為任務的差異在一定程度上影響了可用性評價結果。

一方面，從任務結構上看，兩組任務的復雜程度有別。形狀主要指單一展品的外形輪廓，而色彩是展品的某一局部的概括特征；相比之下，相對大小描述了多個展品間的外觀差異，紋理則是一種細節信息。從一到多，由概括到細節，大小-紋理任務復雜程度高于形狀-色彩任務；另一方面，從用戶與任務交互程度上看，大小-紋理任務屬于互動類任務，而形狀-色彩任務屬于非互動任務。當用戶面對相對大小比較任務時，用戶所要感知的展品處于(虛擬)三維空間中，視差的存在使得單純通過視覺比較相對大小變得困難。而虛擬展品的放大倍數有限，也讓單一的視覺觀察受到限制，難以完成對紋理的感知；相比之下，形狀-色彩任務所需的感知模態較為單一。色彩感知基本通過單一視覺模態進行，形狀感知雖然可以依賴視覺或觸覺模態完成，但用戶通常會傾向于使用效率更高的視覺模態。因此，大小-紋理任務需要用戶使用更豐富的感知模態與任務進行互動。

較傳統方式而言，本研究中多模交互系統擁有視覺和觸覺兩種模態的處理能力。用戶可以在虛擬呈現任務中以多模態方式感知：既有視覺感知能力，能夠應對形狀-色彩組的簡單任務需求；在面對大小-紋理組的復雜任務時，更能發揮其多模感知特長。具體而言，在多模交互系統中可以在單一場景內放置多個展品，并允許用戶進行展品的移動、旋轉等交互操作，從而可以直接比較展品相對大??；而且利用多模模態雙向傳遞信息的特性，用戶可以與虛擬展品表面接觸，施加力量摩擦、按壓并接收反饋，從而感知展品紋理結構。所以，在面對前述兩組任務時，多模交互在較復雜的互動類任務上體現了更好的呈現效果，有效性指標評價較高。同時，也應注意到互動類任務傳遞了更多的信息，用戶需要在視覺和觸覺兩個模態上進行感知，從而延長了任務完成時間。因而，在效率指標上，多模交互的評價結果不及傳統交互方式。基于同樣的原因，這種差距也體現在兩種交互方式的學習時間上。

4.2 評價方法對可用性評價的影響

從任務完成次數與完成時間等客觀數據的對比上，本研究解釋了任務難度差異對可用性評價的影響，在引入主觀量表數據后，進一步豐富上述解釋。

來自量表的用戶滿意度分為3個部分，感知有效性、感知效率性和感知易學性。感知有效性維度的用戶評分直接支持了呈現任務的有效性評價。具體體現為，用戶對多模交互方式真實性和新穎性的評分較高。與之對應，用戶使用多模交互正確完成呈現任務的次數也較多，主觀與客觀數據對呈現有效性的評價保持一致。

與感知有效性維度不同的是，感知效率性和感知易學性維度的用戶評分則與對應的任務完成效率指標發生了背離。兩種交互方式在易學性和操作自然性上獲得的主觀評分并無顯著差異，多模交互方式在操作流暢指標上獲得的評分顯著高于傳統交互。但是在學習和完成任務環節，多模交互則耗費了更多的時間，如在典型的操作流暢指標下，多模交互和傳統交互的主觀評分均值分別為4.68與4.25，但紋理呈現任務完成時間均值分別為50.40與8.80，前后兩種對比的差異顯著，表明主觀與客觀數據對呈現效率和易學性的評價出現了矛盾。

對此，本研究嘗試從不同視角給出解釋。從人機交互的根本目標出發，交互界面應以最小的輸入實現最大的輸出[23]。這就意味著在保證交互功能的實現的前提下，應最大限度的減少用戶在交互過程中耗費的時間、精力等成本。但是，如果從用戶角度來考慮，交互功能的實現僅僅是人機交互的基本維度之一。用戶需要在任務、信息等更高維度上交互以獲得最佳體驗[24]。實際上，在諸如心流理論[25]的描述中，用戶滿意度可能會隨著交互時間的增加而極大化。反之，較短的交互時間將無法產生滿意效果，交互效率也無從談起?？梢?，以時間作為交互效率指標，僅僅適用于基本交互功能的評價，并不能簡單沿用到高級交互的評價中。

虛擬呈現的目的之一是向用戶營造真實感，是一種需要用戶持續完成任務贏得交互體驗的過程。鑒于此，本研究選擇了實驗過程中較為專注的用戶進行了訪談，要求其回憶任務完成時間。從用戶的反饋來看，大多數人對任務完成時間的估計都少于實際完成時間。這種時間感的喪失意味著實驗過程中用戶心流體驗存在的可能，間接解釋了上文主客觀評價矛盾的問題。因此，本研究認為交互維度的高低決定了交互評價方法的選擇，任務完成時間適合用于評價界面功能效率等低維度交互指標，而主觀評價更多地反映了用戶體驗等高維度交互特征。

4.3 對多模交互研究及應用的建議

本研究繼承了傳統可用性研究的框架，但是在虛擬呈現的使用情境下，更應該關注用戶的沉浸、愉悅等高層次交互體驗，以期獲得更好的交互效果。因此，在對多模交互效果的后續評價中，一方面應注意經典可用性框架的使用場合，有選擇地應用在基本交互功能的評價中；另一方面，在針對高層次交互任務時，應完善指標維度或引入新的評價方法，更準確地描述交互特征，以便改進多模交互過程。在此基礎上，將任務層面的研究進一步深入，結合認知負荷理論，量化多模態人機交互中用戶的認知負荷，發現任務中的影響因素，并與任務效果和效率關聯，建立用戶-任務效率模型，從而更全面地反映用戶特征，為圖博檔機構用戶提供更加精準的服務。此外，可以考慮從用戶信息行為角度對多模交互進行研究。利用觸覺模態的雙向感知特性，記錄用戶在交互活動中的主動行為，從而更直觀地揭示用戶行為中的情緒、感覺等語義信息，為圖博檔機構的用戶研究開辟可能的新領域。

在應用實踐中，本研究發現簡單呈現任務并不能完全體現多模交互的優勢。因此，多模交互應面向多模態互動體驗開展服務。首先，在遠程呈現(Telepresence)類應用中，可將收藏于不同機構，來自于不同年代的館藏實體集中在多模交互系統中呈現，按不同組織策略進行歷史場景的重現，以供研究人員直觀地感知，并開展交互式研究，為人文研究帶來新的范式。而且，通過遠程登錄方式，這種系統允許多名研究者進行在線協作研究，將促進人文機構間的合作。其次，多模態交互應用中的觸覺應轉移承擔其他模態的認知負荷，改變知識傳播方式，提升服務的可獲取性和可利用性。如在民族藝術品呈現中，多模交互比語言文字能夠更自然地描述呈現對象細節信息，幫助民族文化跨語言傳播；又如多模交互可以幫助視力障礙人群感知文化信息，促進公共文化服務的公平供給。最后，現有圖博檔數字人文倉儲[26]的多媒體數據中隱含了大量的觸覺信息，通過數字圖像處理技術提取后，能夠更真實地還原館藏實體屬性，充分挖掘館藏資源，實現資源的價值再造與創新。

5 結語

多模交互是智慧時代的最新產物。本研究基于可用性框架，在館藏實體虛擬呈現的使用情境中，對比研究了兩種呈現方式。實驗結果表明，在呈現效果和用戶滿意度兩個方面，多模交互呈現明顯優于傳統呈現方式，用戶的主觀體驗效果也較好，而在任務執行效率及易學習性上不及傳統呈現。本研究基于主客觀數據對可用性測試結果進行了深入分析，同時探索性地為實踐應用提出了建議，以期為圖博檔領域的多模交互研究提供參考借鑒。