MR環境下多模態人機交互的設計評價系統研究

曹琪 范勁松

摘要：解決現有設計評價工具成本高、周期長、交互性差等問題。以清潔車設計為例，利用頭戴式設備HoIoLens，通過與人交互對話，將優化的虛擬清潔車模型及屬性實時、無縫地疊加在實際的使用場景中。利用系統可用性量表（sus）進行用戶體驗評估，測試結果良好。通過將MR技術引入到設計評價過程，可以提高新產品研發效率和效益，為使用者提供更加自然、高效、真實的評價工具。

關鍵詞：工業設計 設計評價 混合現實 多模態人機交互 HoIoLens

中圖分類號：TP47

文獻標識碼：A

文章編號：1003-0069（2020）05-0026-03

Abstract： Solve the prob}ems of high cost， long cycle and poor interactivlty ofexisting design evaluation toolo Taking the cleaning car deoign as an example， thehead-mounted device HoloLens is used to interactively and interactlvely superimposethe optimized virtual deaning vehicle model and attributes in the actual use scenereaction using the System Availability Scale（SUS） to do user experience evaluation，the teot results are good. By introducing MR technology into the design evaluationproceoS， new product development efficiency and efficiency can be improved， andusers can be provided with more natural， efficient and realistic evaluation toolsKeywords： Industrial deoign Design evafuatIon MIxed Reality Multi-modal human-computer interaction HoloLens

設計評價（DR）系統是在產品開發過程當中及早地發現和指出產品設計的缺陷、錯誤和可能存在的制造問題[1]，以便對其性能和使用等各個方面進行全面的評估。目前工業設計評價過程使用的工具為實物樣機[2]、數字樣機[3]和虛擬樣機[4]。實物樣機的主要問題是成本高、周期長和逼真度不夠;數字樣機的主要問題是要依賴于應用軟件，對設備和使用人員的要求高;虛擬樣機可以實現實時交互，克服了上面兩種方法的不足，但主要交互方式基于計算機傳統圖形界面和鼠標鍵盤，不是自然的交互方式。同時，數字樣機和虛擬樣機都要求用戶必須在計算機上操作，使用不夠便捷，限制了用戶交互的自然性。近年來，隨著多媒體軟硬件技術的發展，人機交互的研究已經拓展到MR領域[5]。借助MR技術搭建一個多模態人機交互的設計評價系統是工業設計領域的—次嘗試。

一、MR環境下的多模態人機交互界面

（一）多模態人機交互概念

多模態人機交互，又稱多通道人機交互，是一種區別于傳統的單通道人機交互而言的新技術。通道指的是感官。多模態人機交互同時對來自多個交互通道的信息進行識別并融合，最終得到一個綜合后的交互信息，以此獲得更自然性和高效性人機交互體驗。很多情況下，一套多模態人機交互系統需要多種識別設備來共同實現。

（二）MR環境下的多模態用戶界面模型

MR環境下的多模態用戶界面[6]是一種全新的人機交互平臺，用戶通過手勢、語音、視覺、觸覺等多種通道實現虛實融合環境下的自然交互。用戶界面是人機交互的媒介，主要利用人機工學原理，實現人_機一環境之間的協調配合。這里的“人”指的是人的感官，“機”指的是MR交互設備，“環境”指的是虛實結合的交互環境。通過綜合利用人的多感覺通道和效應通道，力圖使計算機能夠聽、說、理解用戶的交互意圖[7]，如圖1。

（三）用戶界面的系統框架

用戶界面的功能是實現人機環境之間的信息傳遞，而一個完整的信息加工過程從用戶輸入開始，經過數據處理到功能實現結束。在MR環境下的多模態用戶界面中，用戶首先通過手勢識別、語音識別、眼動追蹤和觸覺反饋等自然的操作方式實現信息輸入。然后，MR頭戴設備會將獲取的用戶信息進行處理，將全息圖像投影在真實世界中，現人機互動，最終完成用戶的意圖，如圖2。

二、MR環境下的多模態人機交互方式

（一）凝視交互

凝視的目的是實現對全息圖的目標選擇。如圖3，該系統通過HoIoLens向用戶眼睛的凝視方向發出一條射線與全息圖像之間進行碰撞檢測8。

假設射線與全息圖某個部件的交點為P。射線與前后剪切面相交于空間點P1和P2。其中，P1點坐標可用該點所在射線單位向量E與模M表示為：

P=Pl+ExM

（1）

已知全息圖上的3個基準點A（XA，YA，ZA）、B（XB，YB，ZB）、C（XC，YC，ZC）。則這3個基點所構三角形ABC內的任何一點的坐標均可以用變量k、v（O

P=A+KxB-A+vxx （C-A）

（2）

Pl+ExM= （1-k-v） xA+KxB=vxC

（3）

將A、B、C三點坐標值分別帶入到方程（1）中可得

（4）

經過上述計算便可以求出P點的坐標，對比HoIoLens三維注冊過程生成的深度圖中全息圖零部件的空間坐標，便可以確定發生碰撞的全息圖部件，實現全息圖的目標選取。為了便于凝視光標的觀察，該系統提供了兩種顯示狀態：當HoIoLens檢測到手勢時，視野出現手勢光標（見圖4a）;當凝視全息物體時，光標變為帶有箭頭的手掌圖案（見圖4b）。本系統中所有的手勢交互都是在此基礎上實現的。

（二）手勢交互

手勢識別是HoIoLens主要的交互輸入方式，其識別過程利用了多角成像技術。這種技術通過使用兩個及以上的攝像頭同時攝取圖像，然后比對這些不同攝像頭在同一時刻獲得的圖像差別，進行計算深度信息獲得三維圖像。HoIoLens目前認可的兩種核心組件手勢為：Air tap和Bloom。Air tap是一種輕拍手勢，手持直立，類似于鼠標點擊或選擇。在大多數MR平臺中相當于凝視定位后UI元素上的“點擊”。在HoIoLens中，全息物體通常會被標定在空間中某個固定的位置，用戶可以通過移動自身的位置，實現多視角觀察。除此之外，還可以通過在全息物體上添加Gesture Action腳本并設置相應的軸來實現對全息物體的旋轉和位移操作。本系統實現的手勢交互命令如圖5所示。

（三）語音交互

語音識別的過程識將人的語言翻譯成計算機可識別語言的過程。首先，將聲音信號變成單詞流;其次，將各種語言進行恰當的建模;最后對語言進行相關約束。語音識別還應具備語音合成功能，實現計算機與人的交流反饋。如表1所示，HoIoLens可以通過語音識別技術實現許多交互功能。除了HoIoLens自帶的語音命令，開發者還可以根據需要在系統中添加其他語音命令。本系統實現的主要交互命令有：通過Speech to Text功能，可以實現屏幕語音文字輸入;另外，為了實現全息物體的位移和旋轉，使用戶可以將全息模型與場景更好地匹配，本系統還添加了位移和旋轉語音命令。

（四）交互模型

根據信息加工的三個過程可以將人機交互分為物理設備層、交互定義層以及應用接口層三個階段。據此，文中提出一個三層架構的MR多模態人機交互模型（如圖6所示）。其中，HoIoLens作為一種典型的MR設備，可以提供凝視、手勢、語音甚至觸感等多通道交互方式。不僅于此，在人與HoIoLens互動中，MR環境下的多模態人機交互系統能夠實現保持會話跟蹤、映射調度與計算機系統響應，這個過程被稱為會話管理。由于語音通道的使用，該系統可以使用會話管理為核心的上下文會話管理模式，提供語音服務。這種會話管理能夠協調語音通道與其他交互通道相結合，在各交互通道原始識別內容的基礎上，逐步映射轉換形成能夠被應用系統調度執行的服務指令。這種交互模式能夠達到1+1+1>3的效果，實現以人為中心的自然交互。

三、清潔車評價系統的實現

（一）評價系統的構建

為了驗證該系統的可行性，文中以清潔車作為產品設計評價對象，搭建了一個MR環境下多模態人機交互的設計評價系統。首先，由于工業設計產品模型為了模擬復雜逼真的產品，往往需要大量運用多邊形近似技術，導致數據組織的復雜和數據量的增長，無法應用在HoIoLens中使用;為了得到高精細節的場景模型，同時解決模型面數的問題，文中對清潔車模型進行減面優化，優化后的模型保留了高模的主要形態和細節，又可避免模型面數減少造成的細節丟失問題，從而節省計算機資源。其次，借助Unity引擎和HoIoLens開發工具，實現清潔車模型在HoIoLens中的應用。評價系統的構建過程如圖7所示。

（二）評價系統的實現

將兩臺或者多臺HoIoLens通過WiFi連接到同一個局域網中可以實現多人協同作業。該系統以兩臺設備為例，任意選擇其中一臺作為服務器端，另外一臺則為客戶端。首先通過服務器端對系統進行測試，測試通過后讓另外一臺HoIoLens進入系統，與服務器端建立連接，進行多人協同評價，系統實現的主要功能如圖8所示。

四、清潔車評價系統的評估

工業設計評價系統作為一種設計評價工具，其首要特征滿足產品評價的功能需求，其次該系統本身作為一種軟件產品應具有良好的用戶體驗需求。因此該清潔車評價系統的評估需要從兩方面進行考慮。為了測試清潔車評價系統的性能，文中又制作了3D打印模型和增強現實展示，通過訪談和問卷的形式獲得三種評價工具的性能，以便對清潔車評價系統的優勢進行評估。

（一）功能性評估

工業設計評價過程就是利用各種評價工具將產品的屬性充分展示給評價者，以便評價者能夠正確有效地對設計方案做出評價和選擇。為了更專業地對三種評價工具的功用性進行評估，文章采訪了10名工業設計專業的大學生和老師，通過他們的體驗和分析，總結出如下三點優勢。

1.逼真展示：將工業設計產品制作成數字化的全息模型疊加到真實環節中，實現產品在真實環境的逼真再現;能夠有效、準確地再現產品形態、色彩、燈光、材質的逼真感以及使用環境的協調性等方面，同時能夠有效地表達和再現產品的功能特征，從而正確地表現產品的性能特點。

2.實時評價：用戶可以在觀察產品屬性的同時選擇自己滿意的色彩方案;另外，用戶可以在觀察產品每一個屬性時通過語音命令在屏幕中生成評價性文字，并通過截屏記下評價內容。

3.低成本和高效率：設計評價需要在整個設計開發過程中反復進行，該系統可以在減少樣機制作的基礎上，全面、高效地對方案進行評價，從而縮短產品的研發周期。

（二）可用性評估

可用性是指產品在特定用戶的特定用途下所具有的效果、效率和用戶主觀滿意度。系統可用性量表由John Brooke于1996年提出，是一種用于產品可用性測試的標準化問卷調查量表。為了測試該清潔車系統發功用性，文中隨機選取了30名在校大學生作為實驗對象，在實驗開始前分別介紹每種交互界面的使用方法。用戶在掌握了評價工具的使用方法后，對三種交互界面的可用性進行評估。針對本次調查內容，根據sus調查表設置了以下10個問題：

Q1.我愿意經常使用該評價系統。

Q2.我覺得該評價系統有些復雜。

Q3.我覺得該評價系統很容易使用。

Q4.該評價系統需要有經驗的人幫助我使用。

Q5.我覺得該評價系統將設計方案展示得很好。

Q6.我覺得該評價系統存在太多不一致。

Q7.我覺得大多數人都能很快學會使用該評價系統。

Q8.我覺得該評價系統使用起來很麻煩。

Q9.在使用過程中，我感覺很自信。

Q10.為了操作該評價系統，我需要學習很多東西。

選項設置及打分規則如下：

1.每個問題根據程度設置基礎分1-5分，對應“強烈反對”到“非常滿意”。2.奇數問題用選項原始分減去1即為該題分，偶數問題用5減去該選項原始分即為該題分。sus得分為所有問題得分總和的2.5倍。另外，第4題和第8題得分總和12.5倍可以反映系統的易學性，其余題目得分總和的3.125倍可以反映系統的可用性。SUS得分采用百分制。

為了進一步檢驗系統的可用性，實驗過程中隨機選取了30名在校大學生作為體驗和調查對象，設置實體界面和觸控界面兩種對照實驗。樣本的統計情況如表2所示：

三種交互界面得分，全息界面的SUS得分為90.58最高，觸控界面分數82.50居中，實體界面分數79.08最次。查閱文獻，全息界面分數92.18對應的百分等級約為97，意味著比97%的產品可用性好。除此之外，其可用性得分92.60也最好，易學性上由于實體模型比較直觀不需要學習成本所以全息界面的易學性低于實體界面但高于觸控界面。由此可見，該系統用戶體驗良好，較傳統的評價工具具有明顯優勢。

文中通過對最新的混合現實技術與人機交互技術的交叉研究，開發基于視覺、手勢及語音等多通道虛實融合人機交互模式的設計評價系統，并借助HoIoLens實現了清潔車的設計評價，測試結果良好。本系統的主要意義在于：通過對MR環境下多模態人機交互技術在工業設計評價中的研究應用，提高新產品研發效率和設計創新能力，降低產品開發成本，滿足日益變化的市場需求;同時，將設計方案在實際環境中的逼真表達和全息物體之間的自然交互，實現產品功能的仿真和模擬，以方便各種評價人員做出全面有效地評價。

基金項目：廣東高校省級特色創新項目（2016KTSCX148）;佛山市科技局科技創新項目（2016AG100321）;廣東省教育廳高校科研項目（2015xzd01）。

參考文獻

[1]Morad Mahdjoub，Davy Monticolo，Samuel Gomes， etal[J].A collaborative desian for usability approachsupponed by virtual reality and multi-agent system embedded in a PLM environment.Computer-Aided Desigu （ARTICLE IN PRESS）， 2009，（2）：1-12.

[2]寧萌，馬澤峰，薛必倫等.燃爆式彈跳驅動器的設計與分析[J].機械設計，2017，34（9）：18-22.

[3]王發麟，廖文和，郭宇等.線纜虛擬裝配關鍵技術研究現狀及其發展[J].中國機械工程，2016，27（6）：839-851.

[4]韋正超.基于Adams和Matlab的發射設備隨動系統虛擬樣機建模與聯合仿真[J].現代機械，2019（1）：66-69.

[5] Fiorentino M，Uva A E，Gattullo M，etal，Augmented reality on large screen forinteractive maintenanceintructlon[J].ComputerslnIndustey，2014，65（2）：270-278.

[6]黃進，韓冬奇，陳毅能等.混合現實中的人機交互綜述[J].計算機輔設計與圖形學學報，2016（6）：869-880.

[7]俸文.多通道人機交互技術的研究[D].江蘇南京：南京理工大學，2004.

[8]商蕾，王冰，楊志勇，何業蘭.基于HoloLens的船舶輔機拆裝系統研究與實現[J].中國航海，2018，41（03）：38-42.