基于混合現(xiàn)實的道路工程車輛教學(xué)系統(tǒng)設(shè)計

譚登程， 白廷俊

（中國礦業(yè)大學(xué) 建筑與設(shè)計學(xué)院， 江蘇 徐州 221116）

0 引言

近年來， 隨著計算機三維能力的增強和傳感設(shè)備的普及，混合現(xiàn)實技術(shù)取得了顯著進步，特別是在教學(xué)等領(lǐng)域展現(xiàn)出廣闊的發(fā)展前景[1]。 然而在工程機械領(lǐng)域，由于其操縱的復(fù)雜性特點[2]，目前還沒有成熟的教學(xué)方案。 通過將混合現(xiàn)實技術(shù)與道路工程車輛教學(xué)系統(tǒng)結(jié)合， 可獲得沉浸式的操作感受和逼真的環(huán)境體驗， 從而提高教學(xué)效率和學(xué)生學(xué)習(xí)體驗。

1 概述

混合現(xiàn)實（Mixed Reality，MR）將虛擬事物與真實世界融合到一個場景中，從而增強用戶體驗的真實感。它有三個主要的特點：一是虛實融合，將真實世界和虛擬事物在同一空間中展示；二是三維注冊，將虛擬事物精準(zhǔn)地與真實世界耦合；三是實時交互，實現(xiàn)人與真實世界及虛擬事物的實時交互。 同時人機交互也是混合現(xiàn)實的重要支撐技術(shù)，成為了近年來國內(nèi)外研究的熱點[3]。

隨著關(guān)鍵技術(shù)的發(fā)展， 混合現(xiàn)實逐漸被應(yīng)用多個領(lǐng)域。 由于其極佳的體驗，使得混合現(xiàn)實技術(shù)在教育系統(tǒng)的設(shè)計與開發(fā)中具有廣闊的前景[4]。 將混合現(xiàn)實技術(shù)引入到機械類課程教學(xué)中，通過視覺耦合增強交互體驗，使學(xué)生身臨其境地學(xué)習(xí)， 提高了學(xué)生視圖解讀的認(rèn)知能力和工程實踐的創(chuàng)新能力[5-6]。

2 用戶調(diào)研與特征分析

2.1 用戶調(diào)研

走訪調(diào)研了徐工集團道路事業(yè)部以及多個道路施工項目，通過自然觀察、半結(jié)構(gòu)式訪談、問卷調(diào)查等研究方法， 了解了新手駕駛員對道路工程車輛操縱的認(rèn)知程度和學(xué)習(xí)培訓(xùn)過程中的痛點與需求。

2.1.1 自然觀察法

觀察教學(xué)過程，著重梳理出不易懂、效率低、常出錯的流程環(huán)節(jié)，在后續(xù)訪談過程中持續(xù)跟進。

（1）學(xué)生無法獨立學(xué)習(xí)，易操作錯誤，需要有教師在身邊指導(dǎo)。

（2）理論知識不易理解與記憶。

（3）演示復(fù)雜操作流程時需要多次重復(fù)。

2.1.2 半結(jié)構(gòu)式訪談

制定訪談提綱，訪談了新手駕駛員20 名、教學(xué)師傅5名，了解教學(xué)體驗，并結(jié)合觀察法中梳理出的問題點進行有針對性的提問。

（1）教師認(rèn)為模擬不同施工方案很必要。

（2）教學(xué)過程需要標(biāo)準(zhǔn)化的培訓(xùn)模式，減少人力成本。

（3）學(xué)生在學(xué)習(xí)過程中無法構(gòu)建出清晰的操作場景。

（4）學(xué)生對教學(xué)背景理解不夠深刻。

2.1.3 問卷調(diào)查

通過發(fā)放問卷的形式了解學(xué)生與教師在教學(xué)過程中對不同影響因素的重視程度和教學(xué)流程的期望優(yōu)化方向。

（1）教學(xué)信息的傳達效率低，對教學(xué)質(zhì)量影響大。

（2）教學(xué)過程需增強趣味性，調(diào)動學(xué)員的學(xué)習(xí)積極性。

（3）現(xiàn)有教學(xué)手冊不夠直觀，理解與記憶難度大。

（4）缺少畫面感，實際操作時無法應(yīng)對所有施工場景。

2.2 用戶特征分析

結(jié)合用戶訪談，分析學(xué)生用戶生理、心理、認(rèn)知、行為四個方面的特征， 為后續(xù)提出混合現(xiàn)實類工程車輛教學(xué)系統(tǒng)的設(shè)計原則提供支撐，見表1。

2.2.1 用戶生理特征分析

視覺方面，用戶對高飽和度色彩較為敏感，對高度抽象化的幾何符號的分辨能力較弱。聽覺方面，能準(zhǔn)確判斷出聲源方向與大致距離，可以粗略區(qū)分出不同聲音。觸覺方面， 用戶在駕駛過程中能有效辨別外界事物的震動變化。 嗅覺和味覺是用戶感觸外界事物味道屬性的主要途徑，但在本研究議題中相關(guān)性不大。

2.2.2 用戶心理特征分析

用戶多為25～35 歲的成熟男性，情感深刻、豐富、效果性強。 面對客觀事物能夠產(chǎn)生鮮明的情感，包括喜悅、苦惱、興奮、厭煩、畏懼等基本情感，且情感能有效反作用影響到實際行動。 除基本情感外， 此類用戶還具備榮譽感、責(zé)任感、成就感等豐富的社會情感。

2.2.3 用戶認(rèn)知特征分析

用戶主要通過視覺通道感知外界信息， 依據(jù)事物的具體形象和變化來認(rèn)識事物。 在思維模式上主要通過將現(xiàn)實事物映射到大腦中進行模擬復(fù)現(xiàn)， 來實現(xiàn)事物的理解與記憶。因此在道路工程車輛類的教學(xué)過程中，空間感能力越強的學(xué)生，認(rèn)知與記憶的效率越高。

2.2.4 用戶行為特征分析

學(xué)生用戶的行為往往是優(yōu)先操作難度低、回報快、方法明確的任務(wù)，缺少探索精神。這導(dǎo)致學(xué)生用戶不能在多場景下應(yīng)對問題，對未知的恐懼影響學(xué)習(xí)的全面性。

3 混合現(xiàn)實技術(shù)的道路工程車輛教學(xué)系統(tǒng)設(shè)計原則

基于用戶調(diào)研和用戶特征分析， 混合現(xiàn)實技術(shù)的工程車輛教學(xué)系統(tǒng)設(shè)計應(yīng)該從靈活高效、可學(xué)習(xí)與可記憶、動態(tài)交互、情感化設(shè)計等方面加以考慮，滿足學(xué)生用戶的學(xué)習(xí)需求。

3.1 靈活高效性原則

現(xiàn)有道路工程車輛教學(xué)系統(tǒng)存在成本高和效率低的問題，因此靈活高效性是首要設(shè)計原則。利用混合現(xiàn)實技術(shù)將教學(xué)過程數(shù)字化、 標(biāo)準(zhǔn)化， 學(xué)生可以自主學(xué)習(xí)， 擺脫對場地和教師的依賴。 通過模擬不同的道路施工場景，學(xué)生可以體驗多種施工方案，增強教學(xué)的靈活性。

在不同感官通道上高效傳遞信息可以提高學(xué)生認(rèn)知效率。 視覺上，通過模擬第一視角的畫面，讓學(xué)生直觀地感受到操作過程中的視覺變化。同時為避免視覺通道的信息擁堵， 在聽覺和觸覺上模擬施工環(huán)境并傳遞應(yīng)急報警、操作提示等輔助信息，加強信息交換的效率，高效完成教學(xué)任務(wù)。

表1 用戶特征分析及表現(xiàn)Tab.1 User characteristics analysis and performance

3.2 動態(tài)交互性原則

混合現(xiàn)實的教學(xué)系統(tǒng)最大的優(yōu)勢在于動態(tài)信息展示和虛擬訓(xùn)練，因此動態(tài)交互性是基本設(shè)計原則。 在信息展示方面，傳統(tǒng)的靜態(tài)信息與實際操作的動態(tài)變化相悖，采用混合現(xiàn)實的三維動畫可以使教學(xué)展示與實際操作更加契合，提高人機交互效率。 同時利用混合現(xiàn)實技術(shù)模擬出操作后的效果，這種高仿真性降低了試錯風(fēng)險，有利于學(xué)生主動探索，開發(fā)創(chuàng)新能力。

3.3 可學(xué)習(xí)性與可記憶性原則

針對理解和記憶難度大的問題， 應(yīng)著重考慮可學(xué)習(xí)性與可記憶性設(shè)計原則。 傳統(tǒng)教學(xué)方式多以口述和靜態(tài)圖像的形式為主，學(xué)生需要在腦中構(gòu)想出來操作畫面，導(dǎo)致理解難度大；操作流程多且長，導(dǎo)致不易記憶。 因此可以利用混合現(xiàn)實幫助學(xué)生構(gòu)建出操作畫面， 減少信息翻譯的過程； 再結(jié)合具象化圖標(biāo)和統(tǒng)一視覺規(guī)范減少記憶量，降低記憶難度。

在教學(xué)過程中加強場景的敘事性表達， 幫助學(xué)生更好地理解所學(xué)內(nèi)容。同時配合聽覺和觸覺兩個輔助通道，幫助學(xué)生沉浸到教學(xué)場景中，提高專注度。

3.4 情感化設(shè)計原則

學(xué)生在情感方面具備了成就感、榮譽感、責(zé)任感等豐富的情感， 因此情感化設(shè)計原則有助于提高教學(xué)系統(tǒng)用戶體驗。敘事性的案例可以引起學(xué)生的關(guān)注，以趣味性的案例為入口，讓學(xué)生對教學(xué)背景產(chǎn)生興趣，進而導(dǎo)向教學(xué)環(huán)節(jié)。在教學(xué)系統(tǒng)中加入成就模式，以此激發(fā)學(xué)生的成就感和榮譽感，從而產(chǎn)生學(xué)習(xí)欲望。在教學(xué)文案上加強情感色彩，通過激勵的語氣幫助學(xué)生面對困難、親和的語氣指導(dǎo)學(xué)生反復(fù)練習(xí)、嚴(yán)肅的語氣輔助學(xué)生糾錯整改，進而提升教學(xué)系統(tǒng)的親和力。

4 設(shè)計實踐

4.1 設(shè)計方案

針對用戶特征，結(jié)合教學(xué)系統(tǒng)的設(shè)計原則，進行了機械單光輪壓路機教學(xué)系統(tǒng)設(shè)計實踐應(yīng)用。 整體系統(tǒng)開發(fā)與設(shè)計方案如圖1 所示。

圖1 系統(tǒng)方案Fig.1 System solutions

在虛實融合方面， 利用Unity3D 平臺完成三維注冊跟蹤與虛實場景耦合顯示。 在用戶界面形態(tài)方面， 使用3DUI 界面與頭戴式顯示設(shè)備HMD 結(jié)合的方式， 實現(xiàn)視覺信息的展示。在3D 交互技術(shù)方面，利用立體音響、震動座椅實現(xiàn)聽覺與觸覺反饋，通過數(shù)據(jù)手套、運動傳感器實現(xiàn)手勢識別和運動學(xué)交互。

4.2 原型設(shè)計與評估

利用3DMAX 構(gòu)建駕駛室三維模型，并在Unity3D 平臺進行模型與現(xiàn)實事物的校準(zhǔn)。 選用“壓路機操作教學(xué)”模塊作為實踐內(nèi)容，制作動畫效果，繪制3DUI 交互界面原型。 文案上結(jié)合情感化設(shè)計，添加學(xué)習(xí)完成度，并撰寫情感化提示語。 利用PS 繪制施工場景，以實現(xiàn)多場景模擬練習(xí)。邀請6 名測試員進行原型測試，完成教學(xué)操作（見圖3）。 經(jīng)過訪談和主觀滿意度打分， 認(rèn)為基于混合現(xiàn)實的道路工程車輛教學(xué)系統(tǒng)能夠幫助學(xué)生提升學(xué)習(xí)體驗感和認(rèn)知程度，有效提高了教學(xué)質(zhì)量和學(xué)習(xí)效率。 在實際應(yīng)用中需要加強虛擬事物與現(xiàn)實的耦合準(zhǔn)確度和交互的反饋流暢度。

圖2 駕駛室三維模型Fig.2 3D model of cab

圖3 原型測試Fig.3 Prototype test

5 結(jié)束語

將混合現(xiàn)實技術(shù)引入到道路工程車輛教學(xué)過程中，可以增強教學(xué)的互動體驗感， 提升學(xué)生的學(xué)習(xí)效率和實踐能力，激發(fā)學(xué)生的學(xué)習(xí)積極性。雖然現(xiàn)在混合現(xiàn)實技術(shù)還處在初步探索階段， 但隨著新興技術(shù)的成熟，它將發(fā)揮出更大的魅力，未來混合現(xiàn)實將成為教育活動的重要形式。