用于指導拆裝類教學實驗的增強現實體驗開發

姚興軍， 周 漢， 陳琴珠

（華東理工大學機械與動力工程學院，上海200237）

0 引 言

拆裝是機械制造的重要環節，也是對機器設備進行維護保養的必要步驟，所以拆裝是機械類專業學生應該具備的基本專業技能。同時，通過拆裝還可以讓學生更加直觀地理解機器設備的組成部分、工作原理、各零部件的作用和要求，使他們對精度、表面質量、配合關系等概念有直觀的認識。因此，如何開設好拆裝類實驗就顯得非常重要。機器設備的拆裝往往需要按照一定的工藝規程來進行，特別強調拆裝順序和拆裝方向。因此，如何指導學生進行規范地拆裝成為這類教學實驗的重要問題。與其他教學實驗一樣，拆裝類實驗的指導一般也通過實驗指導書和教師演示講解來實現。對于實驗指導書，雖然可以做到圖文并茂，但對于空間想象力不足的學生來說理解還是比較困難的；對于教師的演示，雖然直觀形象，但當步驟較多時，學生在實際拆裝中往往無法將當前狀態與教師所演示的步驟對應起來而不知所措。指導拆裝類實驗的關鍵問題是：在實驗現場，如何讓學生明白當前步驟的拆裝對象和拆裝方法。

隨著計算機仿真技術的發展，虛擬現實（Virtual Reality，VR）和增強現實（Augmented Reality，AR）技術在教育方面的應用價值日益凸顯［1-4］，尤其在實驗教學方面應用活躍。近年來，已經有多名研究者在拆裝類教學實驗中嘗試應用了VR和AR技術，如：王海根等［5］開發了減速器的虛擬裝拆實驗，學生可以在PC端觀看拆裝動畫演示和進行自主虛擬拆裝操作；李建新等［6］用UG開發了模具虛擬實驗系統，能夠實現虛擬裝拆和運行仿真；徐曉等［7］開發了柴油發動機裝拆網絡虛擬實驗；郭慶等［8］開發了沉浸式維修性虛擬驗證平臺，操作者借助VR眼鏡和動捕設備進行沉浸式虛擬操作；朱文華等［9］應用Unity3D軟件在Zspace桌面虛擬現實設備上開發了減速器虛擬拆裝實驗；馮立艷等［10］開發了減速器的虛擬裝拆實驗，學生可以觀看虛擬裝拆的動畫，也可以進行虛擬裝拆操作，等等。上述探索總體而言對虛擬現實技術應用比較充分，較好地實現了拆裝的虛擬演示、虛擬操作；但對增強現實技術的應用還不夠充分，還沒有真正達到虛實結合的效果。因此指導拆裝類實驗的上述關鍵問題還沒有得到很好地解決。

增強現實是指將數據信息分層疊加在三維空間中，使觀察者對現實世界產生新的體驗［11］，數據信息的主要形式是三維模型和三維動畫。增強現實具有虛實結合（Combines real and virtual）、實時互動（Interactive in real time）和三維注冊定位（Registered in 3-D）的特征［12］。因此，借助增強現實技術就可以讓當前步驟需要拆裝的零部件用虛擬模型覆蓋（或代替），然后讓虛擬模型作拆裝動作的三維動畫演示，從而使指導實驗的關鍵問題“拆裝什么、如何拆裝”得到解決。本文以沖壓模具的拆卸為例借助新穎的增強現實無編程開發工具來開發用于指導拆裝類教學實驗的增強現實體驗。

1 基本方案

1.1 基本思路

本項目的基本思路是：用增強現實技術實現虛實結合的拆裝過程演示，以指導學生完成拆裝操作。為了最大程度地仿真拆裝過程，僅僅將當前步驟中需要被拆裝的零部件虛擬化，而其他部分仍舊保持實物狀態。同時要求虛擬部分與現實環境保持1：1的比例關系，并且與實物部分有精確的位置關系。具體而言，對于拆卸過程：用移動端設備（如：手機）掃描實物對象，將擬拆卸部分虛擬化（虛擬模型覆蓋實物模型），擬拆卸的虛擬模型做拆卸運動演示；對于裝配過程：用移動端掃描裝配體的已裝配部分，在附近產生擬裝配入的虛擬零部件三維模型，隨后該虛擬模型做裝配運動，演示與實物部分完成裝配的過程。通過這樣的演示，使學生明白當前拆裝步驟的拆裝對象和拆裝方法。

1.2 開發工具

為了實現上述設想，選擇Vuforia Studio作為指導拆裝類實驗用增強現實的開發工具。Vuforia Studio基于先進的增強現實平臺Vuforia，是面向企業的增強現實開發工具，它提供了無需編程的開發環境，使用者無需具有專業的編程知識就可以通過直觀的“拖放式”方法快速創建AR體驗［13］。該工具可以用現有的3D幾何模型、分步動畫甚至物聯網數據來構建富有吸引力的增強現實體驗，有效地降低創建增強現實體驗的成本和復雜性。該開發工具支持多種智能移動設備，如：智能手機、平板電腦和可穿戴設備（包括Microsoft HoloLens）等［14］。

1.3 總體框架

利用Vuforia Studio開發增強現實體驗的基本框架如圖1所示。需要輸入Vuforia Studio的信息源包括：各種原生CAD三維模型；由Creo Illustrate生成的3D插圖和動畫；通過ThingWorx物聯平臺導入的來自現實環境的數據。Vuforia Studio根據這些信息源進行增強現實體驗的開發，完成后發布到云端Vuforia Experience，同時生成與增強現實體驗相對應的二維碼標志ThingMark。增強現實體驗需要通過安裝在智能移動設備上的增強現實瀏覽應用程序Vuforia View來觀看：運行Vuforia View并掃描ThingMark后就會從云端的Vuforia Experience調取相應的增強現實體驗，并與實時拍攝的現實場景結合在一起展示。

增強現實中虛擬模型的位置是相對于ThingMark的，所以如果在現實環境中將ThingMark放置在合適的位置，增強現實體驗就可以與現實環境很好地融合，從而達到虛實結合的效果。

圖1 利用Vuforia Studio開發增強現實體驗的基本框架

2 拆裝實驗增強現實體驗的開發

以如圖2所示沖壓模具的拆卸為例，來說明利用Vuforia Studio開發針對拆裝實驗的增強現實體驗的過程。

圖2 沖壓模具實物

2.1 三維模型的準備

根據沖壓模具實物，利用PTC的三維CAD軟件Creo Parametric 4.0完成沖壓模具的三維建模。三維模型中包含了該模具中各零件的裝配層次關系。生成的三維模型的如圖3所示。完成建模后再將其轉化為輕量化模型格式（pvz格式）。

圖3 沖壓模具三維模型

2.2 拆裝三維動畫的制作

用Creo Illustrate來制作拆裝模具的三維動畫，過程包括：（1）用Creo Illustrate打開上述含有輕量化沖壓模具CAD模型的文件（pvz格式），選擇合適的視圖方向，將它作為將要制作的動畫的默認視圖方向；（2）為各零件設定合適的顏色以區分模具的各零件；（3）建立模具拆裝的動畫序列；（4）保存包含有動畫序列的文件（pvz格式）。

針對增強現實體驗的不同用途，建立了兩種類型的動畫。第一種拆裝動畫是完全由虛擬模型構成的動畫，不與拆裝的實物構成關聯。這類動畫主要用于學生在實驗前的預習；第二種是由部分虛擬模型構成的動畫，僅僅呈現被拆裝的對象的三維模型，其他模型不出現，這類動畫是為虛實結合的增強現實體驗而準備的，用于拆裝現場的實驗指導。針對上述沖壓模具拆卸過程，制作了拆裝的動畫。圖4所示為第一種類型的動畫截圖（僅以6步為例說明）。圖5所示為第二種類型的動畫截圖（僅以4步為例說明）。

圖4 全虛擬模具拆卸動畫截圖（部分）

圖5 虛實結合模具拆卸動畫的虛擬部分截圖（部分）

2.3 增強現實體驗的制作

利用Vuforia studio制作模具拆卸的增強現實體驗，步驟包括：

（1）選擇模板：安裝運行Vuforia studio［15］后選擇模板。Vuforia studio針對三類終端設備分別提供了模板：2D眼鏡、3D眼鏡、手持設備（智能手機或平板電腦），本例選用手持設備模板。

（2）導入含有動畫的模型：將經由Creo Illustrate制作的含有動畫的三維模型文件（pvz格式）導入，并調整好方位，如圖6所示。

圖6 導入含有動畫的模型

（3）添加ThingMark標志：將ThingMark標志放置在模型的合適位置并使兩者關聯，如圖7所示。

圖7 將ThingMark放置在模型上

（4）設置人機交互按鈕：為控制動畫的播放，需要設置相應的交互按鈕。本例中設置4個按鈕：??重置，回復到動畫的初始狀態；｜?上一步，回到上一步動畫；?全部播放，動畫連續播放；‖暫停播放；?｜跳到下一步動畫。其中?和‖為互相切換按鈕，即：?按下后變化為‖，‖按下后變化為?。

（5）為體驗配置ThingMark標志：為體驗選擇一個系統許可給開發者的ThingMark標志。如圖8所示，ThingMark標志是含有二維編碼信息的正六邊圖形，并與唯一的數字編碼相對應，如圖8中的數字編碼“31254：1”。

圖8 ThingMark與數字編碼圖

（6）發布體驗：完成上述操作后可以將體驗保存、發布到云端的Vuforia Experience中；再通過共享體驗使其可以被移動端的Vuforia View調用。

3 拆裝實驗增強現實體驗的使用

學生可以通過用智能移動設備（如：智能手機、平板電腦）掃描ThingMark標志來調用和演示已經發布的拆裝實驗增強現實體驗。事先需要在智能移動設備上安裝可瀏覽虛擬現實的應用程序Vuforia View（有分別支持iOS、Android和Windows操作系統的不同版本）。智能移動設備運行Vuforia View后掃描ThingMark標志即可演示拆裝增強現實的體驗。

3.1 預習用的拆裝增強現實體驗

對于實驗前預習用的拆裝增強現實體驗，其對應的ThingMark標志可印刷在實驗指導書中，使其成為一種AR圖書［16］。學生在預習時用智能手機或平板電腦運行Vuforia View并掃描指導書上的ThingMark即可使拆裝的3D動畫躍然紙上，而且可以通過交互按鈕控制動畫的播放。圖9展示了用手機掃描實驗指導書上的ThingMark標志來演示拆卸過程（僅給出23步中的8步操作）。

3.2 實驗現場用的拆裝增強現實體驗

對于實驗現場用的拆裝增強現實體驗，其對應的ThingMark標志打印后貼在實物模具的適當位置。制作需要注意的是：ThingMark標志相對于模具的大小、方向和位置關系，實物狀態應該與設計狀態保持一致。本例中，模具的三維模型相對于實物模具是1：1的，所以ThingMark標志也應嚴格按1：1打印出來，在實物模具上的粘貼方向和位置也應該與在Vuforia studio中的設計狀態保持一致。圖10和圖11展示了用手機掃描實物模具上的ThingMark標志來演示2個零件的拆卸過程。圖10展示了上模組被拆離的過程，其中：（c）顯示上模組的虛擬模型向上移動，以提示上模組向上撤離；（d）根據提示對上模組作實際拆離操作后剩下的下模組實物。圖11展示了下模組中凹模板被拆離的過程，其中：（c）顯示凹模板的虛擬模型向左移動，以提示凹模板向左撤離；（d）根據提示對凹模板作實際拆離操作剩下的下模具架實物。

圖9 掃描實驗指導書得到的增強現實體驗—模具拆卸部分步驟（手機橫向截屏）

圖10 虛實結合增強現實體驗—上模組被拆離（手機豎向截屏）

圖11 虛實結合增強現實體驗—下模組中凹模板被拆離（手機橫向截屏）

為了使實驗現場用的每一步拆裝增強現實體驗都能達到虛實結合的效果，一般情況下需要為每一個拆裝步驟制作一個獨立的增強現實體驗，所以整個拆裝過程需要多個ThingMark標志。這些標志粘貼在模具的不同部位，并標明順序。學生實際操作過程為：掃描當前拆裝步驟對應的ThingMark標志→觀看指導當前拆裝步驟的增強現實體驗→根據指導進行當前拆裝步驟的實際操作→掃描下一個拆裝步驟的ThingMark標志→……，如此循環往復直至完成所有的拆裝步驟。

4 結 語

本文探索了利用無需編程的增強現實開發工具Vuforia Studio開發用于指導拆裝類實驗的增強現實體驗的方法。以沖壓模具的拆卸為例，制作了用于實驗前預習和用于實驗現場指導的增強現實體驗。實驗前預習用的增強現實體驗通過用手機掃描實驗指導書上的ThingMark標志來調用，能以三維動畫的形式展示模具拆卸的全過程；實驗現場指導用的增強現實體驗通過用手機掃描實物模具上的ThingMark標志來調用，能虛實結合地展示每一拆卸步驟的三維動畫。實驗前預習用的增強現實體驗具有良好的泛在性，沒有時間和空間的限制，便于學生預習；實驗現場指導用的增強現實體驗能讓學生迅速理解當前步驟的拆卸對象和拆卸方法。本文所開發的模具拆卸增強現實體驗已經應用于實驗教學，達到了預期效果。當然，增強現實體驗的內容還可以進一步細化，如果能將拆卸工具及其使用方法體現出來就會取得更好的效果。利用本文提出的方法不局限于拆裝類的實驗，還可以應用于針對機電設備的操作類實驗，如：機床的操作、注塑機的操作等。進一步還可以用ThingWorx的物聯網功能將設備的運行數據體現到增強現實的體驗中，以達到更好的教學效果。