沉浸式車身修復教學系統

王大虎 張孟軍 孫存遠

摘 要：針對傳統汽車維修教學因設備不足、代價昂貴而導致教學力度遠遠無法滿足實際需求的問題，以車門損傷修復為例，利用HTC vive硬件設備與unity3d引擎技術，為增強汽修教學力度與效果，開發沉浸式車身修復教學系統。首先對車門、損傷區域、維修工具等設備進行3D建模，構建車間全景;然后將模型制作一份簡模，導入到unity3D中，利用Vive Input Utility 插件連接unity3D引擎與HTC vive硬件，編程開發交互操作，將設備信息保存于SQL server數據庫;最后在操作任務結束后，開發一套理論考核系統，檢驗學員培訓效果。該系統在高校教學中取得了較好的效果，沉浸式培訓方案在教學應用中改善了傳統教學不足之處。

關鍵詞：3D仿真;汽車維修;虛擬現實;沉浸式教學

DOI：10. 11907/rjdk. 182681 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP319文獻標識碼：A 文章編號：1672-7800（2019）007-0104-04

Immersive Body Repair Teaching System

WANG Da-hu， ZHANG Meng-jun， SUN Cun-yuan

（School of Electrical Engineering and Automation， Henan Polytechnic University， Jiaozuo 454000， China）

Abstract： In view of the problem that the traditional vehicle maintenance teaching has insufficient equipment and high cost， the teaching intensity is far from being enough to meet the actual demand. For the repair of the door damage，in order to enhance the teaching strength and effect of auto repair， the HTC vive hardware device and the unity3d engine are used to develop the immersive body repair teaching system. First， 3D modeling of the door， damage area， maintenance tools and other equipment build a workshop panorama， then make a simple model， import the models into unity3d， and then use the Vive Input Utility plug-in to connect the unity3d engine and HTC vive hardware， programming development Interactive operation， save the device information to the SQL server database， and after the operation task is finished， develop a theoretical evaluation system to test the training effect of the students.The system has achieved good results in the teaching of colleges and universities. The application of immersion training program in colleges and universities has improved the shortcomings of traditional teaching methods.

Key Words： 3D simulation; vehicle maintenance; virtual reality; immersive teaching

基金項目：國家自然科學基金項目（61601172）;河南理工大學電氣工程與自動化學院開放課題項目（KFKT00000000）

作者簡介：王大虎（1969-），男，河南理工大學電氣工程與自動化學院教授、碩士生導師，研究方向為虛擬現實、圖像處理;張孟軍（1995-），男，河南理工大學電氣工程與自動化學院碩士研究生，研究方向為虛擬現實、圖像處理;孫存遠（1995-），男，河南理工大學電氣工程與自動化學院碩士研究生，研究方向為虛擬現實、圖像處理 。

0 引言

傳統汽修教學面臨諸多限制，因實訓設備非常昂貴，包括汽車部件樣本及維修套件，校方往往難以承擔;其次，教學場地受限，由于汽修專業需使用體積較大的工作臺與專業儀器，如門板支架、鈑金工作站等，需要更多的教學空間;第三，學員在學習過程中，因操作不熟練，時常損壞設備，甚至可能引發危險，導致學校在設備維護與安全保障方面投入加大?；谝陨显?，課程內容時常被簡化，甚至用播放視頻等方式取代實際操作，大幅降低了學員學習效率，達不到實際需要的教學力度，導致學員需接受二次培訓，耗時耗力。同時，教員在授課時局限性比較大，如講解盤式打磨機與外形修復機的正確使用方法時，難以進行詳盡描述。

因此，本文充分發揮軟件教學優勢，開發沉浸式車身修復教學系統，以期解決設備成本高與場地受限的問題，該系統還可重復利用，節約資源。

虛擬現實技術（Virtual Reality）最早應用于美國航天部門飛行員培訓中，它是一種可創建、體驗虛擬世界的計算機系統，利用電腦模擬產生一個三維空間的虛擬世界，提供用戶關于視覺等感官模擬，讓用戶感覺仿佛身歷其境，可以在三維空間中觀察及操作互動。將虛擬現實技術應用于汽修教學是必然趨勢，但經文獻調研發現，國內學者對虛擬現實類教學系統雖極度認可，卻并沒有提出一項真正可行性方案與具體開發流程。陳衛國[1]提出對汽車零部件進行數字建模，借助搜集的數據，將設備以3D的新型形式帶入課堂，可解決硬件資源有限的問題，但不涉及到人機交互，無法完成實操訓練;蔡偉明[2]提出將VR技術融入到汽車職業教育領域，以分布式教學方式將教員與學員放置于同一虛擬環境內，但并沒有提出可實施性開發流程;滕菲[3]提出將虛擬現實技術與汽修實驗教學相結合，將設備建模后進行拆裝實驗，有助于部分簡單的實驗課程講解，但設備模型沒有進行處理，制作粗糙，且沒有以實際汽修廠工作流程制定系統方案，沒有完整的工作流程仿真，培訓效果不佳。針對以上不足，本文開發了沉浸式車身修復教學系統。

1 系統方案設計

本系統以常見汽修操作為例。在實際教學過程中，首先對車門制作損傷，然后進行修復工作：用鈑金錘對車身損傷處均勻敲擊，用帶式打磨機將損傷處打磨光滑，用記號筆在損傷區四周畫一個近似橢圓的區域，用盤式打磨機把橢圓區域內部打磨光滑，在車身筋線處焊接成排介子，使用菱線拉力器對筋線進行整體拉拔作業，最后用測量尺對損傷區域進行反復測量，觀察是否存在高低點，如果存在，則使用外形修復機進行精修。操作前需要對車門、門板支架、鈑金頂鐵組套、B-2000外形修復機、B-3000鈑金工作站、菱線拉力器氣、動盤式打磨機、環帶打磨機、圓口大力鉗、砂紙砂帶等設備進行三維可視化建模，并進行交互仿真。沉浸式車身修復教學系統人機交互框架如圖1所示。

由圖1可知，沉浸式車身修復教學系統主要分為3個部分，首先進行實地考察，然后開發軟件部分，最后引入硬件部分。實地考察時需詳細了解汽修工作流程與工作原理，在員工指導下進行實操訓練。拍照取材，分析系統功能需求，由于使用工具時容易引起車門變形，在系統開發時應將細節凸顯出來。軟件部分首先對照圖片與CAD圖紙，用3Dmax進行高精度建模，力求設備模型尺寸形狀與實物保持一致[4]。由于unity3D運行性能受模型面數影響，面數越多運行速度越慢，因此需將高精度模型重新制作一份低模，低模外形大致與高模保持一致，將高模紋理與貼圖信息烘焙到低模上，這樣既保留了高精度模型表面信息，又減少了模型面數，建低模時應保證不能出現超過4條邊的面，否則在unity3D中運行時會計算出錯。將制作好的低模導入到unity3D中，建立一個完整的工位場景[5]，在場景添加燈光、自然氣流、環境光等自然元素，模擬真實的自然環境。

利用CSharp腳本語言開發人機交互系統、虛擬操作流程與考評模塊，借助Vive Input Utility插件接入HTC vive硬件設備，學員通過頭戴顯示器“進入”虛擬工位環境中[6]，通過VR手柄，拿起場景中的鈑金錘，打磨機等工具，走到損傷車門前，進行修復作業，操作完成后，調出考評模塊進行考核，返回的成績信息將被記錄在數據庫中。

2 系統硬件配置

為增強學員在虛擬環境中的沉浸感和想象性，提高人機交互的流暢性、舒適性[7]，虛擬現實技術相關硬件設備發展迅速。本文系統使用HTC與Value公司共同開發的一款頭戴顯示器HTC vive[8]，其使用一塊OLED屏幕，單眼有效分辨率為 1 200×1 080，雙眼合并分辨率為 2 160×1 200，畫面刷新率為 90Hz，延遲為22ms，實際體驗為零延遲，無眩暈感[9]。2 000分辨率降低了畫面顆粒感，沒有紗門效應。近視在400度以下者無需佩戴近視眼鏡依然能看清畫面細節。兩個單手持控制器，配備 24 個感應器、多功能觸摸板、雙階段觸發器、高清觸覺反饋與可充電電池。內置定位系統（Lighthouse），可同時追蹤顯示器與控制器位置，追蹤位置4.5*4.5m，內部有Steam box主機、光敏傳感器、陀螺儀、加速度計等。嵌入高精度激光定位傳感器，追蹤精度為0.1度[9]。Lighthouse由兩個可移動便捷基站組成，基站的LED閃光與頭盔及手柄光敏傳感器信號同步，根據位置差計算學員當前位置。

在PC機上調試HTC，系統PC機CPU為英特爾酷睿i7 8700K（6-核/12-線程，12MB 緩存，最高可超頻至 4.6GHz），顯卡為NVIDIA Forced GTX 1080 Ti含11GB GDDR5X，16GB內存[10]，單通道為HyperXDDR4 XMP 2933MHz專業版本。將HTC live與PC機連接后，搭建基站，選擇進入房間校準頭盔與手柄的位置，運行軟件系統，調試距離與高度。

3 關鍵技術

通過3Dmax建模軟件、unity3D引擎、HTC vive硬件設備開發系統的流程如圖2所示。首先通過獲取的車間、車身設備、維修工具等照片與圖紙進行三維可視化建模，模型質量直接關系到系統性能與界面美觀性，因此模型的合理制作與多級處理是開發中的重要技術;然后將處理過的模型導入unity3D引擎中，開發交互功能，完成所有虛擬維修工作流程[11]。因程序量大，所以系統邏輯功能與層級關系應合理流暢，如何維持運行穩定是系統技術難點;最后接入HTC vive硬件設備，實現沉浸式教學，學員能夠進入虛擬工位進行相關操作，將現實世界與虛擬世界進行連接，在現實中控制虛擬場景中的設備。

圖2 系統開發流程

3.1 三維可視化建模技術

汽修設備與工作環境的建模分為基本模型構建與添加材質紋理兩個部分?；灸Ｐ蜆嫿ㄐ鑷栏癜凑誄AD圖紙與照片等素材數據進行規范建模[12]，力求與生產工藝保持一致，為模型添加貼圖、材質、細節，能使模型看上去更加真實，添加材質時對光線參數進行調節，如增添金屬邊緣高光反射、燈光下設備背面的陰影。

設備基本模型主要利用3Dmax建模軟件完成，PS輔助貼圖的制作。3Dmax建模方式有多種，可分為網格建模、多邊形建模、樣條線建模。系統使用多邊形建模完成車間環境與維修工具的制作，在構建模型時，在最簡單的模型如長方體圓柱體的基礎上，添加點線面，并使用擠出、塌陷、切割等快捷命令將基本模型逐漸勾勒成目標形狀，不停地添加點、線進行位置調整，使模型更加精致，在建模時刪除看不見的面，減少場景面數，提高系統性能[13]。

場景基本模型制作完成后，需要對模型添加紋理信息與顏色信息。為使模型更加逼真，直接將原物體部分圖片貼在材質球上，再將材質球附著到模型上，為材質球添加環境光，勾選菲涅爾設置，模擬模型處在真實自然環境中的光線效果，高光與陰影十分逼真。真實設備表面一般有些灰層，為表現出粗糙感、顆粒感，在材質球上添加紋理貼圖，將紋理貼圖與顏色貼圖相互疊加后，模型表面基本接近真實物體[14]。在制作貼圖時為保證不會出現拉伸與扭曲現象，應先將模型的UV模板拆開展平，再調整貼圖大小，使其與UV模板完全一致。菱線拉力器模型處理前后對比如圖3所示。為使場景更加美觀，打上3層燈光，一層主照明，兩層補光，使畫面看起來更加明亮。

（a）菱線拉力器? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （b）拉力器支腿

（c）基本模型? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （d）上材質后模型

圖3 基本模型與添加材質后對比

3.2 沉浸式培訓系統

3.2.1 車間漫游

在虛擬工作環境中漫游，給學員身臨其境的真實感。學員戴上VR頭盔后可以通過手柄選擇想要進入的工位，每個工位環境相同，作業內容與使用的設備不同。學員首先熟悉工作環境，瀏覽工具位置，進行360度視角環繞觀察，與到達真實現場的感受一致。場景漫游如圖4所示。

圖4 車間場景漫游

將模型導入到unity3D引擎后，調整各模型位置，為增強畫面效果，調節室內光線亮度[15]，引入Vive Input Utility插件，該插件是在steam VR的基礎上進行開發的。將Prefabs的CameraRig拖入到場景中，將HTC vive頭戴顯示器與unity3D場景進行連接，調節CameraRig的Steam VR_Play Area腳本參數，設置學員移動區域，避免撞墻或者移動到場景范圍之外。運行系統時，學員戴上VR頭盔后拿起手柄，CameraRig的Steam VR_Tracked Object腳本實時跟蹤學員位置，將位置信息在unity3D場景中進行同步，學員便可以在虛擬場景中自由移動，為使學員漫游時移動方便，在左手手柄model上添加VTRK_ControllerEvents、VRTK_Pointer、VRTK_Bezier Pointer Renderer3個腳本組件，實現瞬移功能[16]。

3.2.2 設備交互

學員進入虛擬工位后，可與操作設備進行交互，在虛擬場景中，使用手柄接觸設備，當手柄進入設備collision碰撞器區域內，界面彈出設備信息，如設備名稱、設備型號、設備功能的簡單介紹等。按下手柄扳機鍵，工具會被手柄抓起，對工具進行移動旋轉，使用模擬工具。學員可以將工具拉近到眼前從各個角度觀察工具結構，借助文字標注，盡快掌握工作流程中各工具的用法。模擬物體力學時，為各工具模型添加Rididbody組件，勾選Use Gravity，為模型添加質量與重力，松開手柄扳機鍵后，工具從手中掉落。

在與設備交互時，手柄模型、工具模型均配置Collision碰撞器，實時檢測碰撞器的碰撞信息，當檢測到與工具模型碰撞器接觸的是手柄碰撞器[17]，觸發程序命令，調出設備信息面板。在手柄上添加VRTK_ControllerEvents腳本組件，監聽手柄的輸入信息，當扣下扳機鍵，工具模型位置與手柄位置相對靜止，實現抓取功能，如圖5所示。

（a）彈出設備信息? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （b）拿起鈑金錘

圖5 設備交互

3.2.3 考核平臺

為檢驗學員培訓效果，開發考核模塊。根據工作流程中涉及到容易操作失誤的知識點設計考核題目，學員在完成培訓內容后，使用VR手柄選擇考核子模塊并填寫學員信息，教員登入后具有后臺管理權限，可實時更改題目與每道題分值，學員每次考核卷面及系統自動返回的成績信息將保存在SQL server數據庫中，學員可隨時調出數據庫表單進行查閱[18]。

系統使用Transact-SQL腳本語句開發數據庫保存信息的功能，在數據庫中添加CREATE、INSERT、SELECT語句為學員考核信息創建數據表單，并通過腳本程序對數據進行修改、插入等操作。分別為學員與教員設置Students_table和Teacher_table兩份不同的數據表，教員有修改學員數據表的權限。

4 系統發布

沉浸式車身修復教學系統開發完成后，對系統進行適配與發布。unity3d引擎支持一鍵發布成.exe應用程序結合AndroidSDK與java虛擬機，可發布成.apk安卓版應用程序，同樣支持發布webGL網頁端。本次系統發布為exe單機版，將創建的4個場景按照順序添加到Sence In Build中，在Build之前對屏幕分辨率進行適配處理，將UI畫布中的Scale Mode設置為Scale With Screen模式，在系統啟動腳本的Awake方法中加入Screen。設置SetResolution（1280，700，false）程序命令運行窗口的長、寬[19]，發布的exe文件可直接點擊運行，如圖6所示。

（a）主界面? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（b）考核模塊登陸界面

圖6 系統發布運行

5 結語

本文采用虛擬現實的實驗課程擺脫了傳統教學模式，能夠模擬真實的實驗場景，為學員提供多種感官刺激。在實驗過程中，虛擬現實可以提供專業知識的游戲教學模式，激發學員強烈的學習欲望，提高學員學習興趣。每個學員均可參加虛擬實驗的課堂[14]，解決了部分學員無法參與動手的弊端，提高了學員學習積極性。學員先在虛擬維修環境練習后，再進行實際維修作業可以減小、避免錯誤操作，減小對設備的損壞，降低設備維修成本[20]。沉浸式車身修復教學系統具有價格低、擴展性強的特點，而且可以長期反復使用。

軟件系統教學任務依據實際汽車維修工作，將理論知識點、技能仿真訓練、職業素養結合到學習任務中，學員按照學習任務進行學習，即可達到教學與仿真實訓的目的[21]。該系統在高校與企業中的培訓效果顯著，將難以在傳統教學中有效教授的知識難點生動地展現出來，同時解決了理論學習內容枯燥、學生學習興趣低的問題。虛擬現實技術在教學中的應用是一種趨勢，將為傳統教學方式帶來顛覆性改革。

本文系統以車身修復為例，解決了當前高校與企業最為關心的培訓成本問題，系統中將前沿科技應用到實際生活中，解決了實際問題。但由于虛擬現實技術尚未成熟，系統中對汽修原理性知識點仿真成果較少，下一步研究重點是縱向原理問題的仿真，將抽象原理可視化，同時橫向擴展虛擬現實技術在其它領域的應用。

參考文獻：

[1] 陳衛國. 基于虛擬仿真技術的汽車維修教學系統的研究與設計[J]. 科技創新導報，2017（4）：160-161.

[2] 蔡偉明. VR技術在汽車職業教育領域中的應用綜述[J]. 漳州職業技術學院學報，2017，19（1）：78-81.

[3] 滕菲，李慶華，李未. 虛擬現實技術在汽車類專業實驗教學中的應用[J]. 吉林工程技術師范學院學報，2018（1）：90-93.

[4] 董春俠，司占軍. 基于Unity3D的虛擬校園App設計與開發[J]. 軟件導刊，2017，16（2）：94-96.

[5] 岑煥云. 中職汽修專業數學課程開發初探[J]. 職教論壇，2007（18）：51-52.

[6] 王大虎，劉海洋，王敬沖. 基于虛擬現實的采煤機培訓系統開發[J]. 計算機仿真，2015，32（6）：262-265+283.

[7] 陳剛，趙魯冰，陳偉，等. 基于虛擬現實技術的配電安全規范培訓系統研究[C]. 成都：中國電機工程學會年會，2013.

[8] 梁功濤. 基于FPGA的一維激光位移傳感器的研究[D]. 哈爾濱：哈爾濱工業大學，2013.

[9] 張奇知，王興魯. 工業產品虛擬展示系統設計與開發[J]. 電子世界，2017（7）：184-185.

[10] 魯哲. 中職學校汽修專業學生實踐技能培養的對策研究[D]. 煙臺：魯東大學，2014.

[11] 張進. 淺談中職汽修專業教學中存在的問題和對策[J]. 才智， 2011（1）：291.

[12] 張弘. 面向Web3D應用的虛擬場景輕量化建模[C]. 2010國際數字科技博物館學術論壇暨數字科技館技術與應用研討會，2010：218-222.

[13] 郭艷. 基于3ds Max和Virtools的虛擬校園漫游系統設計與實現[D]. 成都：電子科技大學， 2014.

[14] 汪立亮. 基于虛擬現實技術課程資源建設實踐——以蘇教社國示范校汽車維修專業核心課程系列教材為例[J]. 云南開放大學學報，2018（1）：13-16.

[15] 林娟. 虛擬現實及其在汽車維修專業教學中的應用[J]. 新課程學習，2014（11）：222-223.

[16] 王偉. 汽修虛擬仿真實訓教學方案[J]. 工程技術：引文版：32.

[17] 丁秀云. 表單用戶界面自動生成方法的研究[D]. 濟南：山東大學，2007.

[18] 文敏飛，尚林燕，張帥武，等. 虛擬現實技術在汽修專業信息化教學中的應用分析[J]. 湖北工業職業技術學院學報， 2017， 30（2）：108-111.

[19] 王長亮. VR虛擬現實在汽車專業實訓教學中應用[J]. 現代經濟信息，2017（21）：397-397.

[20] 左華山，樊少軍. 虛擬現實技術在汽車故障教學中的應用思考[J]. 讀寫算：教師版， 2017（23）：23.

[21] 龐建剛. 淺析虛擬現實技術（VR）在網絡化教學中的應用[J]. 江蘇商論，2005（4）：57-58.

（責任編輯：江 艷）