虛擬現實技術在礦山重型裝備行業中的應用

劉 秀，王靜婕，黃 濤，孫 薛，胡雅晴

1洛陽礦山機械工程設計研究院有限責任公司 河南洛陽 471039

2礦山重型裝備國家重點實驗室 河南洛陽 471039

3中信重工機械股份有限公司 河南洛陽 471039

虛 擬現實最早起源于 20 世紀 60 年代，其后科學家將虛擬現實應用于宇航員的培訓中，直到 20 世紀 80 年代，美國計算機科學家杰倫·拉尼爾首次提出關于虛擬現實的概念，即利用電腦模擬產生三維虛擬世界，提供給使用者關于視覺、聽覺、觸覺等感官的模擬[1]。目前虛擬現實主要包括增強現實 (AR)、虛擬現實 (VR)、混合現實 (MR)、擴展現實(XR) 等，隨著科技的進步，虛擬現實的分支將逐漸融合，無明顯分類。

隨著計算機技術、智能及時通信技術、智能穿戴技術和無人機技術等共性技術的快速發展，人機交互技術、傳感技術、人工智能、5G 技術、工業互聯網技術和數字孿生技術等國家基礎科研建設水平的不斷進步完善，光學動作捕捉技術、近眼現實技術、多感官協調技術、全景攝錄技術、三維掃描技術和虛擬偶像等前沿技術在虛擬現實中得到了深入的應用，虛擬現實技術也從被動、單向的交互模式逐漸向主動、互動、立體的交互模式發展。針對虛擬現實技術的應用，國內學者已經在機械設計、產業鏈設計、工業設計等諸多領域進行了多層次的深入研究[2-5]。目前，虛擬現實技術、增強現實技術與混合現實技術已經交叉應用于制造業、建筑業、旅游業、娛樂業等諸多領域[6-15]。

1 虛擬現實概況

1.1 系統組成

虛擬現實技術系統如圖 1 所示，主要由輸入系統、處理系統、輸出系統組成。

1.1.1 輸入系統

虛擬現實的輸入方式主要有空間定位、手勢交互、腦機交互、眼動追蹤和語音交互等，通過圖像傳感器、聲音傳感器、動作捕捉傳感器、手勢跟蹤傳感器、眼動傳感器、氣體傳感器、SLAM 傳感器及光學傳感器等技術進行數據采集，再通過射頻芯片、藍牙芯片、WiFi 芯片及 NFC 芯片等通信模塊傳輸給數據處理系統。傳感器及芯片通常集成在頭戴可視設備和數據手套等 VR 設備上。

1.1.2 數據處理系統

數據通過全方位的采集，載入性能卓越的操作系統，利用專業軟件前期開發的程序，通過云計算、邊緣計算等技術，經過計算機處理后得到具有三維空間坐標的數據。

1.1.3 輸出系統

輸出方式主要包括及時輸出系統和數據輸出系統。

及時輸出通常有 VR 頭盔、手柄、顯示器、裸眼3D 和 360°全景顯示等設備，其中應用于 VR 頭盔的近眼顯示技術為 VR 顯示的核心技術。

數據輸出系統主要是指把虛擬交互過程中產生的數據上傳于互聯網云平臺，通過進一步處理反饋給使用者，同時也可以上傳使用者的動態數據。

1.2 基本特性

虛擬現實的特性如圖 2 所示，主要包涵多感知性、浸沒感、交互性、構想性等。

2 關鍵技術

虛擬現實綜合了多種現代技術，主要包括模型建立技術、虛擬現實開發處理技術和交互技術等，如圖3 所示。由于虛擬現實需要得到圖像、聲音、動作以及觸覺等各方面的綜合體驗，所以在礦山重型裝備制作開發的過程中，要求從業人員掌握三維圖形技術、圖形跟蹤捕捉技術、觸覺反饋技術、力覺反饋技術、網絡傳輸技術、語音輸入技術、UI 虛擬增強現實技術等各方面專業的知識技能。

2.1 模型的建立

礦山重型裝備設備目前比較成熟的建模方式主要有三維軟件、三維掃描和光場捕捉建模。

2.1.1 三維軟件建模

三維建模軟件種類繁多，主流三維軟件主要有3Ds max、Solid Works、Blender、Maya、Z-brush、A-Frame、Open VR 等，運用一款或者幾款軟件在計算機中進行建模，構建在x、y、z坐標軸具有精確數據的模型，計算機通過坐標、材質、法線、邏輯關系、運動方式、物體間相互間作用等眾多維度的信息，在虛擬空間中形成具有唯一屬性的虛擬模型。

2.1.2 三維掃描建模

三維掃描建模采用相機、無人機等物理硬件，對物體輪廓、外形、色彩及材質進行掃描，以獲得物體外表面的空間坐標。掃描的數據輸入計算機等設備進行拓撲優化、法線歸納和破面修補，最后進行模型優化，可極大縮短建模時間。

2.1.3 光場捕捉建模

光場捕捉建模最早由谷歌公司于 2020 年發布，它運用了視覺感知技術，通過預設置，將空間里人眼看到的光線進行采集重建。光場相機通常由數百個小攝像頭集打造的，這個方案的原理類似于蒼蠅的復眼，每一個攝像頭可以從不同的角度捕捉周圍的場景，將多方向的視角合并為一個視角。利用光場相機陣列和深度相機采集物體對象的三維信息，然后利用Volume Tracy 等軟件進行 CG 內容渲染合成，從而獲得更加真實、精確、動態的數據模型。

礦山重型裝備虛擬交互建模，目前主要依賴于軟件，因其更偏重于功能方面的虛擬交互，是現在主要的建模方式。

2.2 開發引擎

目前虛擬現實主流的開發引擎主要包括 Unity 3D、Unreal (虛幻引擎)、Cocos creator 等，通過模型的導入，運用 C++、C# 和 JavaScript 等腳本語言進行編輯處理。前期的數據處理主要包括物理控制器、約束編輯、骨骼動畫系統、粒子特效編輯、數據驅動的控制器和漫游控制等，編輯器可以在 Windows、Mac、OS 等平臺運行，通過數據處理最終實現虛擬交互，可發布至 Windows、Mac、iPhone、Android 等平臺，同樣也可以發布到虛擬交互硬件。

上述開發引擎主要應用與游戲產業，在礦山重型裝備并未得到廣泛的應用。礦山重型裝備的虛擬現實的開展，需要借鑒游戲行業的成功案例。

2.3 交互

虛擬現實交互的優劣性，主要取決于硬件設備性能和用戶體驗。

通過開發引擎所獲得的內容與硬件建立連接，硬件兼具輸入、數據處理、輸出功能，性能優秀的硬件設備可使得虛擬交互更加流暢，目前虛擬現實的硬件技術已經非常成熟，并廣泛應用于游戲、娛樂等行業。

用戶體驗要充分考慮用戶邏輯行為，面對產品、環境時的思維變化、心理感受、行為動作、交互界面等諸多因素，按照工業設計流程進行最優化設計。虛擬現實是對復雜數據進行可視化操作，用戶體驗至關重要，為了體驗的藝術性和舒適性，在交互的過程中，用戶體驗設計可以有效提升虛擬現實的交互感受。

3 虛擬現實技術應用實例

隨著虛擬現實技術的不斷成熟，大量資本涌入該行業，科技巨頭搶灘布局，可以預見虛擬現實技術將對各行各業都產生巨大的推動作用。目前在輕工業、娛樂業、科研、醫療等行業，虛擬現實技術已經得到了廣泛的應用。在礦山重型裝備領域，隨著工業互聯網、智能制造、數字化等技術的不斷融合，虛擬現實技術在該領域被應用于研發制造、迭代優化、市場營銷及安裝維護等環節。

3.1 虛擬工廠規劃

礦山重型裝備制造廠房占地面積大，生產設備體積大、噸位重，合理有效的工廠規劃對于一個企業尤為重要。虛擬現實技術的應用，可對工廠的規劃、布局、流程、工程推進、設計管理進行直觀地評估，為設計方案提供可視化數據。

利用虛擬現實技術，按照工程項目設計的標準和要求進行整體規劃，建立精確的數字模型，可以在總體規劃階段及時發現設計缺陷，并及時加以優化完善。在詳細設計階段，設施的一些基本屬性如材質、顏色等，可通過修改參數即時得到可視化效果。工廠內生產設備的布置，通過模塊化設計，進行排列組合，最終選用便于組織生產、最合理的布局，從而縮短工廠設計周期，提高整個項目的推進速度及質量。虛擬現實技術在智能工廠規劃中的應用如圖 4 所示。在某智能工廠項目數字化車間的規劃過程中，虛擬現實技術結合離散型制造特點，最終形成了全數字化柔性可重構智能裝配車間解決方案。

3.2 虛擬樣機

利用計算機技術建立機械設備三維數字化模型，按照設備在現實中運行原理進行模擬其作業過程，以驗證該設備的整體性能，為機械設計人員提供一個全新的設計驗證方法。利用虛擬現實對其性能進行預測和評價，及時發現設計缺陷并進行優化，可有效縮短設計周期、節約制作成本。

另外，在電動汽車領域，虛擬現實和增強現實技術應用于無人駕駛已日益完善。在礦山機械領域，我們同樣可以借助虛擬現實實現遠程操作，可以極大減少操作人員，保障人員安全和設備安全運行。虛擬樣機與傳統設計的對比如表 1 所列。

表1 虛擬樣機與傳統設計的對比Tab.1 Comparison between virtual prototype and traditional design

3.2.1 安裝維修

利用虛擬現實，可以直觀地向客戶介紹產品的安裝步驟、調試要點及設備維修的具體操作步驟，與傳統的設備說明書相對比，虛擬現實更直觀、更有可操作性。設備模擬安裝如圖 5 所示。

3.2.2 虛擬試驗及測試

虛擬現實可以模擬重型裝備產品運行過程中的實際工況，采集運行過程中的數據，為設計人員提供詳細的試驗測試數據，提供更多的設計思路，從而使設計更合理，更具有創新性、前瞻性，減少了產品的迭代成本。設備模擬運行如圖 6 所示。

3.2.3 虛擬營銷展示

在礦山重型裝備，傳統的營銷方式主要包括文字介紹、語音介紹、圖片樣本展示及視頻展示，客戶被動接受產品的信息，與產品之間無法進行互動，營銷人員無法快速精確地找到客戶的關注點。虛擬營銷展示可以利用虛擬現實的多感知性、交互性、浸沒感等特點，讓客戶以最短的時間直觀感受到諸如核心部件結構、生產效率、能耗和安裝維護等關鍵屬性特征，大大提升了營銷效率，提高了營銷的成功率。

4 結語

通過虛擬現實技術，可以有效地把礦山重型裝備的研發設計、生產制造、投產使用，用戶反饋、設計改進這一流程整合，使產品設計師、營銷人員、客戶、維修維護人員都參與其中每一個環節，及時發現各種問題，并采用最低成本進行解決，從而提供更好的設計產品及服務。

我國已經向世界宣布力爭在 2030 年前實現碳達峰，努力在 2060 年前實現碳中和。新一代信息技術在機械行業已得到深入應用，伴隨著綠色制造的興起，我國相關產業政策對于虛擬現實支持力度不斷加大，虛擬現實技術將在新產品研發、智慧礦山、智能人機交互及工業設計等更多環節得到廣泛的應用，對于整個行業在系統優化、生產模式創新、產業孵化等方面將產生積極的影響。