VR／AR與智能制造：應(yīng)用領(lǐng)域、核心技術(shù)

陳和恩 何漢武 吳悅明

關(guān)鍵詞：智能制造;VR/AR;核心技術(shù);交互技術(shù)

0引言

智能制造（Intelligent Manufacturing）是制造技術(shù)、數(shù)字技術(shù)、智能技術(shù)及新一代信息技術(shù)的融合。數(shù)字技術(shù)是制造裝備智能化、設(shè)計(jì)過程智能化、加工工藝優(yōu)化、管理信息化和服務(wù)敏捷化、遠(yuǎn)程化的關(guān)鍵。

為了使制造業(yè)變得越來越智能，新的智能制造系統(tǒng)需要無縫連接物理世界和數(shù)字世界。虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)，即VR（Virtual Realilv）/AR（AugmentedRealitv），因?yàn)榫哂袕?qiáng)大的數(shù)據(jù)可視化和交互性、沉浸性的特點(diǎn)而被譽(yù)為是一種可以拓展人類感知能力、改變產(chǎn)品形態(tài)和服務(wù)模式的新興技術(shù)。對(duì)制造業(yè)而言，其改變了產(chǎn)品研發(fā)過程中的信息流;為制造過程提供可視化、輔助和擴(kuò)展空間;有助于在開發(fā)過程的早期階段發(fā)現(xiàn)并避免設(shè)計(jì)錯(cuò)誤;減少了物理原型的數(shù)量，并為企業(yè)節(jié)省了時(shí)間和成本。在許多智能制造應(yīng)用中，VR/AR被認(rèn)為是改善和加速產(chǎn)品和工藝開發(fā)的寶貴工具。

VR/AR作為新一代計(jì)算平臺(tái)，支持人類對(duì)智能制造系統(tǒng)產(chǎn)生的大量數(shù)據(jù)進(jìn)行實(shí)時(shí)的、與生產(chǎn)背景相關(guān)的可視化訪問。雖然人工智能、數(shù)字化技術(shù)取得長(zhǎng)足發(fā)展，但很長(zhǎng)一段時(shí)間內(nèi)人類仍將在制造操作中扮演著不可或缺的角色，VR/AR是實(shí)現(xiàn)以人為本的智能制造的核心技術(shù)。

虛擬現(xiàn)實(shí)技術(shù)具有“3I”的基本特性：沉浸（Immersion）、交互（Interaction）和想象（Imagina-tion）。增強(qiáng)現(xiàn)實(shí)技術(shù)具有3個(gè)基本特征：虛實(shí)融合、實(shí)時(shí)交互以及三維注冊(cè)。

VR/AR主要有可視化模塊、傳感器模塊、跟蹤模塊、交互模塊4個(gè)功能模塊，具體如下。

（1）可視化模塊

增強(qiáng)現(xiàn)實(shí)的可視化模塊顯示虛實(shí)融合的內(nèi)容。

（2）傳感器模塊

該模塊獲取物理世界信息。攝像機(jī)是獲取周圍環(huán)境信息最多的傳感器。三維體感交互技術(shù)飛速發(fā)展，飛行時(shí)間（time of flight，TOF）和Lidar設(shè)備不斷小型化和降低成本，使得這些傳感器也逐漸成為VR/AR的應(yīng)用配置。

（3）跟蹤模塊

跟蹤模塊實(shí)現(xiàn)對(duì)VR/AR設(shè)備的空間姿態(tài)求解，以根據(jù)姿態(tài)疊加虛擬信息。

（4）交互模塊

交互模塊除了傳統(tǒng)的鼠標(biāo)鍵盤交互方式，還有手勢(shì)識(shí)別交互，有些體感交互設(shè)備能夠?qū)⒄鎸?shí)世界的人體運(yùn)動(dòng)映射到虛擬空間中，從而拓展了人機(jī)交互通道。

本文通過綜述VR/AR在裝配應(yīng)用、維護(hù)和培訓(xùn)、產(chǎn)品測(cè)評(píng)、智能工廠布局、物流和倉(cāng)儲(chǔ)管理5個(gè)領(lǐng)域的研究和應(yīng)用現(xiàn)狀，分析了其中的核心技術(shù)和當(dāng)前面臨的挑戰(zhàn)，給出未來的發(fā)展方向。

1 VR/AR在智能制造中的應(yīng)用

VR/AR在其他行業(yè)，如游戲、娛樂以及物流業(yè)都發(fā)揮重要作用。但在制造業(yè)，很多的VR/AR應(yīng)用都處于探索和發(fā)展階段。

隨著市場(chǎng)需求增多，VR/AR獲得技術(shù)以及資金的支持力度也大幅度增加，其已經(jīng)滲透到智能制造中的各個(gè)階段。VR/AR在裝配應(yīng)用、維護(hù)和培訓(xùn)、產(chǎn)品測(cè)評(píng)、智能工廠布局、物流和倉(cāng)儲(chǔ)管理發(fā)揮廣泛作用，能大幅度提升設(shè)計(jì)、生產(chǎn)、裝配、規(guī)劃和物料管理效率。

1.1裝配應(yīng)用

虛擬裝配通過建立一個(gè)多感知通道的虛擬環(huán)境，使用戶可以進(jìn)行人機(jī)交互式的裝配操作，利用虛擬裝配技術(shù)可以優(yōu)化機(jī)械產(chǎn)品的設(shè)計(jì)和規(guī)劃，亦可以用于培訓(xùn)裝配操作人員。眼部和頭部追蹤技術(shù)是該應(yīng)用的核心技術(shù)，快速精準(zhǔn)的眼部和頭部追蹤可以提供良好的拆裝體驗(yàn)。

國(guó)內(nèi)外對(duì)虛擬裝配與拆卸系統(tǒng)已經(jīng)有不少研究成果。西門子公司利用虛擬現(xiàn)實(shí)進(jìn)行沉浸式設(shè)計(jì)，精準(zhǔn)的頭部和眼部跟蹤可讓工程師通過虛擬數(shù)字空間和產(chǎn)品數(shù)字孿生進(jìn)行交互，通過評(píng)估產(chǎn)品的人機(jī)工程細(xì)節(jié)，可以減少初期設(shè)計(jì)問題，圖1所示為西門子虛擬裝配應(yīng)用。Nicholas等研發(fā)了以數(shù)據(jù)手套和頭戴式顯示器進(jìn)行交互的醫(yī)療器械裝配訓(xùn)練系統(tǒng)，該系統(tǒng)利用質(zhì)量一彈簧一阻尼器模型構(gòu)建了碰撞檢測(cè)交互，抓取仿真度高，從基于任務(wù)到基于動(dòng)作的多級(jí)訓(xùn)練場(chǎng)景，學(xué)員可在系統(tǒng)中以難度遞進(jìn)的方式訓(xùn)練。

當(dāng)前VR/AR在裝配應(yīng)用中面臨的挑戰(zhàn)：由于追蹤技術(shù)無法實(shí)時(shí)、準(zhǔn)確求解用戶的位置和姿態(tài)，導(dǎo)致了圖像刷新滯后，產(chǎn)生用戶視覺畫面無法精確匹配用戶的運(yùn)動(dòng)，長(zhǎng)時(shí)間使用會(huì)產(chǎn)生暈眩感。因此，VR/AR的追蹤傳感器和相應(yīng)算法需要進(jìn)一步發(fā)展，同時(shí)，實(shí)時(shí)顯示圖像的渲染、刷新速度以及策略，需要針對(duì)裝配應(yīng)用場(chǎng)景進(jìn)行研究和開發(fā)。為了增加沉浸感，虛擬模型物理屬性的重構(gòu)和交互也是未來的發(fā)展方向。

1.2維護(hù)和培訓(xùn)

國(guó)際數(shù)據(jù)公司（IDC）預(yù)測(cè)，在未來4年中，基于AR/VR技術(shù)的維護(hù)操作指引將吸引的投資高達(dá)3.62億美元。到2021年底，工業(yè)維修預(yù)計(jì)將成為最大的行業(yè)藍(lán)海，引來預(yù)計(jì)高達(dá)52億美元的投資。通過增強(qiáng)的三維虛實(shí)融合技術(shù)，解放操作者雙手，為維修人員、裝配技術(shù)工人邊查看資料邊對(duì)設(shè)備進(jìn)行裝拆的現(xiàn)狀提供了新方法與新思路。

物體跟蹤和虛實(shí)配準(zhǔn)技術(shù)是AR在維護(hù)和培訓(xùn)應(yīng)用的核心技術(shù)。跟蹤指的是確定某設(shè)備在物理世界中的位置和姿態(tài)。配準(zhǔn)是在跟蹤的基礎(chǔ)上，把虛擬信息疊加在真實(shí)設(shè)備上，從而完成虛實(shí)融合的目標(biāo)。裝配體驗(yàn)需要魯棒穩(wěn)定的配準(zhǔn)技術(shù)作支撐。

德國(guó)汽車生產(chǎn)商BMW公司提出的一套基于增強(qiáng)現(xiàn)實(shí)技術(shù)的裝配訓(xùn)練指引系統(tǒng)，如圖2所示。操作者通過頭盔顯示屏，閱讀三維裝配指引信息，對(duì)發(fā)動(dòng)機(jī)進(jìn)行裝配。

廣東工業(yè)大學(xué)何漢武教授團(tuán)隊(duì)設(shè)計(jì)了基于微軟公司新型AR頭盔Hololens的基站天線板布線輔助裝配系統(tǒng)，讓操作者根據(jù)增強(qiáng)現(xiàn)實(shí)的指引完成多個(gè)工序的接插線操作。系統(tǒng)帶有錯(cuò)誤檢測(cè)模塊，能對(duì)誤裝、漏裝進(jìn)行檢查和提示。

當(dāng)前VR/AR在維護(hù)和培訓(xùn)應(yīng)用方面面臨的挑戰(zhàn)是由于跟蹤技術(shù)無法實(shí)時(shí)準(zhǔn)確求解用戶的位置和姿態(tài)，導(dǎo)致了無法實(shí)時(shí)進(jìn)行虛實(shí)配準(zhǔn)，實(shí)際運(yùn)行過程中環(huán)境光線、抖動(dòng)等都會(huì)影響系統(tǒng)的運(yùn)行。同時(shí)，如何把傳統(tǒng)二維的維護(hù)和培訓(xùn)說明書轉(zhuǎn)成面向AR應(yīng)用的三維可視化信息也是VR/AR發(fā)展面臨的難題。因此，高效的跟蹤算法和配準(zhǔn)算法是當(dāng)前研究的主要方向，方便、易用、功能強(qiáng)大的VR/AR三維可視化內(nèi)容開發(fā)工具和平臺(tái)將受到青睞。

1.3產(chǎn)品測(cè)評(píng)

產(chǎn)品測(cè)評(píng)是產(chǎn)品設(shè)計(jì)的重要階段，對(duì)于從用戶對(duì)功能、美學(xué)或可用性等不同領(lǐng)域的看法中獲得反饋，以及確保產(chǎn)品特性滿足用戶需求有重要意義。數(shù)字孿生是VR/AR在產(chǎn)品測(cè)評(píng)應(yīng)用的核心技術(shù)。為了提高測(cè)評(píng)的可信度，要提高數(shù)字孿生產(chǎn)品的真實(shí)程度。需要對(duì)產(chǎn)品的幾何、材料、顏色、光照、物理以及應(yīng)用環(huán)境進(jìn)行重構(gòu)和建模。

ESI公司開發(fā)的虛擬現(xiàn)實(shí)測(cè)評(píng)應(yīng)用系統(tǒng)，可從不同階段對(duì)產(chǎn)品進(jìn)行測(cè)評(píng)，從而降低開發(fā)成本，減少開發(fā)周期，如圖3所示。上海通用汽車廠開發(fā)了一個(gè)通過增強(qiáng)現(xiàn)實(shí)技術(shù)對(duì)汽車擋風(fēng)玻璃進(jìn)行性能評(píng)測(cè)的系統(tǒng)。用戶坐在一個(gè)沒有擋風(fēng)玻璃的實(shí)驗(yàn)平臺(tái)上（經(jīng)改裝過的汽車），當(dāng)用戶戴上頭盔，系統(tǒng)會(huì)自動(dòng)把設(shè)計(jì)好的虛擬擋風(fēng)玻璃疊加到真實(shí)環(huán)境中去，讓用戶可以直觀地感受加裝擋風(fēng)玻璃后對(duì)路面產(chǎn)生的變形是否能滿足要求。通用電氣旗下意大利機(jī)械工廠的工人采用增強(qiáng)現(xiàn)實(shí)技術(shù)，在燃?xì)廨唶娮熘圃熘携B加虛擬圖像，能對(duì)噴嘴的數(shù)十個(gè)指標(biāo)進(jìn)行精確測(cè)量。

當(dāng)前VR/AR在產(chǎn)品測(cè)評(píng)面臨的問題是由于孿生模型不夠逼真、不具備相應(yīng)的物理屬性，因而無法產(chǎn)生有效測(cè)評(píng)數(shù)據(jù)。在下一步的研究中，需要針對(duì)特定制造領(lǐng)域，根據(jù)模型的復(fù)雜程度和真實(shí)期望，采用多種方法進(jìn)行建模，形成合理的模型數(shù)據(jù)。

1.4智能車間布局

智能制造中，生產(chǎn)場(chǎng)地車間的布局是一個(gè)關(guān)鍵環(huán)節(jié)。布局要解決的問題是合理利用場(chǎng)地空間使得生產(chǎn)和物流合理、高效。除此之外，為了滿足對(duì)定制產(chǎn)品日益增長(zhǎng)的需求，要讓制造過程變得更靈活并具有自適應(yīng)性。針對(duì)市場(chǎng)需求的產(chǎn)品，快速布置生產(chǎn)線，調(diào)整車間布局，實(shí)現(xiàn)快速市場(chǎng)響應(yīng)是VR/AR在智能車間布局的重要應(yīng)用。

精準(zhǔn)是AR在智能車間布局應(yīng)用的關(guān)鍵要素。AR為車間布局、重建或生產(chǎn)線重置提供決策依據(jù)，其必須可靠。這需要通過相應(yīng)的硬件和軟件來提供準(zhǔn)確的輸入數(shù)據(jù)。

精確的跟蹤、配準(zhǔn)和數(shù)字孿生技術(shù)是AR在智能車間布局應(yīng)用的核心技術(shù)。為了提供可靠的車間布局可視化信息，首先要降低來自硬件的誤差，對(duì)標(biāo)定、相機(jī)去畸變、傳感器狀態(tài)要建立優(yōu)化模型;其次要實(shí)現(xiàn)車間生產(chǎn)線、設(shè)備與相應(yīng)數(shù)字孿生的一致性映射，讓數(shù)字孿生能真實(shí)模擬車間運(yùn)行狀況，提供可靠的決策信息和數(shù)據(jù)。

吳悅明等采用數(shù)據(jù)手套和磁跟蹤器作為手勢(shì)輸入設(shè)備，使用移動(dòng)終端作為輔助可視化設(shè)備，設(shè)計(jì)一套可用于設(shè)備擺放、車間布局的AR系統(tǒng)，系統(tǒng)對(duì)環(huán)境要求不高，對(duì)光照有很好的魯棒性，如圖4所示。該系統(tǒng)對(duì)車間工作環(huán)境以及各種虛擬生產(chǎn)設(shè)備的進(jìn)行建模，通過VR/AR交互界面，在虛擬或現(xiàn)實(shí)空間中進(jìn)行車間布局，可以模擬車間制造過程，通過仿真和交互，發(fā)現(xiàn)設(shè)計(jì)中的不足并進(jìn)行改善。Pen-tenrieder開發(fā)了Roivis車間布局系統(tǒng)，對(duì)布局可靠性和誤差進(jìn)行量化分析。

應(yīng)用VR/AR進(jìn)行快速車間布局可以降低布局決策錯(cuò)誤、提高生產(chǎn)效率，但目前面臨的挑戰(zhàn)是虛實(shí)配準(zhǔn)不夠精確，數(shù)字設(shè)備模型和真實(shí)的設(shè)備仍有差異，不能為生產(chǎn)提供真實(shí)的模擬和仿真。提高跟蹤配準(zhǔn)精度和建模精度，對(duì)AR智能車間布局的可靠程度進(jìn)行量化，利用數(shù)據(jù)分析進(jìn)行布局決策是今后一個(gè)重要發(fā)展方向。

1.5物流與倉(cāng)儲(chǔ)管理

信息流和物流是智能工廠正常運(yùn)行的兩條動(dòng)脈。相比而言，針對(duì)物流和倉(cāng)儲(chǔ)的可視化研究不是很多，但是這個(gè)行業(yè)的發(fā)展可以促進(jìn)AR技術(shù)的成熟。目前已有一些商業(yè)和研究機(jī)構(gòu)開始涉足物流與倉(cāng)儲(chǔ)可視化技術(shù)。

物流行業(yè)中，分揀步驟耗費(fèi)時(shí)間最多。根據(jù)DHL的調(diào)查報(bào)告，倉(cāng)儲(chǔ)管理的分揀和運(yùn)輸貨物占物流總成本的11%～13%。分揀人員利用AR可以擴(kuò)展視角，從而確保更多的可見性、靈活性、指引性以及前瞻性。從而節(jié)省了搜索和分類時(shí)間，大大提高工作效率。

AR在物流與倉(cāng)儲(chǔ)管理中應(yīng)用的核心技術(shù)是掃描技術(shù)。掃描精度和掃描速度將決定AR能否在物流應(yīng)用得到推廣。當(dāng)前多數(shù)AR分揀指引系統(tǒng)都是基于視覺的掃描技術(shù)，如何提高掃描精度和速度，是AR在物流和倉(cāng)儲(chǔ)管理應(yīng)用面臨的挑戰(zhàn)。為了提高產(chǎn)品可用性，降低掃描設(shè)備體積和重量，提高掃描算法準(zhǔn)確率、識(shí)別速度，增加魯棒性是未來研究重點(diǎn)和方向。

圖5所示為利用AR進(jìn)行物流和倉(cāng)儲(chǔ)管理的兩個(gè)例子。

2存在問題及發(fā)展方向

雖然VR/AR技術(shù)可以為智能制造提供很好的支撐，VR/AR也取得很大的進(jìn)展，但仍有很多問題有待解決。本文從技術(shù)層面和應(yīng)用角度兩個(gè)方面進(jìn)行分析和闡述。

（1）技術(shù)方面。現(xiàn)有設(shè)備的計(jì)算能力有待提高。把CPU計(jì)算、圖像渲染和顯示、存儲(chǔ)模塊小型化和可穿戴帶來的后果是VR/AR的硬件計(jì)算能力難以滿足日益增長(zhǎng)的應(yīng)用需求。與設(shè)備小型化相關(guān)的是電池變小了，續(xù)航能力也跟著下降，導(dǎo)致用戶體驗(yàn)變差。與技術(shù)相關(guān)的還有跟蹤注冊(cè)技術(shù)。當(dāng)前的VR/AR設(shè)備需要在合適的光照環(huán)境中才能運(yùn)行，一旦光照或裝配環(huán)境發(fā)生變動(dòng)，則跟蹤可能失敗，這一問題在無標(biāo)跟蹤的應(yīng)用場(chǎng)景中特別明顯。

（2）應(yīng)用層面。VR/AR設(shè)備的人機(jī)工程設(shè)計(jì)仍有很大的提升空間。很多的設(shè)備雖然已經(jīng)設(shè)計(jì)得很出色，但應(yīng)用起來仍顯得笨拙，主要問題還是不夠輕便。另外，長(zhǎng)時(shí)間使用后產(chǎn)生視覺疲勞也是另一個(gè)讓人詬病的地方。與應(yīng)用相關(guān)的還有用戶的接受程度。由于上述種種因素加上價(jià)格的影響，很難在整個(gè)生產(chǎn)線或者公司全盤推行VR/AR技術(shù)，因此，VR/AR的很多理論和技術(shù)仍停留在實(shí)驗(yàn)室階段，有待在大規(guī)模工程應(yīng)用中驗(yàn)證。

VR/AR在智能制造領(lǐng)域必定具有十分廣闊和激動(dòng)人心的應(yīng)用前景，但同樣面臨著諸多方面的挑戰(zhàn)，主要體現(xiàn)在以下方面。

（1）提高算力是首要任務(wù)。隨著5G的來臨，一部分運(yùn)算可以放在云端執(zhí)行，但如何保護(hù)用戶隱私將成為一個(gè)不可忽視的問題。

（2）VR/AR設(shè)備，如頭盔等，需要進(jìn)一步提高可用性。減輕頭盔重量、提高圖像分辨率、減輕用戶視覺疲勞是VR/AR技術(shù)在制造業(yè)大規(guī)模鋪開的基本條件。

（3）VR/AR內(nèi)容制作必不可少。如何提供數(shù)字模型精度，如何把傳統(tǒng)的生產(chǎn)工藝工序、使用說明書的二維平面內(nèi)容轉(zhuǎn)成三維可視化數(shù)據(jù)，需要一些易用、靈活、功能強(qiáng)大的制作軟件。

此外，提高跟蹤技術(shù)、提高用戶接受程度、發(fā)展在智能制造過程中對(duì)VR/AR效率的評(píng)估方法等，都值得研究和關(guān)注。

3結(jié)束語(yǔ)

本文通過VR/AR在裝配應(yīng)用、維護(hù)和培訓(xùn)、產(chǎn)品測(cè)評(píng)、智能工廠布局、物流和倉(cāng)儲(chǔ)管理5個(gè)領(lǐng)域的應(yīng)用，綜述了VR/AR與智能制造的關(guān)系，對(duì)5個(gè)應(yīng)用領(lǐng)域的核心技術(shù)進(jìn)行介紹，分析當(dāng)前面臨的挑戰(zhàn)，并在最后探討了未來的發(fā)展方向。

在生產(chǎn)制造過程中，VR/AR能實(shí)現(xiàn)三維可視化和相互間的交互，其有效性不僅體現(xiàn)在可視化，對(duì)空間的增強(qiáng)和擴(kuò)展也是顯著的。VR/AR的數(shù)字化特性使其成為智能制造的關(guān)鍵技術(shù)之一，將使管理者的工作變得有條理、易掌控，并能提升工人的操作經(jīng)驗(yàn)和技術(shù)。智能制造代表了生產(chǎn)的技術(shù)革命，而VR/AR與智能制造的結(jié)合正在成為討論最多的主題之一。