基于數(shù)字孿生的無(wú)人機(jī)巡航系統(tǒng)

方榮輝，楊淑群，蘭寧

（上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201600）

0 引言

隨著先進(jìn)制造業(yè)的大力發(fā)展，將人工智能技術(shù)和云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等新一代信息技術(shù)與其深度融合的產(chǎn)物——智能制造，成為世界各國(guó)制造業(yè)發(fā)展的共同趨勢(shì)和戰(zhàn)略目標(biāo)。與傳統(tǒng)制造相比，智能制造具備自律能力，搜集與理解環(huán)境信息和自身的信息，并進(jìn)行分析判斷和規(guī)劃自身行為，不僅可以實(shí)現(xiàn)人機(jī)協(xié)同的目標(biāo)，更能夠體現(xiàn)人在制造系統(tǒng)中的核心價(jià)值；采用虛擬現(xiàn)實(shí)技術(shù)，借助音像與傳感等裝置，展示現(xiàn)實(shí)生活中的制造過(guò)程與產(chǎn)品，具有自組織、自學(xué)習(xí)以及自維護(hù)等功能。因此，智能制造作為新型生產(chǎn)方式和制造技術(shù)，以物理生產(chǎn)系統(tǒng)及其對(duì)應(yīng)的各層級(jí)數(shù)字孿生映射融合為基礎(chǔ)，建立起具有動(dòng)態(tài)感知、實(shí)時(shí)分析、自主決策和精準(zhǔn)執(zhí)行功能的智能工廠，可實(shí)現(xiàn)高效、優(yōu)質(zhì)、低耗、綠色、安全的制造與服務(wù)[1]。

其中大部件制造的快速崛起，使得各領(lǐng)域的大部件設(shè)備不斷地朝著高安全、長(zhǎng)壽命、高可靠、經(jīng)濟(jì)性和環(huán)保性方向發(fā)展，促進(jìn)了大部件結(jié)構(gòu)設(shè)計(jì)的不斷優(yōu)化、新材料的研究開(kāi)發(fā)以及新制造工藝的應(yīng)用。針對(duì)工業(yè)大部件的巡航，我國(guó)的研究尚處于起步階段，理論成果和實(shí)際應(yīng)用并不充分，主要在依靠人工巡視的基礎(chǔ)上，根據(jù)標(biāo)準(zhǔn)和經(jīng)驗(yàn)，使用無(wú)人機(jī)進(jìn)行巡航拍攝，如圖1所示，但是仍無(wú)法做到數(shù)據(jù)的實(shí)時(shí)傳輸，對(duì)于工業(yè)大部件的全生命周期無(wú)法做到全程監(jiān)測(cè)管理，達(dá)不到真正意義上的智能化。

針對(duì)上述問(wèn)題，本文以大飛機(jī)為例，利用數(shù)字孿生技術(shù)對(duì)無(wú)人機(jī)巡航的過(guò)程進(jìn)行研究，以數(shù)字化的方式創(chuàng)建無(wú)人機(jī)實(shí)體的虛擬模型，并借助坐標(biāo)數(shù)據(jù)模擬無(wú)人機(jī)在物理環(huán)境中的行為，建立人機(jī)協(xié)同交互的虛實(shí)反饋以及數(shù)據(jù)同步分析，在虛擬環(huán)境下實(shí)現(xiàn)操作無(wú)人機(jī)巡航的模擬，為工業(yè)大部件的批產(chǎn)提速提供保障。

1 數(shù)字孿生發(fā)展

數(shù)字孿生作為當(dāng)前實(shí)現(xiàn)智能制造、工業(yè)互聯(lián)網(wǎng)、工業(yè)4.0、智慧城市以及CPS等先進(jìn)理念的一種使能技術(shù)和方法，被企業(yè)、研究機(jī)構(gòu)和科研人員廣泛關(guān)注。其中，美國(guó)空軍研究實(shí)驗(yàn)室結(jié)構(gòu)科學(xué)中心基于數(shù)字孿生對(duì)飛機(jī)結(jié)構(gòu)的壽命進(jìn)行預(yù)測(cè)，將影響飛行的結(jié)構(gòu)偏差以及溫度計(jì)算模型與超高保真的飛機(jī)虛擬模型相結(jié)合[2]。美國(guó)國(guó)家航空航天局在飛機(jī)的健康管理中將物理環(huán)境系統(tǒng)與其建立的虛擬環(huán)境系統(tǒng)相結(jié)合，應(yīng)用數(shù)字孿生對(duì)復(fù)雜系統(tǒng)進(jìn)行故障預(yù)測(cè)與消除[3]。

同時(shí)，各領(lǐng)域的專(zhuān)家在自身的研究領(lǐng)域中引入數(shù)字孿生的概念，發(fā)表了大量與其相關(guān)的研究進(jìn)展和成果。文獻(xiàn)[4]簡(jiǎn)述了數(shù)字孿生技術(shù)作為智能制造的基本要素，在產(chǎn)品生命周期、生產(chǎn)生命周期中的應(yīng)用，并總結(jié)分析其在智慧城市建設(shè)方面的主要應(yīng)用特點(diǎn)。文獻(xiàn)[5]中介紹了人工智能等新技術(shù)如何與傳統(tǒng)的制造工業(yè)及其生產(chǎn)鏈進(jìn)行融合，展開(kāi)討論智能制造是制造業(yè)轉(zhuǎn)型升級(jí)的重要前提，而數(shù)字孿生又是智能制造的源動(dòng)力，最后舉出歐美發(fā)達(dá)國(guó)家的幾個(gè)成功案例，提出利用智能技術(shù)解決制造問(wèn)題的重要性。劉志峰等人基于數(shù)字孿生構(gòu)建零件的智能制造車(chē)間調(diào)度云平臺(tái)，實(shí)現(xiàn)工業(yè)零件實(shí)時(shí)運(yùn)行狀態(tài)的監(jiān)控與診斷[6]。劉瀟翔等人利用數(shù)字孿生和數(shù)字紐帶構(gòu)建智慧設(shè)計(jì)仿真的航天控制系統(tǒng)，實(shí)現(xiàn)控制系統(tǒng)中物理實(shí)體和數(shù)字孿生體之間數(shù)據(jù)雙向交互[7]。董雷霆等人運(yùn)用數(shù)字孿生技術(shù)，構(gòu)建虛擬飛機(jī)結(jié)構(gòu)模型，通過(guò)多源數(shù)據(jù)交互，反映并預(yù)測(cè)真實(shí)環(huán)境中飛機(jī)結(jié)構(gòu)實(shí)體在全生命周期內(nèi)的行為與性能[8]。

如今在各個(gè)領(lǐng)域中都能看到數(shù)字孿生的影子，通過(guò)搭建虛擬環(huán)境來(lái)清晰感知物理環(huán)境中的變化，該技術(shù)理念將持續(xù)影響著智能制造、人工智能和物聯(lián)網(wǎng)等領(lǐng)域的未來(lái)發(fā)展。

2 無(wú)人機(jī)巡航系統(tǒng)

本文提出的基于數(shù)字孿生的無(wú)人機(jī)巡航系統(tǒng)由物理模型、邏輯模型、仿真模型和數(shù)據(jù)模型相互耦合和演化而成，采用物理實(shí)體結(jié)構(gòu)模型、幾何模型和材料模型的多尺度、多層次集成，將物理世界中的物理實(shí)體在虛擬空間進(jìn)行全要素重構(gòu)，實(shí)現(xiàn)虛擬空間無(wú)人機(jī)巡航場(chǎng)景的對(duì)象孿生、過(guò)程孿生和性能孿生，其架構(gòu)如圖1所示。

圖1 無(wú)人機(jī)數(shù)字孿生系統(tǒng)架構(gòu)

2.1 用戶(hù)域

第一層是使用數(shù)字孿生體的用戶(hù)域，操作人員可通過(guò)全景展示大屏等設(shè)備實(shí)時(shí)監(jiān)測(cè)無(wú)人機(jī)的飛行狀態(tài)。首先，在展示模型上選擇全景入口，并從服務(wù)器中獲取對(duì)應(yīng)的全景素材以及無(wú)人機(jī)的運(yùn)動(dòng)數(shù)據(jù)，將全兩者組合起來(lái)，模擬仿真后再疊加；其次，將虛擬的數(shù)據(jù)信息應(yīng)用到真實(shí)世界中，使得虛擬世界的無(wú)人機(jī)可以沿著真實(shí)世界的運(yùn)動(dòng)軌跡同步進(jìn)行，并且通過(guò)全景展示大屏顯示出來(lái)，提高模型的真實(shí)性的同時(shí)，能夠很好地提高增強(qiáng)現(xiàn)實(shí)的用戶(hù)體驗(yàn)增強(qiáng)藝術(shù)效果、質(zhì)感和立體感。

2.2 數(shù)字孿生體

第二層是與物理實(shí)體目標(biāo)對(duì)象對(duì)應(yīng)的數(shù)字孿生體。數(shù)字孿生體由場(chǎng)景信息系統(tǒng)與無(wú)人機(jī)數(shù)字孿生體構(gòu)成，通過(guò)數(shù)字孿生體的運(yùn)轉(zhuǎn)和無(wú)人機(jī)真實(shí)的狀態(tài)信息，準(zhǔn)確地與場(chǎng)景信息系統(tǒng)進(jìn)行匹配，為控制人員提供無(wú)人機(jī)所處位置、姿態(tài)等巡航位置信息。其中，無(wú)人機(jī)數(shù)字孿生體由三維建模、控制系統(tǒng)兩部分構(gòu)成，如圖2所示，旨在通過(guò)構(gòu)建無(wú)人機(jī)巡航場(chǎng)景在虛擬空間中的數(shù)字孿生模型，實(shí)現(xiàn)數(shù)字孿生體與物理實(shí)體之間的信息交互與虛擬監(jiān)控。

圖2 無(wú)人機(jī)數(shù)字孿生體

2.2.1 三維建模模塊

無(wú)人機(jī)數(shù)字孿生體的三維建模模塊由高精度場(chǎng)景仿真系統(tǒng)和高精度大部件仿真系統(tǒng)兩部分構(gòu)成。

高精度場(chǎng)景仿真系統(tǒng)利用三維虛擬現(xiàn)實(shí)技術(shù)，以智能制造中無(wú)人機(jī)巡航的工業(yè)大部件為仿真目標(biāo)，對(duì)無(wú)人機(jī)的巡航路線進(jìn)行虛擬仿真，提供場(chǎng)景和主要設(shè)備、系統(tǒng)的三維模型及各個(gè)系統(tǒng)之間的連接關(guān)系。

高精度大部件仿真系統(tǒng)包含工業(yè)大部件以及無(wú)人機(jī)的三維建模。實(shí)現(xiàn)虛擬空間中工業(yè)大部件和無(wú)人機(jī)的模型構(gòu)建并定義兩者物理實(shí)體的幾何屬性、運(yùn)動(dòng)屬性和功能屬性。其中，工業(yè)大部件三維模型（以國(guó)產(chǎn)大飛機(jī)模型為例）如圖3所示，無(wú)人機(jī)三維模型如圖4所示。

圖3 工業(yè)大部件三維模型

圖4 無(wú)人機(jī)三維模型

2.2.2 控制系統(tǒng)模塊

控制系統(tǒng)是無(wú)人機(jī)數(shù)字孿生體的核心模塊，通過(guò)OPC UA、TCP/UDP、Web Service通信接口實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)采集、遠(yuǎn)程通信和多源動(dòng)態(tài)數(shù)據(jù)的實(shí)時(shí)更新，通過(guò)人機(jī)接口和數(shù)據(jù)庫(kù)接口，實(shí)現(xiàn)數(shù)字世界與物理世界的實(shí)時(shí)交互及同步反饋。其中，控制系統(tǒng)的核心功能由體驗(yàn)位權(quán)限、數(shù)據(jù)及交互、參展體驗(yàn)位三部分構(gòu)成。

體驗(yàn)位權(quán)限分為主體驗(yàn)權(quán)限位和副體驗(yàn)權(quán)限位。其中，主體驗(yàn)權(quán)限位可以控制無(wú)人機(jī)的起飛、返航、前進(jìn)和后退等功能。

數(shù)據(jù)及交互部分實(shí)現(xiàn)數(shù)字世界和物理世界中無(wú)人機(jī)姿態(tài)及控制數(shù)據(jù)的一致性，在巡航過(guò)程中的數(shù)據(jù)將通過(guò)服務(wù)器實(shí)時(shí)傳輸，從而實(shí)現(xiàn)無(wú)人機(jī)的數(shù)字孿生。其中，無(wú)人機(jī)的巡航數(shù)據(jù)包含無(wú)人機(jī)的起始位置、巡航高度、上升速度、降落速度、返航點(diǎn)、工作的起始與終止時(shí)間以及無(wú)人機(jī)上搭載相機(jī)在巡航過(guò)程中的角度，最終以可視化圖表和可視化曲線的方式直觀呈現(xiàn)出來(lái)。

參展體驗(yàn)位為參展人員提供虛擬現(xiàn)實(shí)器，可觀看實(shí)時(shí)捕捉的故障點(diǎn)及巡航數(shù)據(jù)。參展體驗(yàn)分為巡航學(xué)習(xí)模式和巡航體驗(yàn)?zāi)Ｊ健Ｑ埠綄W(xué)習(xí)模式包含無(wú)人機(jī)巡航視頻、專(zhuān)家資料庫(kù)介紹視頻以及巡航操作視頻；在巡航體驗(yàn)?zāi)Ｊ街校瑹o(wú)人機(jī)有固定的巡航路徑和時(shí)間規(guī)劃，可跟隨無(wú)人機(jī)觀察其巡航狀態(tài)。

2.3 控制實(shí)體

第三層是連接數(shù)字孿生體和物理實(shí)體的控制實(shí)體。無(wú)人機(jī)數(shù)字孿生系統(tǒng)基于配套控制服務(wù)器進(jìn)行開(kāi)發(fā)，構(gòu)成無(wú)人機(jī)控制實(shí)體，通過(guò)服務(wù)器進(jìn)行數(shù)據(jù)傳輸實(shí)現(xiàn)物理世界與數(shù)字世界的同步運(yùn)行，完成對(duì)無(wú)人機(jī)的控制與相關(guān)信息的通信。

2.4 現(xiàn)實(shí)物理域

第四層是與數(shù)字孿生體對(duì)應(yīng)的物理實(shí)體目標(biāo)對(duì)象所處的現(xiàn)實(shí)物理域。具備高精度巡航控制系統(tǒng)和云臺(tái)設(shè)計(jì)的無(wú)人機(jī)以及其搭載的用于巡航拍攝的高清數(shù)碼相機(jī)構(gòu)成無(wú)人機(jī)系統(tǒng)，即數(shù)字孿生系統(tǒng)架構(gòu)中的現(xiàn)實(shí)物理域，實(shí)現(xiàn)物理世界中無(wú)人機(jī)真實(shí)巡航信息和工業(yè)大部件真實(shí)狀態(tài)的采集。

3 案例應(yīng)用

下面針對(duì)某國(guó)產(chǎn)大飛機(jī)的巡航流程，應(yīng)用基于數(shù)字孿生的無(wú)人機(jī)巡航系統(tǒng)的案例。首先采用大疆M210無(wú)人機(jī)，搭載一體化云臺(tái)相機(jī)組成現(xiàn)實(shí)物理域；其次以數(shù)據(jù)庫(kù)為Mysql的服務(wù)器作為控制實(shí)體；之后利用Maya和Unity等開(kāi)發(fā)工具進(jìn)行虛擬仿真，構(gòu)建數(shù)字孿生體；最后，通過(guò)用戶(hù)域?qū)邮盏降膶?shí)時(shí)數(shù)據(jù)進(jìn)行監(jiān)測(cè)。

3.1 物理世界的無(wú)人機(jī)巡航

在物理世界中，無(wú)人機(jī)將按照預(yù)設(shè)好的路線對(duì)大飛機(jī)進(jìn)行巡航，共分為以下五個(gè)步驟。第一步，在制造車(chē)間建立坐標(biāo)系，便于確定無(wú)人機(jī)巡航的位置信息。第二步，在無(wú)人機(jī)巡航前安裝雙目相機(jī)以及高清數(shù)碼相機(jī)，其中，雙目相機(jī)用以測(cè)量巡航的高度，高清數(shù)碼相機(jī)用于采集大飛機(jī)表面圖像。第三步，使用Onboard-SDK調(diào)整無(wú)人機(jī)云臺(tái)的角度，進(jìn)而控制相機(jī)拍攝清晰的大飛機(jī)表面圖像。第四步，設(shè)定無(wú)人機(jī)巡航的路線及超參數(shù)。其中，超參數(shù)包括無(wú)人機(jī)巡航的高度、速度、起飛點(diǎn)以及返航點(diǎn)等。預(yù)設(shè)的無(wú)人機(jī)巡航路線如圖5所示，無(wú)人機(jī)按照O→A→B→C→B→D→E→D→F→G→F→A→O的路線進(jìn)行飛行。第五步，無(wú)人機(jī)根據(jù)預(yù)設(shè)好的路線進(jìn)行巡航，在巡航的過(guò)程中對(duì)大飛機(jī)進(jìn)行拍攝并將數(shù)據(jù)實(shí)時(shí)傳輸回服務(wù)器。

圖5 無(wú)人機(jī)預(yù)設(shè)的巡航路線

3.2 數(shù)字世界的無(wú)人機(jī)巡航

本系統(tǒng)的運(yùn)行軟件由建模工具AlgDesigner V3.0開(kāi)發(fā)而成。該工具將整個(gè)實(shí)驗(yàn)過(guò)程抽象為統(tǒng)一的虛擬實(shí)驗(yàn)構(gòu)件、底層數(shù)學(xué)模型、邏輯機(jī)制等共性關(guān)鍵性技術(shù)，形成可擴(kuò)展的虛擬實(shí)驗(yàn)構(gòu)件庫(kù)，為虛擬實(shí)驗(yàn)平臺(tái)提供后臺(tái)邏輯支撐運(yùn)算，在前臺(tái)利用虛擬現(xiàn)實(shí)技術(shù)搭建可視化的實(shí)驗(yàn)場(chǎng)景、實(shí)驗(yàn)設(shè)備和實(shí)驗(yàn)邏輯，達(dá)到支持演示、交互、計(jì)算、設(shè)計(jì)的一體化實(shí)驗(yàn)環(huán)境，如圖6所示。

圖6 虛擬實(shí)驗(yàn)環(huán)境

運(yùn)行無(wú)人機(jī)巡航系統(tǒng)軟件，初始界面如圖7所示，左下角的數(shù)據(jù)控制框中有三種控制無(wú)人機(jī)巡航的方式。

圖7 軟件運(yùn)行界面

第一種方式，自主設(shè)定無(wú)人機(jī)巡航的三維坐標(biāo)值，輸入完畢之后點(diǎn)擊確認(rèn)，數(shù)字世界無(wú)人機(jī)將飛行到相應(yīng)的坐標(biāo)位置，同時(shí)物理世界的無(wú)人機(jī)將飛行到相應(yīng)位置；

第二種方式，利用系統(tǒng)軟件提供預(yù)設(shè)好的12個(gè)固定坐標(biāo)點(diǎn)，分別為A點(diǎn)、B點(diǎn)、C點(diǎn)、E點(diǎn)、F點(diǎn)、G點(diǎn)、H點(diǎn)、I點(diǎn)、J點(diǎn)、K點(diǎn)、L點(diǎn)和M點(diǎn)，隨機(jī)選擇任一坐標(biāo)點(diǎn)并確認(rèn)，無(wú)人機(jī)將飛行到對(duì)應(yīng)坐標(biāo)位置；

第三種方式，通過(guò)系統(tǒng)軟件提前預(yù)設(shè)好的巡航方式，即圖5所示的無(wú)人機(jī)巡航路線，點(diǎn)擊進(jìn)入飛行路線，物理世界和數(shù)字世界的無(wú)人機(jī)將同時(shí)根據(jù)預(yù)設(shè)好的巡航路線開(kāi)始巡航。

4 結(jié)語(yǔ)

在大數(shù)據(jù)、云計(jì)算、人工智能等新一代信息技術(shù)的支撐下，數(shù)字孿生逐漸趨向成熟化。本文將數(shù)字孿生技術(shù)理念應(yīng)用在無(wú)人機(jī)巡航工業(yè)大部件的過(guò)程中，不僅獲得無(wú)人機(jī)以及工業(yè)大部件的坐標(biāo)數(shù)據(jù)，同時(shí)通過(guò)大量傳感器獲得實(shí)時(shí)數(shù)據(jù)。

目前數(shù)字孿生技術(shù)在有限場(chǎng)景中應(yīng)用廣泛，但隨著技術(shù)的不斷演進(jìn)，精密機(jī)械的不斷增加，數(shù)字孿生能夠發(fā)揮重要價(jià)值的應(yīng)用場(chǎng)景將持續(xù)增多，其性?xún)r(jià)比也將不斷提高，從而激發(fā)企業(yè)去探索新的途徑來(lái)優(yōu)化設(shè)計(jì)、制造和服務(wù)。