基于VR/AR的無人機(jī)操控培訓(xùn)系統(tǒng)

林一平

隨著無人機(jī)迅速發(fā)展，大量新機(jī)陸續(xù)裝備，各單位普遍缺乏合格的無人機(jī)操控人員。在短期內(nèi)培養(yǎng)出大批合格的操控員，須要運(yùn)用高科技手段加強(qiáng)人員培訓(xùn)和考核，而VR/AR技術(shù)運(yùn)用其中能取得事半功倍的實(shí)效。

當(dāng)代高科技發(fā)展帶動(dòng)了VR/AR技術(shù)在無人機(jī)領(lǐng)域的應(yīng)用，尤其是操控培訓(xùn)領(lǐng)域，使用者能獲得沉浸式學(xué)習(xí)體驗(yàn)、掌握高難和復(fù)雜的操控技能、降低風(fēng)險(xiǎn)、縮短培訓(xùn)周期、節(jié)約成本、富有實(shí)效。

隨著世界無人機(jī)市場(chǎng)迅速發(fā)展，用戶購(gòu)置的各種無人機(jī)在短時(shí)間內(nèi)紛紛到貨，裝備機(jī)隊(duì)后引發(fā)了操控員短缺問題。而合格和有豐富經(jīng)驗(yàn)的操控員又不能在短期內(nèi)培養(yǎng)出來，而且培訓(xùn)成本相當(dāng)昂貴。為此，客觀上須要尋求一種行之有效的解決方法，而VR/AR技術(shù)的運(yùn)用則發(fā)揮了事半功倍的作用。

現(xiàn)代無人機(jī)技術(shù)具有實(shí)踐性、實(shí)用性和探索性。為了降低技術(shù)風(fēng)險(xiǎn)性，科技人員須要進(jìn)行一系列模擬仿真試驗(yàn)，以獲得海量數(shù)據(jù)，進(jìn)而對(duì)在研項(xiàng)目進(jìn)行分析研究，對(duì)新課題進(jìn)行預(yù)研，對(duì)未知領(lǐng)域進(jìn)行探索，而VR/AR技術(shù)的出現(xiàn)與應(yīng)用，可為科技人員提供有力支持。

應(yīng)用領(lǐng)域

當(dāng)前VR/AR技術(shù)在多個(gè)領(lǐng)域均有實(shí)際應(yīng)用。國(guó)外已將VR/AR技術(shù)應(yīng)用于航空航天領(lǐng)域，如在地面模擬太空環(huán)境，對(duì)航天器進(jìn)行飛行測(cè)試。外國(guó)汽車制造公司則將該技術(shù)應(yīng)用于汽車駕駛測(cè)試，模擬人員的真實(shí)駕駛感受。在飛機(jī)部件裝配過程中，國(guó)外相關(guān)單位也在嘗試其在飛機(jī)總裝工序中的應(yīng)用。

我國(guó)相關(guān)單位已對(duì)VR/AR技術(shù)進(jìn)行了一段時(shí)間的探索和研究，在應(yīng)用領(lǐng)域取得了成績(jī)，尤其是教育培訓(xùn)領(lǐng)域，如仿真系統(tǒng)和虛擬教學(xué)場(chǎng)景建立，飛行模擬，汽車駕駛、地鐵駕駛、船舶駕駛，火災(zāi)逃生模擬，電工安全培訓(xùn)，起重運(yùn)輸機(jī)械駕駛培訓(xùn)等。目前，我國(guó)正著手將VR/AR技術(shù)應(yīng)用于無人機(jī)飛行動(dòng)作解析，并用于無人機(jī)飛行力學(xué)、仿生學(xué)、人工智能等方面的研究。

實(shí)踐表明，VR/AR技術(shù)應(yīng)用于無人機(jī)系統(tǒng)飛行模擬和演示，具有廣闊前景且操作簡(jiǎn)單。由于無人機(jī)使用受許多條件限制，在傳統(tǒng)操控培訓(xùn)中，學(xué)員不可能經(jīng)常在外場(chǎng)練習(xí)飛行操控。但是，學(xué)員利用VR/AR技術(shù)，可以重復(fù)模擬飛行；另外，VR/AR技術(shù)可適時(shí)記錄并演示每個(gè)學(xué)員的操控過程，當(dāng)場(chǎng)糾錯(cuò)和指導(dǎo)，提升學(xué)員的操控熟練度和技能，在實(shí)操過程中，降低因失誤造成的墜機(jī)風(fēng)險(xiǎn)，減少損失。

圖1 國(guó)外已將VR/AR 技術(shù)應(yīng)用于制造業(yè)。

建模與交互實(shí)現(xiàn)

VR/AR技術(shù)用于無人機(jī)操控培訓(xùn)離不開建模，其全程技術(shù)演示需要交互。其中無人機(jī)尺寸參數(shù)測(cè)量、精細(xì)模型建立、飛行程序編制、頭盔數(shù)模接入、虛擬現(xiàn)實(shí)交互實(shí)現(xiàn)等各環(huán)節(jié)均不可或缺。

建模編程

（1）無人機(jī)尺寸參數(shù)測(cè)量

首先須要對(duì)無人機(jī)各部件進(jìn)行精確測(cè)量。為了精確測(cè)量各型無人機(jī)及各部件實(shí)物尺寸參數(shù)，可利用掃描儀等工具進(jìn)行精確測(cè)量，并對(duì)照無人機(jī)手冊(cè)中的詳細(xì)數(shù)據(jù)，為建模提供原始記錄。

（2）精細(xì)模型建立

目前用于建模的軟件眾多。例如，3DSMAX軟件可建立模型，采用Unity3D及Visual Studio 2017軟件進(jìn)行C#語言編程等。在軟件中通過點(diǎn)線連接、多邊形編輯等方法，將無人機(jī)模型做得更精準(zhǔn)。但也要注意數(shù)字模型不宜太精細(xì)化，不然會(huì)占據(jù)過多計(jì)算機(jī)內(nèi)存，降低運(yùn)行速度，還容易導(dǎo)致影像卡頓，故可使用減面軟件工具PolygonCruncher8.03來減面。

（3）飛行程序編制

在編制程序前，需要了解無人機(jī)的飛行控制系統(tǒng)，掌握其飛行性能和在飛行過程中須要遵守的注意事項(xiàng)，明確飛行流程及相關(guān)步驟，為后續(xù)創(chuàng)建無人機(jī)數(shù)字模型，編寫飛行程序和飛行手冊(cè)奠定基礎(chǔ)。

虛擬現(xiàn)實(shí)交互

（1）無人機(jī)數(shù)模接入數(shù)字頭盔

將文件格式改為FBX，并導(dǎo)入U(xiǎn)nity3D軟件中。在場(chǎng)景中添加地面、山河、草原、公路、高鐵、高樓、小區(qū)、學(xué)校、廣場(chǎng)等背景，再添加燈光，融入影像讓無人機(jī)出現(xiàn)在VR/AR頭盔中，經(jīng)材質(zhì)球?qū)δＰ瓦M(jìn)行渲染，使無人機(jī)在VR/AR頭盔中的展現(xiàn)更為逼真。當(dāng)然，也可根據(jù)實(shí)際需要對(duì)無人機(jī)模型進(jìn)行完善、改進(jìn)和升級(jí)，使之更科學(xué)、合理，適用性更廣。

（2）虛擬現(xiàn)實(shí)交互實(shí)現(xiàn)

在培訓(xùn)過程中，通過撰寫代碼，調(diào)試飛行軟件，改進(jìn)動(dòng)作細(xì)節(jié)，實(shí)現(xiàn)無人機(jī)飛行環(huán)境的虛擬現(xiàn)實(shí)交互。VR/AR技術(shù)可模擬無人機(jī)的真實(shí)飛行場(chǎng)景和操控過程，方便教學(xué)講解和演示，便于糾正學(xué)員的操控錯(cuò)誤。

配套裝備

基于VR/AR技術(shù)的無人機(jī)操控系統(tǒng)配套裝備通常有數(shù)字頭盔、遙控器等。

（1）數(shù)字頭盔

頭盔須戴在操控者的頭部，頭盔上的兩個(gè)顯示屏分別向雙眼提供影像，該影像由計(jì)算機(jī)驅(qū)動(dòng)，有細(xì)微差別，類似于人的雙眼視差。頭盔顯示器提供的VR沉浸感勝過立體眼鏡好多倍，而AR的增強(qiáng)效果則更優(yōu)。頭部實(shí)時(shí)跟蹤使用現(xiàn)成的頭盔顯示器（HMD）和三維空間傳感器。

（2）遙控器

遙控器是VR/AR操控系統(tǒng)的主要裝備之一。學(xué)員使用遙控器對(duì)無人機(jī)飛行進(jìn)行操控，涵蓋飛行控制指令下達(dá)、變更、執(zhí)行等。

圖2 美國(guó)空軍利用VR 技術(shù)開展軍機(jī)維修。

圖3 愛好者使用VR/AR 頭盔和遙控器操控?zé)o人機(jī)飛行。

圖4 一位學(xué)員正在體驗(yàn)沉浸式無人機(jī)飛行場(chǎng)景。

遙控器使用

掌握遙控器的使用方法是進(jìn)行VR/AR沉浸式操控的一個(gè)主要環(huán)節(jié)。首先要了解遙控器的各個(gè)功能區(qū)，然后熟悉功能區(qū)中的功能鍵和推桿的作用，再學(xué)習(xí)操控要領(lǐng)，熟悉后再反復(fù)練習(xí)，提高使用熟練程度，降低失誤，確保高準(zhǔn)確率。

遙控器與VR/AR頭盔聯(lián)機(jī)后，使用者可逐步獲得沉浸式環(huán)境中的多種無人機(jī)操控體驗(yàn)，感受“眼-腦-手”三者間的響應(yīng)和動(dòng)作連貫性與協(xié)調(diào)性，反復(fù)體驗(yàn)不同的手感。期間，尤其要注意遙控器操縱的切換動(dòng)作要準(zhǔn)確無誤、自然連貫，推桿調(diào)整動(dòng)作要柔和，切不要貪快、動(dòng)作過猛，更不能動(dòng)作粗暴。

無人機(jī)地面控制站

地面控制站可以同時(shí)管控多架無人機(jī)的同框飛行。通過接收遙控信號(hào)，把無人機(jī)飛行中的外界三維測(cè)量、物理空間定位和方位測(cè)定、運(yùn)動(dòng)跟蹤等數(shù)據(jù)傳輸給計(jì)算機(jī)處理。這些數(shù)據(jù)經(jīng)計(jì)算機(jī)識(shí)別、運(yùn)算處理后，得到空間坐標(biāo)及運(yùn)動(dòng)軌跡、動(dòng)態(tài)參數(shù)，并在顯示屏上顯示，供教員全程跟蹤、全面掌握，對(duì)空中飛行的多架無人機(jī)進(jìn)行集中控制。

基于VR/AR的操控培訓(xùn)

在操控培訓(xùn)中，根據(jù)飛行教學(xué)大綱要求，學(xué)員應(yīng)結(jié)合課程，分階段利用VR/AR沉浸式操控方法，學(xué)習(xí)單項(xiàng)飛行操控、多項(xiàng)飛行操控、綜合飛行操控、定點(diǎn)飛行操控、航線飛行操控、任務(wù)飛行操控。由于VR/AR系統(tǒng)融合了自然環(huán)境及地形地貌，學(xué)員能身臨其境，獲得逼真的動(dòng)感，增強(qiáng)了學(xué)習(xí)主動(dòng)性，較快地檢驗(yàn)學(xué)習(xí)效果。

無人機(jī)的基本操控練習(xí)是基礎(chǔ)，包括定點(diǎn)起降、爬升、下降、前進(jìn)、后退、懸停、左轉(zhuǎn)彎、右轉(zhuǎn)彎、左側(cè)和右側(cè)飛行、打轉(zhuǎn)克服等。在經(jīng)過足夠的練習(xí)后，可嘗試沿目標(biāo)周邊繞飛和對(duì)準(zhǔn)目標(biāo)做交叉及正交飛行練習(xí)。

四旋翼無人機(jī)操控培訓(xùn)

當(dāng)學(xué)員戴上VR/AR頭盔，練習(xí)四旋翼無人機(jī)爬升、下降飛行操控時(shí)，在數(shù)字頭盔中可見自己把遙控器左操縱桿向上推，這時(shí)旋翼轉(zhuǎn)速增大，無人機(jī)便上升飛行；當(dāng)向下推左操縱桿，旋翼轉(zhuǎn)速減慢，無人機(jī)便下降。

當(dāng)學(xué)員戴上VR/AR頭盔，練習(xí)四旋翼無人機(jī)前進(jìn)、后退飛行操控時(shí)，在數(shù)字頭盔中可見自己把遙控器右操縱桿向上推，這時(shí)無人機(jī)向前飛；當(dāng)向下推右操縱桿，無人機(jī)向后退。

當(dāng)學(xué)員戴上VR/AR頭盔，練習(xí)四旋翼無人機(jī)左轉(zhuǎn)、右轉(zhuǎn)飛行操控時(shí)，在數(shù)字頭盔中可見自己把遙控器左操縱桿向左推，無人機(jī)便向左轉(zhuǎn)；當(dāng)向右推左操縱桿，無人機(jī)向右轉(zhuǎn)。

當(dāng)學(xué)員戴上VR/AR頭盔，練習(xí)四旋翼無人機(jī)左側(cè)和右側(cè)飛行操控時(shí)，在數(shù)字頭盔中可見自己把遙控器右操縱桿向右推，無人機(jī)便向右側(cè)飛行；當(dāng)向左推右操縱桿，無人機(jī)向左側(cè)飛行。

當(dāng)學(xué)員戴上VR/AR頭盔，練習(xí)克服四旋翼無人機(jī)打轉(zhuǎn)操控時(shí)，在數(shù)字頭盔中可見無人機(jī)出現(xiàn)向左打轉(zhuǎn)時(shí)，此時(shí)應(yīng)連續(xù)按右微調(diào)按鈕，直到無人機(jī)不打轉(zhuǎn)為止。反之，當(dāng)無人機(jī)出現(xiàn)向右打轉(zhuǎn)時(shí)，須連續(xù)按左微調(diào)按鈕，直到無人機(jī)不打轉(zhuǎn)為止。

為保持四旋翼無人機(jī)的懸停狀態(tài)，學(xué)員在數(shù)字頭盔中可見自己操縱遙控器進(jìn)行適時(shí)調(diào)整的各種響應(yīng)。下面說明具體操控方法。

如果無人機(jī)向右側(cè)飛，學(xué)員應(yīng)連續(xù)推動(dòng)遙控器左側(cè)飛微調(diào)按鈕，直到無人機(jī)不再向右移動(dòng)為止。

如果無人機(jī)向左側(cè)飛，學(xué)員應(yīng)連續(xù)推動(dòng)遙控器右側(cè)飛微調(diào)按鈕，直到無人機(jī)不再向左移動(dòng)為止。

如果無人機(jī)向前飛，學(xué)員應(yīng)連續(xù)推動(dòng)遙控器后退微調(diào)按鈕，直到無人機(jī)不再向前移動(dòng)為止。

如果無人機(jī)向后飛，學(xué)員應(yīng)連續(xù)推動(dòng)遙控器前進(jìn)飛微調(diào)按鈕，直到無人機(jī)不再向后移動(dòng)為止。

學(xué)員在完成上述無人機(jī)基礎(chǔ)操控訓(xùn)練并鞏固后，可逐步升級(jí)到特技飛行操控。在練習(xí)無人機(jī)特技飛行操控時(shí)，學(xué)員應(yīng)操控?zé)o人機(jī)上升到3m以上高度，再點(diǎn)擊翻滾鍵，并將右操縱桿（方向舵）向一個(gè)方向推動(dòng)，此時(shí)無人機(jī)可實(shí)現(xiàn)此方向的前翻、后翻、左翻、右翻等翻滾動(dòng)作。

由圖5可見，基于VR/AR的無人機(jī)操控須經(jīng)歷包括垂直起飛、爬升、巡航、任務(wù)執(zhí)行、返航、下降、垂直降落在內(nèi)的整個(gè)飛行過程。其中，巡航階段的飛行大都為超視距飛行，在以前的教學(xué)中，學(xué)員僅憑肉眼很難觀察到無人機(jī)超視距飛行，更難體驗(yàn)任務(wù)執(zhí)行的過程。現(xiàn)在，學(xué)員應(yīng)用VR/AR技術(shù)，能同步觀察和體驗(yàn)沉浸式飛行細(xì)節(jié)，實(shí)訓(xùn)效果非常理想。在操控過程中，學(xué)員能熟悉電力巡檢、物流運(yùn)輸、高樓消防、快遞件投放、農(nóng)作物植保等各種任務(wù)場(chǎng)景，體驗(yàn)無人機(jī)搭載重物如何起降、規(guī)避風(fēng)險(xiǎn)、平穩(wěn)飛行、延長(zhǎng)續(xù)航時(shí)間等。

圖5 多旋翼無人機(jī)的典型任務(wù)剖面。

無人機(jī)集群操控培訓(xùn)

無人機(jī)多機(jī)編隊(duì)飛行用途廣泛，但其飛行操控技術(shù)具有更高的要求。以節(jié)日夜晚的“燈光秀”為例，無人機(jī)集群升空后各單機(jī)不僅須要正確定位，而且還要在動(dòng)態(tài)飛行中互相配合，以完成整體隊(duì)形的變化。在諸多變化中，相鄰單機(jī)之間須保持上下、左右、前后間距，以確保同臺(tái)表演動(dòng)作準(zhǔn)確、精彩及飛行安全。在表演結(jié)束后，無人機(jī)集群中的單機(jī)需要嚴(yán)格按程序分批退場(chǎng)，降落地面。常規(guī)無人機(jī)集群人工操控非常復(fù)雜、操控工作量大、耗時(shí)長(zhǎng)，且不允許出現(xiàn)失誤。如果采取VR/AR沉浸式操控培訓(xùn)，整個(gè)無人機(jī)集群矩陣變化過程歷歷在目，而且能隨時(shí)發(fā)現(xiàn)問題、及時(shí)糾正錯(cuò)誤，從而提高操控練習(xí)的質(zhì)量、縮短培訓(xùn)時(shí)間、提升培訓(xùn)效率，最終確保任務(wù)順利完成。

VR/AR 操控培訓(xùn)是系統(tǒng)工程

基于VR/AR的無人機(jī)操控培訓(xùn)是系統(tǒng)工程，關(guān)系到技術(shù)運(yùn)用、在線培訓(xùn)、考核評(píng)定、綜合教學(xué)管理等方面。

技術(shù)運(yùn)用

從理論到實(shí)踐，學(xué)員獲得無人機(jī)系統(tǒng)知識(shí)，正確理解無人機(jī)飛行原理，熟悉操控要領(lǐng)，糾正錯(cuò)誤操控方法，減少失誤，把握正確的操控流程，養(yǎng)成良好操控習(xí)慣，確保無人機(jī)飛行安全。

在線培訓(xùn)

在線培訓(xùn)應(yīng)按運(yùn)行規(guī)則、無人機(jī)型號(hào)、飛行手冊(cè)等要求，對(duì)新學(xué)員進(jìn)行具體指導(dǎo)和技術(shù)培訓(xùn)，注重培養(yǎng)操控的正確性、準(zhǔn)確性和熟練程度。

考核評(píng)級(jí)

按運(yùn)行規(guī)則及無人機(jī)型號(hào)要求，定期或不定期對(duì)操控員的業(yè)務(wù)能力和技術(shù)水平進(jìn)行考核，并做出客觀、公正的評(píng)級(jí)。

教學(xué)綜合管理

對(duì)操控員、設(shè)備、器材、倉(cāng)儲(chǔ)、物流等進(jìn)行科學(xué)管理。

圖6為VR/AR無人機(jī)操控培訓(xùn)系統(tǒng)的若干層面，主要涉及基礎(chǔ)層、技術(shù)層、應(yīng)用層和網(wǎng)絡(luò)層。其中，與基礎(chǔ)層有關(guān)的是數(shù)字模型和算法框架。與技術(shù)層有關(guān)的是結(jié)構(gòu)仿真、系統(tǒng)仿真和人工智能。應(yīng)用層面向操縱和飛行場(chǎng)景，以解決實(shí)際問題為主旨。網(wǎng)絡(luò)層通過互聯(lián)網(wǎng)面向行業(yè)內(nèi)外開展飛行業(yè)務(wù)溝通，擴(kuò)大安全飛行范疇。

圖6 VR/AR 無人機(jī)操控培訓(xùn)系統(tǒng)架構(gòu)圖。

用戶評(píng)價(jià)

國(guó)內(nèi)VR/AR技術(shù)目前主要用于無人機(jī)教學(xué)和操控培訓(xùn)。VR/AR系統(tǒng)能夠?yàn)閷W(xué)員提供生動(dòng)、逼真的學(xué)習(xí)環(huán)境。在廣泛的飛行操控科目中，為學(xué)員提供無限的虛擬體驗(yàn)，從而加速并鞏固學(xué)員所學(xué)的專業(yè)知識(shí)。與在課堂聽教師講授理論課相比，學(xué)員親自、主動(dòng)感受人-機(jī)交互操控，獲得了實(shí)踐性學(xué)習(xí)機(jī)會(huì)。利用VR/AR技術(shù)，相關(guān)單位可以建立各種虛擬現(xiàn)實(shí)飛行試驗(yàn)室，開展多種沉浸式技術(shù)培訓(xùn)、演練，具有傳統(tǒng)培訓(xùn)方法難以比擬的優(yōu)勢(shì)。

節(jié)省經(jīng)費(fèi)

在學(xué)校，學(xué)員甚至可以足不出戶在教室里做各種飛行操控練習(xí)，獲得與真實(shí)操控同樣的效果。在保證教學(xué)質(zhì)量的前提下，操控練習(xí)不再受設(shè)備、場(chǎng)地、經(jīng)費(fèi)等條件制約，許多原來不能做的練習(xí)現(xiàn)在都可以完成，節(jié)省了大量教學(xué)經(jīng)費(fèi)，降低了教學(xué)成本。

人員培訓(xùn)規(guī)模擴(kuò)大

通過VR/AR操控集訓(xùn)，學(xué)員可獲得理論和實(shí)踐知識(shí)，相關(guān)單位能在較短周期內(nèi)完成大批量操控員培訓(xùn)和考核，進(jìn)而提高從業(yè)人員的技術(shù)素質(zhì)和技術(shù)等級(jí)，推動(dòng)無人機(jī)行業(yè)不斷發(fā)展和進(jìn)步。

校際廣泛交流

圖7 VR/AR 系統(tǒng)應(yīng)用于無人機(jī)操控班集體培訓(xùn)。

目前國(guó)內(nèi)有關(guān)院校已經(jīng)自主開發(fā)了VR/AR應(yīng)用軟件，編制了無人機(jī)操控手冊(cè)，解決了培訓(xùn)器材短缺的難題。在一次操控培訓(xùn)中，多名學(xué)生可以一起體驗(yàn)無人機(jī)操控，加深對(duì)專業(yè)理論知識(shí)的理解，師生使用后普遍反映很好。經(jīng)完善后的教學(xué)經(jīng)驗(yàn)值得推廣，也便于在更多院校專業(yè)教學(xué)中交流、學(xué)習(xí)、互動(dòng)和提高。

風(fēng)險(xiǎn)規(guī)避

某些真實(shí)操控練習(xí)往往存在高風(fēng)險(xiǎn)。利用VR/AR技術(shù)進(jìn)行無人機(jī)操控練習(xí)，學(xué)生可在老師指導(dǎo)下，在虛擬現(xiàn)實(shí)環(huán)境中放心地開展無風(fēng)險(xiǎn)飛行操控練習(xí)。采用虛擬飛行操控教學(xué)系統(tǒng)，可避免學(xué)員因操空失誤而造成的墜機(jī)事故。

滿足新時(shí)代需要

為滿足無人機(jī)時(shí)代的新需要，建立VR/AR操控培訓(xùn)系統(tǒng)工程勢(shì)在必行。

運(yùn)用VR/AR操控培訓(xùn)系統(tǒng)可化繁瑣為簡(jiǎn)明，化抽象為現(xiàn)實(shí)，非常實(shí)用，達(dá)到以低成本解決難題的效果。在操控體驗(yàn)中，學(xué)員不僅能學(xué)習(xí)新知識(shí)，還可學(xué)懂一些以前尚不清楚或似懂非懂的飛行原理，熟練操控技術(shù)，增長(zhǎng)專業(yè)技能，甚至樂在其中。