混合現(xiàn)實技術(shù)在飛行訓(xùn)練中的應(yīng)用

陳亞青,王盛杰,曹瑋琦,楊 實,趙辰旭,黃智豪

(1.中國民用航空飛行學(xué)院民航飛行技術(shù)與飛行安全重點實驗室,四川 廣漢 618307;2.珠海翔翼航空技術(shù)有限公司,廣東 珠海 519015)

0 引言

混合現(xiàn)實(Mixed Reality,MR)是虛擬現(xiàn)實科技的發(fā)展,其結(jié)合了虛擬現(xiàn)實(Virtual Reality,VR)與增強(qiáng)現(xiàn)實(Augmented Reality,AR)的優(yōu)點,通過在真實環(huán)境中構(gòu)建虛擬的三維場景數(shù)據(jù),在真實世界、虛擬世界與使用者間,搭建人機(jī)實時互動反饋的數(shù)據(jù)信息回路,從而提高使用者感受的真實性。 用戶在開放的空間環(huán)境中,可以看到真實物體與虛擬建模物體在現(xiàn)實空間中疊加的狀態(tài)。 這些虛擬對象既可以是圖形、文字、符號,也可以是具有逼真細(xì)節(jié)的3 D 模型。 通常情況下,用戶可以通過凝視、手部動作(手勢/觸摸虛擬對象)和聲音命令與虛擬對象進(jìn)行交互。 混合現(xiàn)實設(shè)備融合了當(dāng)前計算設(shè)備、可視化技術(shù)、人體工程學(xué)研究和人工智能的頂尖技術(shù)。 在飛行訓(xùn)練中,使用具有反饋特性的混合現(xiàn)實技術(shù)產(chǎn)生的虛實結(jié)合三維畫面,能夠創(chuàng)造出更為真實的飛行訓(xùn)練場景。

1 飛行模擬訓(xùn)練現(xiàn)狀

飛行模擬器用于訓(xùn)練飛行員已有80 多年的歷史。 在這段時間里,航空技術(shù)有突飛猛進(jìn)的發(fā)展。 通常情況下,飛行模擬器將飛機(jī)的真實駕駛艙部分安裝在六自由度運動平臺上,允許飛機(jī)駕駛艙部分在飛行員的操縱下實現(xiàn)6 個維度的運動狀態(tài)[1]。 安裝視頻顯示器,可實現(xiàn)對外界環(huán)境的視景可視化。 在飛行訓(xùn)練中,飛行模擬器允許學(xué)員在飛機(jī)駕駛艙內(nèi)通過操控系統(tǒng)完成與模擬機(jī)的交互。 利用模擬機(jī)訓(xùn)練的方式既能節(jié)省燃料,又能減少飛機(jī)和發(fā)動機(jī)的損耗,還可以通過模擬危險的飛行環(huán)境和系統(tǒng)故障,鍛煉學(xué)員在復(fù)雜危險情況下的應(yīng)急操作能力,不會將飛行員置于危險之中[2]。 同時,傳統(tǒng)的飛行模擬器體積重量巨大且造價高昂,一臺全動飛行模擬器的售價超過1 200萬美元[3]。 隨著更多新型號飛機(jī)的推出和量產(chǎn),老款型號的飛行模擬器將被批量淘汰,其結(jié)果是飛行員培訓(xùn)成本變得極高。

全動飛行模擬器(Full Flight Simulator,FFS)是一種技術(shù)先進(jìn)的模擬器,它在運動、視覺、通信和空中交通等領(lǐng)域使用了當(dāng)今先進(jìn)技術(shù)[4]。 例如:FFS 可以模擬沿機(jī)身的空氣摩擦狀態(tài),讓飛行員進(jìn)行飛行環(huán)境定向訓(xùn)練,并可以提供特定機(jī)場周邊環(huán)境的超180 度衛(wèi)星高清質(zhì)量視圖。 飛行員可以在模擬器中精確地計算出機(jī)場的進(jìn)離場飛行程序[5]。 飛行訓(xùn)練器(Flight Training Device,FTD)沒有全動模擬機(jī)的虛像視景系統(tǒng),所以視景效果不盡人意,大多數(shù)情況下用于飛行程序的訓(xùn)練。 VR 設(shè)備帶來的沉浸式體驗則是無與倫比的,其在環(huán)境和視覺體驗上甚至優(yōu)于全動模擬機(jī)的視景系統(tǒng),但VR 飛行訓(xùn)練設(shè)備存在很大的弊端,在飛行程序中,飛行員對儀器儀表的操縱動作,很難與虛擬的座艙操縱儀表盤進(jìn)行高精度的匹配交互,即便是戴上VR 手套觸摸虛擬座艙,也會影響飛行學(xué)員對操縱桿的握感體驗[6]。 基于以上特點,利用MR 設(shè)備可以把虛擬場景與現(xiàn)實硬件設(shè)備結(jié)合起來,飛行訓(xùn)練人員通過操縱真實設(shè)備,來觀察虛擬飛行視景。 這種混合現(xiàn)實的訓(xùn)練設(shè)備將是未來發(fā)展的重要方向。

飛行學(xué)員使用虛擬現(xiàn)實培訓(xùn)系統(tǒng)的訓(xùn)練效果,在航空業(yè)中仍存在一定分歧。 一些觀點認(rèn)為,市場上的新型飛行模擬器無法完全取代經(jīng)過試驗和測試的傳統(tǒng)飛行模擬器。 飛行員在真實駕駛艙中的訓(xùn)練是至關(guān)重要的。 當(dāng)模擬機(jī)艙失火時,駕駛艙內(nèi)開始被煙霧覆蓋,飛行學(xué)員可以訓(xùn)練佩戴氧氣面罩,并通過駕駛艙座位的抖動感受飛機(jī)振動變化[7]。 目前,虛擬現(xiàn)實技術(shù)已經(jīng)越來越多地被空軍和私立飛行培訓(xùn)學(xué)校用作視頻教程的替代品。

如今,虛擬現(xiàn)實(Virtual Reality,VR)技術(shù)即將迎來全新的專業(yè)飛行員培訓(xùn)時代,這將對航空業(yè)產(chǎn)生深遠(yuǎn)的影響。 雖然一直以來,所有的飛行學(xué)員都是利用傳統(tǒng)的飛行模擬器接受訓(xùn)練[8],但隨著基于混合現(xiàn)實技術(shù)的飛行訓(xùn)練模擬器即將改變試點培訓(xùn)學(xué)校的教學(xué)方式,這將不僅是技術(shù)上的一次突破,更是飛行訓(xùn)練行業(yè)內(nèi)的一次技術(shù)變革。 基于混合現(xiàn)實的飛行員訓(xùn)練系統(tǒng)將顯著降低飛行訓(xùn)練成本,有效提高訓(xùn)練效率。

2019 年4 月,美國空軍推出了一門有30 名學(xué)生參加的“下一代飛行員培訓(xùn)”課程。 使用虛擬現(xiàn)實頭盔和先進(jìn)的人工智能生物識別技術(shù),13 名飛行員在短短4 個月內(nèi)便獲得了飛行資格認(rèn)證,而使用傳統(tǒng)的飛行員模擬培訓(xùn)系統(tǒng)則需要大約一年的時間。 虛擬現(xiàn)實飛行訓(xùn)練成本僅為每臺1 000 美元,而傳統(tǒng)模擬器的成本通常需要約450 萬美元。 學(xué)生們在使用HTC 的Vive 虛擬現(xiàn)實頭盔時完全沉浸在駕駛艙中,同時生物識別技術(shù)監(jiān)測心率和瞳孔變化信息,讓飛行教練準(zhǔn)確地了解學(xué)生在學(xué)習(xí)體驗中的沉浸程度,這是傳統(tǒng)飛行模擬器無法做到的[9]。 混合現(xiàn)實飛行訓(xùn)練的另一項突破性技術(shù),是可以基于一套混合現(xiàn)實設(shè)備,開發(fā)多種不同機(jī)型模擬仿真環(huán)境的能力,一名學(xué)生從駕駛T-6 教練機(jī)型切換到駕駛F-22 戰(zhàn)斗機(jī)機(jī)型只需要10 s[10]。 2021 年4 月歐盟航空安全局(European Aviation Safety Agency,EASA)首次正式對基于虛擬現(xiàn)實的航空訓(xùn)練解決方案進(jìn)行認(rèn)證[11]。 這要求飛行培訓(xùn)學(xué)校和企業(yè)對飛行學(xué)員的培訓(xùn)必須利用更科學(xué)的技術(shù)方案,以提高飛行訓(xùn)練的可靠性、安全性,并在提高訓(xùn)練效率的前提下,降低投入成本。

目前,國內(nèi)飛行訓(xùn)練使用虛擬仿真技術(shù)應(yīng)用方面大多數(shù)都停留在界面圖像級別,沒有引入MR 技術(shù)實現(xiàn)沉浸式混合現(xiàn)實仿真,普通虛擬現(xiàn)實仿真不能體現(xiàn)訓(xùn)練環(huán)境的沉浸感。 因此,本項目研究基于微軟公司HOLOLENS 2 設(shè)備的混合現(xiàn)實訓(xùn)練方案(和獲得歐盟航空安全局認(rèn)證的VR 訓(xùn)練器方案相同),掌握國外先進(jìn)技術(shù)的同時,研究國產(chǎn)替代解決方案[12]。

2 飛行模擬訓(xùn)練難點

飛行學(xué)校教師任職培訓(xùn)的本質(zhì)屬性,就是要求培養(yǎng)的人才在進(jìn)入工作崗位后必須會干、能干、有用,這意味著飛行學(xué)校的教師培訓(xùn)工作需要在“訓(xùn)”字上下功夫,并強(qiáng)調(diào)通過實踐培養(yǎng)學(xué)員的飛行能力。 目前,飛機(jī)學(xué)校的教學(xué)方式仍然以經(jīng)驗知識傳授為主,學(xué)員飛行技能的虛擬訓(xùn)練存在欠缺,學(xué)生獨立訓(xùn)練的時間較少,導(dǎo)致在實際飛行過程中容易發(fā)生多種多樣的問題。

2.1 理論教員缺乏飛行經(jīng)驗

在培養(yǎng)飛行員的過程中,學(xué)校的理論基礎(chǔ)教師沒有實際飛行經(jīng)驗,只能從教學(xué)理論角度講解飛行教學(xué)知識。 目前,學(xué)校的理論基礎(chǔ)教師大多是剛畢業(yè)的研究生,大多數(shù)教師缺乏系統(tǒng)的高教基本理論訓(xùn)練,包括高教基本理論、教育心理學(xué)、課程教學(xué)法和教育經(jīng)濟(jì)學(xué)等教育理論知識,同時還缺乏實際飛行經(jīng)驗,也沒有與飛行工作有關(guān)的職業(yè)教育基礎(chǔ)理論訓(xùn)練,因此很難滿足將飛機(jī)任職培訓(xùn)理論和實際教學(xué)一體化的需要。 學(xué)校還缺少培訓(xùn)教師實際技能的平臺和體系,安排教師在飛行相關(guān)基層工作的舉措雖然具有一定效果,但涉及面較小,實操時間也比較短,這不利于提高教師的教學(xué)水平。

2.2 訓(xùn)練階段缺乏模擬設(shè)施

由于市場對飛行員數(shù)量的需求越來越多,學(xué)校針對飛行學(xué)員的飛行教育缺少充分有效的模擬訓(xùn)練系統(tǒng)。 學(xué)生沒有自由實踐的平臺,飛行技能課程和崗位對飛行員的要求均規(guī)定學(xué)生應(yīng)當(dāng)具備扎實的實踐能力。 飛行員基本技能素質(zhì)的養(yǎng)成僅通過理論知識的傳授是無法實現(xiàn)的,即使在飛機(jī)培訓(xùn)中可以通過實際飛行訓(xùn)練來提高學(xué)生的實際操作技能和素質(zhì),但由于訓(xùn)練飛機(jī)的架次和飛機(jī)教員的數(shù)量不足,學(xué)生在真機(jī)上獨立駕駛的時間非常少。 盡管許多學(xué)校配備了飛行仿真設(shè)備,但其規(guī)模還比較有限,擴(kuò)展性和可調(diào)性也不夠,大大影響了學(xué)生自由練習(xí)的時間,不利于提高學(xué)生的獨立試飛水平。

2.3 模擬機(jī)成本高昂

模擬機(jī)培訓(xùn)價格昂貴。 在培養(yǎng)民航駕駛員的過程中,飛機(jī)訓(xùn)練模擬器是至關(guān)重要的組成部分。 傳統(tǒng)模擬機(jī)的弊端顯而易見,體型笨重,結(jié)構(gòu)煩瑣,驅(qū)動復(fù)雜,采購、安裝、維護(hù)等費用昂貴。 各種型號飛行器需要配置相應(yīng)型號的模擬機(jī)。 鑒于當(dāng)前國產(chǎn)化模擬機(jī)技術(shù)起步較晚,理論基礎(chǔ)薄弱,硬件設(shè)施技術(shù)滯后,大部分國內(nèi)飛機(jī)公司和院校所用的飛機(jī)模擬機(jī)優(yōu)先購置于海外,成本巨大。 許多飛行學(xué)校缺少必要的模擬機(jī)設(shè)備,這也是造成飛行培訓(xùn)質(zhì)量較低的關(guān)鍵因素。

2.4 缺乏多機(jī)型模擬器

特別是在通用航空飛機(jī)市場上,民用飛機(jī)由于固定翼航空器和直升機(jī)數(shù)量都很多,且為其配套的真實感和沉浸性俱佳的D 類飛行模擬器也遠(yuǎn)超過普通航空器的價值,故在通用飛機(jī)市場上C 類或D 類飛行模擬器的數(shù)量十分稀缺。 通航運營企業(yè)推出低端的飛機(jī)訓(xùn)練器。 這類訓(xùn)練器不具備運動平臺,且視景技術(shù)采用實像設(shè)計,展示效果不好。 這些問題都降低了飛行培訓(xùn)的效率和效果。 在飛機(jī)訓(xùn)練器中,結(jié)合混合現(xiàn)實功能,配合相應(yīng)的移動平臺設(shè)計,將在大幅減少飛機(jī)訓(xùn)練器費用的同時,明顯地提高飛行的沉浸性,這提升了飛行培訓(xùn)質(zhì)量。

專業(yè)飛行培訓(xùn)學(xué)校開展以教育為基本、以能力教學(xué)為中心、以崗位服務(wù)為主要目的、以訓(xùn)練學(xué)生崗位工作能力為基本價值方向的教學(xué)與實踐活動,其最明顯的特征是以能為本。 飛行專業(yè)的教學(xué)工作應(yīng)當(dāng)突出基礎(chǔ)能力訓(xùn)練,并優(yōu)先適應(yīng)崗位的工作要求,這一屬性決定了飛行教學(xué)應(yīng)當(dāng)以傳授基本理論知識為基礎(chǔ)、以提高學(xué)生素質(zhì)為核心、以訓(xùn)練創(chuàng)新能力為重點,利用有限的飛行時間集中強(qiáng)化訓(xùn)練,從而使培養(yǎng)對象具有勝任飛行職業(yè)要求的綜合實力。

3 混合現(xiàn)實飛行訓(xùn)練優(yōu)勢

基于混合現(xiàn)實技術(shù)的飛行訓(xùn)練模式創(chuàng)造了飛行學(xué)員與虛擬飛行場景的交互界面,并將真實場景和數(shù)字元素融合在一起,促進(jìn)了現(xiàn)實和虛擬世界的互動。它同時具備了虛擬現(xiàn)實和增強(qiáng)現(xiàn)實的特性,但又提供了物理操作平臺。 因此,它在飛行訓(xùn)練中具備極強(qiáng)的應(yīng)用價值。

3.1 適應(yīng)實戰(zhàn)化訓(xùn)練需要

通過混合虛擬現(xiàn)實技術(shù),在虛擬空間中模擬出真實的飛行場景,教員們即可將訓(xùn)練場由機(jī)場停機(jī)坪移至實驗室內(nèi)。 同時,也可以根據(jù)需要,將虛擬的訓(xùn)練場地疊加不同的地理環(huán)境、氣候條件等,并能夠根據(jù)不同學(xué)員的不同能力做出針對性的訓(xùn)練設(shè)置。 在訓(xùn)練方面,基于混合現(xiàn)實的訓(xùn)練設(shè)備能夠重復(fù)且連續(xù)使用,從而持續(xù)不間斷地開展既定課程的培訓(xùn),極大提升了學(xué)生的實戰(zhàn)化技能。

3.2 提供能力提升平臺

混合現(xiàn)實飛行訓(xùn)練系統(tǒng)可以為老師和學(xué)生創(chuàng)造飛行教學(xué)和飛行學(xué)習(xí)能力提高的平臺。 通過創(chuàng)建虛擬仿真的飛行培訓(xùn)平臺,突破培訓(xùn)空域、時間的局限,能夠在極大程度上降低培訓(xùn)成本,同時能夠重復(fù)使用,也避免了實際飛行的危險性。 這種功能特性可以根據(jù)學(xué)員按照自身的能力要求完成所有必要的模擬訓(xùn)練,同時也能夠通過虛擬實訓(xùn)找到實際飛行中存在的問題,并從虛擬實訓(xùn)中尋求解決問題的辦法,從而充分調(diào)動學(xué)生的主觀能動性,提高學(xué)生自主發(fā)現(xiàn)問題、處理問題的綜合能力。

3.3 提供實踐性教學(xué)設(shè)施保障

使用模擬設(shè)備進(jìn)行教學(xué),對教學(xué)條件、教師教學(xué)資源的依賴性較大。 目前,飛行專業(yè)教師配套的教學(xué)設(shè)備比較落后,新技術(shù)裝備嚴(yán)重不足,教學(xué)模擬器材建設(shè)也未能形成一定的系統(tǒng),嚴(yán)重制約著實驗式教學(xué)法的發(fā)展。 采用虛擬現(xiàn)實技術(shù)的飛機(jī)訓(xùn)練平臺具備高度真實、低功耗、高擴(kuò)展的特點,且創(chuàng)新與迭代過程相對簡單,更容易建立大規(guī)模體系。 特別是針對當(dāng)前飛機(jī)信息化裝備的虛擬仿真,虛擬現(xiàn)實技術(shù)具備優(yōu)越性,已成為當(dāng)前飛機(jī)訓(xùn)練專業(yè)的理想選擇。

3.4 單機(jī)功能擴(kuò)展性強(qiáng)

在性能上,與傳統(tǒng)的飛機(jī)模擬器相比,采用混合現(xiàn)實的飛機(jī)模擬技術(shù)器具有無可比擬的優(yōu)越性。 采用了混合現(xiàn)實技術(shù)的飛機(jī)模擬器,配備了駕駛艙等硬件設(shè)施,結(jié)合虛擬現(xiàn)實的仿真飛行環(huán)境建模,提供了一種全新的飛機(jī)訓(xùn)練環(huán)境。 能夠很簡便地做到單機(jī)多能,即可以使用同一種訓(xùn)練平臺同時進(jìn)行多個機(jī)型飛行任務(wù)的演練。 目前,飛行模擬器的視景控制系統(tǒng)通過使用混合現(xiàn)實硬件設(shè)備的攝像頭,將座艙實景畫面嵌入虛擬環(huán)境中,實現(xiàn)硬件操控平臺與虛擬飛行環(huán)境相融合。

中國民航圍繞“持續(xù)安全理念”,穩(wěn)步推進(jìn)“民航強(qiáng)國”戰(zhàn)略建設(shè),需要培養(yǎng)應(yīng)用型、復(fù)合型、創(chuàng)新型的新時代民航專業(yè)技術(shù)人才。 國家民用航空飛行學(xué)校,作為中國民航人才培養(yǎng)的主力學(xué)校之一,將主動變革人才培養(yǎng)模式和教學(xué)內(nèi)容,以提升教育質(zhì)量與培養(yǎng)品質(zhì),適應(yīng)“民航強(qiáng)國”人才建設(shè)。 基于混合現(xiàn)實技術(shù)以其高度逼真性、交互性,為提高飛行學(xué)校任職培訓(xùn)能力開辟了一條可行途徑。 運用虛擬現(xiàn)實技術(shù)開展實踐性教育,遵循了“以模代實、以軟代硬”的教育培訓(xùn)開發(fā)理念,能夠為飛機(jī)學(xué)院的任職培訓(xùn)人員提供一個教學(xué)環(huán)境現(xiàn)實、教學(xué)內(nèi)容真實、練習(xí)形式新穎、學(xué)習(xí)方法完善、內(nèi)容資料豐富的復(fù)合型實踐教學(xué)培訓(xùn)模式,從而打破了傳統(tǒng)飛機(jī)培訓(xùn)資金、時間、空間上的束縛,大大減少了實踐飛行培訓(xùn)的難度與風(fēng)險,從而大幅度降低了飛機(jī)院校的教育培訓(xùn)成本,在飛機(jī)任職培訓(xùn)領(lǐng)域有著更廣泛的發(fā)展前景。

目前,混合現(xiàn)實已經(jīng)成為一項世界領(lǐng)先的培訓(xùn)技術(shù)手段,通過這種技術(shù)的有效運用,可以進(jìn)一步指導(dǎo)新培訓(xùn)模式的形成,進(jìn)一步明確了飛機(jī)教師和測試人員對培訓(xùn)要求的正確把握標(biāo)準(zhǔn),而培訓(xùn)結(jié)果可成為飛行員技術(shù)安全生命周期管理系統(tǒng)的關(guān)鍵部分,為“大數(shù)據(jù)+空中培訓(xùn)”戰(zhàn)略服務(wù),引領(lǐng)全球航空運輸培訓(xùn)的創(chuàng)新發(fā)展,向全球民用提供空中培訓(xùn)管理工作的“國家智力”和“中國標(biāo)準(zhǔn)”,有力支持建設(shè)協(xié)調(diào)高效、開放發(fā)展的新時期具有中國特色的飛行訓(xùn)練培訓(xùn)體系。

4 混合現(xiàn)實飛行訓(xùn)練設(shè)計與實現(xiàn)

基于微軟HoloLens 設(shè)備的混合現(xiàn)實飛行訓(xùn)練系統(tǒng)技術(shù)框架如圖1 所示,其中混合現(xiàn)實平臺是系統(tǒng)的核心。 系統(tǒng)通過HoloLens 采集真實環(huán)境中的信息和用戶交互信息后,進(jìn)行同步空間掃描定位,將交互信息與數(shù)據(jù)庫信息進(jìn)行匹配,然后在HoloLens 設(shè)備上進(jìn)行混合現(xiàn)實顯示。

圖1 混合現(xiàn)實飛行訓(xùn)練系統(tǒng)技術(shù)框架

頭顯設(shè)備采用微軟的HoloLens 全息眼鏡,不僅能將虛擬影像與現(xiàn)實環(huán)境很好地結(jié)合,其除了是頭顯設(shè)備外還是一臺獨立的運算設(shè)備,能流暢運行Windows 10 系統(tǒng),不需要借助外接設(shè)備便能實現(xiàn)空間定位,同時還支持手勢識別、語音識別、無線互聯(lián)等。 圖形工作站主要運行多機(jī)型模型以及復(fù)雜的培訓(xùn)系統(tǒng)流程模型,實時存儲采集的數(shù)據(jù),提供列表、曲線、圖形等多種方式顯示監(jiān)控數(shù)據(jù)。

基于HoloLens 的混合現(xiàn)實技術(shù),在使用系統(tǒng)過程中,用戶不需要電腦、冗雜的數(shù)據(jù)線、手柄和鼠標(biāo)等外圍設(shè)備,只需佩戴HoloLens 眼鏡結(jié)合手勢就可實現(xiàn)所有的操作。 用戶進(jìn)入系統(tǒng)后,可選擇學(xué)習(xí)模式和訓(xùn)練模式進(jìn)行試驗學(xué)習(xí)。

培訓(xùn)人員可以通過手勢與HoloLens 互動,實現(xiàn)觀察視角的變換,借助MR 演示技術(shù),創(chuàng)造沉浸式的體驗。 綜合管理系統(tǒng)軟件開發(fā)數(shù)據(jù)存儲功能模塊,可將網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行綜合存儲,以方便后期數(shù)據(jù)回放、數(shù)據(jù)處理和訓(xùn)練效果評估,數(shù)據(jù)存儲和采集采用無損旁路采集模式。 原有的通信鏈路為透明傳輸,對仿真平臺不產(chǎn)生延時,以免影響仿真效果。 開發(fā)流程示意如圖2 所示。

圖2 開發(fā)流程

此案例為中國民用航空飛行學(xué)院設(shè)計的一種基于MR 的繞機(jī)檢查訓(xùn)練方法及裝置,流程包括以下步驟。

步驟1:建立飛機(jī)結(jié)構(gòu)模型,得到飛機(jī)結(jié)構(gòu)模型檢查訓(xùn)練文件。

步驟2:基于UNITY 引擎開發(fā),在項目中設(shè)置符合AR 設(shè)備的開發(fā)環(huán)境。

步驟3:搭建繞機(jī)器檢查的周邊環(huán)境背景模型,得到背景模型檢查訓(xùn)練文件。

步驟4:模擬缺陷案例,體驗時間及檢查訓(xùn)練模式得到綜合配置文件。

步驟5:將1 至4 相關(guān)文件傳輸至MR 訓(xùn)練裝置中,進(jìn)行模擬測試。

基于混合現(xiàn)實技術(shù)的虛擬仿真飛行訓(xùn)練系統(tǒng)設(shè)計研究是以虛擬仿真技術(shù)為依托、計算機(jī)仿真為支撐,借助MR 設(shè)備硬件平臺,通過三維建模以搭建仿真模型,構(gòu)建虛擬現(xiàn)實的沉浸式虛擬維修訓(xùn)練的培訓(xùn)方法。 虛擬維修培訓(xùn)是一種新型的培訓(xùn)方式,虛擬維修培訓(xùn)和真實維修培訓(xùn)相結(jié)合,兩者互相配合,互相補(bǔ)足短板。 虛擬仿真培訓(xùn)具有突破真實培訓(xùn)條件局限的優(yōu)勢,具有更好的通用性、靈活性、層次性和資源共享性,可根據(jù)培訓(xùn)需要以構(gòu)建故障類型和故障內(nèi)容,在虛擬環(huán)境系統(tǒng)中進(jìn)行飛行訓(xùn)練模擬仿真操作,有效提高培訓(xùn)效率、降低培訓(xùn)成本。

5 地面繞機(jī)檢查訓(xùn)練科目案例

基于HoloLens 研發(fā)的混合現(xiàn)實設(shè)備,根據(jù)飛行員地面繞機(jī)檢查科目,筆者運用此設(shè)備設(shè)計了一款混合現(xiàn)實地面繞機(jī)檢查案例。 繞機(jī)檢查主要檢查部位包括機(jī)頭、前后機(jī)身、起落架、機(jī)翼、發(fā)動機(jī)、機(jī)尾等部分,規(guī)范化檢查路線如圖3 所示。

圖3 繞機(jī)檢查規(guī)范路徑

圖4 案例的模塊連接流程

使用者佩戴并啟動HoloLens2 混合現(xiàn)實眼鏡,通過接收軟件設(shè)計的固定繞機(jī)檢查路線,根據(jù)語音提示移動到航空器三維模型中的各個待檢查部位,采集待檢查部位的圖像數(shù)據(jù)和使用者對該位置的操作手勢,并上傳至服務(wù)器。 服務(wù)器接收圖像數(shù)據(jù)和手勢數(shù)據(jù),將接收的數(shù)據(jù)與預(yù)設(shè)數(shù)據(jù)庫進(jìn)行特征點比對,得到當(dāng)前檢查部位的檢查規(guī)范和檢查結(jié)果,并將當(dāng)前交互的飛機(jī)部位檢查結(jié)果傳輸至HoloLens2 混合現(xiàn)實眼鏡。HoloLens2 混合現(xiàn)實眼鏡接收到使用者交互飛機(jī)部位的檢查結(jié)果,彈出提示,引導(dǎo)使用者沿著預(yù)定的繞機(jī)檢查路線前往下一個檢查部位繼續(xù)檢查;直到完成飛機(jī)所有待測部位的檢查,將智能眼鏡采集到的所有數(shù)據(jù)上傳至服務(wù)器進(jìn)行存儲。

在進(jìn)行學(xué)員地面繞機(jī)檢查時,HoloLens2 設(shè)備的微型攝像頭可作為數(shù)據(jù)讀取模塊,通過獲取待檢查機(jī)型的各位置信息,根據(jù)該機(jī)型信息從服務(wù)器中調(diào)取相應(yīng)機(jī)型的數(shù)據(jù)庫與預(yù)定檢查路線;在服務(wù)器的數(shù)據(jù)分析模塊中,數(shù)據(jù)處理系統(tǒng)會預(yù)先對各種不同機(jī)型的基礎(chǔ)數(shù)據(jù)信息建立仿真數(shù)據(jù)庫,其包含機(jī)型各待檢位置對應(yīng)的異常圖像、正常圖像特征檢測數(shù)據(jù)庫,以用于進(jìn)行后續(xù)的特征對比;通過HoloLens2 頭部顯示模塊反饋給使用者,得到檢查結(jié)果。

特征檢測數(shù)據(jù)庫的圖像數(shù)據(jù)來源包括:通過拍攝獲取大量航空器地面繞機(jī)檢查正常(無損傷)圖像數(shù)據(jù),用于異常(有損傷)圖像的對比分析參考;對于航空器上一些常見的損傷或外觀異常類型通過實驗加工的方式建立仿真物理上的模型或模仿故障或異常現(xiàn)象﹐獲取圖像數(shù)據(jù)(如模擬機(jī)翼滲漏滴油、地面油痕跡、模擬機(jī)體表面撞擊凹痕等圖像);在航空公司、機(jī)場或飛機(jī)修理廠采集不同機(jī)型航空器的地面繞機(jī)檢查異常圖像數(shù)據(jù)。 通過大量航空器正常圖像和異常圖像建立特征圖像數(shù)據(jù)庫。 服務(wù)器還存儲了針對不同機(jī)型、不同部位的歷史檢查數(shù)據(jù),方便工作人員根據(jù)歷史數(shù)據(jù)設(shè)計相應(yīng)的繞機(jī)檢查路線并發(fā)送至混合現(xiàn)實眼鏡。 部分案例實現(xiàn)效果如圖5 所示。

圖5 部分繞機(jī)檢查案例效果

確認(rèn)牽引桿固定好后,駕駛員應(yīng)移除或者固定行李箱內(nèi)任何未固定的物品,每次飛行前應(yīng)檢查行李箱門是否關(guān)好。

工作人員應(yīng)定期檢查前緣、上部、下部和外緣表面有無損壞;檢查移動升降舵以確認(rèn)其活動靈活無卡阻,連接正常;向上扳動升降舵時檢查駕駛桿向后移動,注意避免觸碰升降舵的塑料邊緣;檢查兩個靜電刷連接正常;檢查調(diào)整片連接是否緊固,升降舵配平處于起飛時會扳動升降舵至水平安定面角度;檢查調(diào)整片與升降舵角度。

檢查郵箱的步驟是打開燃油箱蓋,目視檢查油量,確認(rèn)油箱口蓋正確蓋好。

地面繞機(jī)檢查虛擬仿真系統(tǒng)設(shè)計研究是以虛擬仿真技術(shù)為依托、計算機(jī)仿真為支撐,借助MR 平臺,通過三維建模以搭建仿真模型,構(gòu)建虛擬現(xiàn)實的沉浸式虛擬訓(xùn)練的培訓(xùn)方法。 基于混合現(xiàn)實技術(shù)的培訓(xùn)是一種新型的培訓(xùn)及訓(xùn)練方式,其可以與真實維修培訓(xùn)相結(jié)合,兩者互相配合,互相補(bǔ)足短板。 基于混合現(xiàn)實的虛擬仿真繞機(jī)檢查訓(xùn)練具有突破真實培訓(xùn)條件局限的優(yōu)勢,具備更好的通用性、靈活性、層次性和資源共享性,可根據(jù)訓(xùn)練需要以構(gòu)建故障類型和故障內(nèi)容,在虛擬環(huán)境系統(tǒng)中進(jìn)行地面繞機(jī)檢查操作,這有效地提高培訓(xùn)效率、降低培訓(xùn)成本。

6 結(jié)語

混合現(xiàn)實技術(shù)有很大潛力。 無論是使用混合現(xiàn)實技術(shù)在飛行訓(xùn)練中進(jìn)行人機(jī)交互,還是增強(qiáng)訓(xùn)練過程的效果,都表明其應(yīng)用前景廣闊。

5G 是增強(qiáng)移動連接的網(wǎng)絡(luò)工具,有助于提升混合現(xiàn)實技術(shù)應(yīng)用的效果。 隨著網(wǎng)絡(luò)連接速度的提高和延遲的減少,當(dāng)飛行學(xué)員在場景中走動時,他們能夠方便地使用混合現(xiàn)實眼鏡,而不會因為傳輸速度慢而錯過信息。 混合現(xiàn)實技術(shù)將數(shù)字世界和物理世界結(jié)合起來,為飛行模擬訓(xùn)練帶來前所未有的機(jī)遇。