AR技術在飛機部件虛擬維護中的應用

楊思力 陳閔葉 單琦 孫樂萌

摘? 要：傳統的飛機維修培訓是基于現有故障飛機進行人員培訓，但存在培訓時間不確定及培訓成本高等問題。為基于此類培訓問題對培訓方法進行改進，使用可視化維護技術對整個流量控制閥組件拆裝過程進行分析及模擬，通過虛擬現實等多種方式提升航空機務人員的維修水平與熟練度，可起到弱化培訓限制、縮短培訓周期與降低培訓成本的作用。結果表明，可視化虛擬維修可隨時進行對應部件維修的培訓，解決了培訓時間不可控的問題且培訓成本也下降至對應的虛擬維護設備的價格。

關鍵詞：可視化維護;虛擬維修;流量控制閥;Unity應用;AR

中圖分類號：V267? ? 文獻標識碼：A

Abstract： Traditional aircraft maintenance training is based on the existing faulty aircraft personnel training， but there are problems such as uncertain training time and high training cost. Based on such training issues to improve the training methods， use the visual maintenance technology of the whole flow control valve components disassembling process analysis and simulation， through a variety of ways such as virtual reality promote the maintenance level of aircraft crew and proficiency， has weakened restrictions， shorten training cycle and reduce the training costs. The results show that the visual virtual maintenance can carry out the training of corresponding parts at any time， which solves the problem of uncontrollable training time and reduces the training cost to the price of corresponding virtual maintenance equipment.

Key words： visual maintenance; virtual maintenance; flow control valve; Unity application; AR

0? 引? 言

本文以A320流量控制閥組件作為維護對象，搭建一個包含虛擬現實、增強現實內容的跨平臺可視化維護訓練系統。本文將對A320流量控制閥組件進行三維實體建模，并借助Unity引擎實現該組件在多個平臺上的維護環境構建，讓受訓人員可以通過VR設備、移動智能設備及普通PC使用該可視化維護系統。使用本文所構建的可視化維護環境進行維修要素分析與訓練，能有效加強機務人員對A320流量控制閥組件的結構組成、拆裝過程、維護要點的理解，提高維修效率與排故水平。

1? A320流量控制閥結構與關鍵零部件建模

1.1? 流量控制閥組件結構

A320客機的流量控制閥組件是其空調系統的重要組成部件，其功用為控制從發動機壓氣機流入空調系統的熱引氣流量[1]。每架客機共有左右兩個流量控制閥組件，分別位于機身中下段腹部的左右兩側，可以通過機腹表面的檢修口蓋對其進行維護作業。如圖1所示，是流量控制閥組件的外部整體構造。

1.2? 流量閥建模及簡化

由于實現可視化維護的后續工作只需要進行關鍵零件的碰撞檢測，因此不涉及的零部件可以忽略，進行統一建模，如圖2所示。關鍵的零部件可以通過削減面片數的方法進行簡化操作，從而獲得減少計算時間和計算量同時保持較高計算精度的簡化模型。模型簡化前后對比如圖3所示。

2? 總體流程及關鍵技術

2.1? 系統框架的總體設計

本文所設計可視化維護系統使用Unity引擎作為開發平臺，以A320流量控制閥組件作為維護對象，在配備VR設備的計算機、移動智能設備和普通PC上分別搭建可視化維護環境。通過在多個系統平臺對流量控制閥組件虛擬維護功能的實現，滿足了持有不同硬件設備的可視化維護系統使用者的差異化需求，使每一個使用本系統的訓練者都能對閥體零件的結構特征、拆裝步驟和維護要點有一個直觀而清晰的理解，提升訓練者的飛機零部件維護技能水平。

本系統的層次結構，分為交互操作、零件模型數據和核心仿真邏輯三個層次。在硬件種類不同的可視化維護系統的承載平臺上，交互操作層面的邏輯均各不相同，而零件數據和核心邏輯都是共通的。如圖4所示，是A320流量控制閥組件可視化維護系統結構層次。

2.2? 零部件碰撞技術

要實現對可視化維護環境中零部件的仿真模擬，除了要保證零件在運動參數上和真實的閥體零件拆裝時的運動狀態量要盡量貼合，還要添加零件對象之間的仿真碰撞檢測機制，才能保證在可視化維護的過程中，最大限度的避免零件之間相互穿透的“穿?！爆F象出現。而直接分析三維零件的碰撞檢測較為復雜，大部分碰撞檢測理論的做法是將不規則的三維零部件分割成規則三維幾何體，再從維度上進行壓縮，先對三維幾何體的規則二維幾何截面進行碰撞檢測，再通過追加Z軸的方法進行二次碰撞判定[2]。本文也將遵循這一規則，對可視化維護環境中零部件的碰撞檢測理論進行分析。

首先需要解決的是二維截面的碰撞檢測問題，典型二維截面包括矩形、圓、三角形和扇形，在機械零件的規則截面中，又以矩形、圓的截面居多，因此對于可視化維護環境中涉及到的二維截面碰撞檢測，只需要著重研究兩個矩形之間、兩個圓之間和矩形與圓之間的三種碰撞檢測問題。

兩個零部件的矩形截面是否會碰撞主要應用了德摩根定律，設兩個矩形截面中心點坐標為x，y與x，y，長與寬分別為c，k、c，k：

x-x≤? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

y-y≤? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （2）

當且僅當式（1）與式（2）同時滿足時，兩個零件的矩形截面會發生干涉碰撞。

兩個零部件的圓截面是否會碰撞則更為簡單，應用勾股定理進行判定，設兩個圓形截面的圓心為x，y與x，y，半徑為r、r：

x-x+y-y≤r+r? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （3）

滿足式（3）時，兩個零件的圓形截面會發生相互干涉。

一個零件的矩形截面和另一個零件的圓截面是否會碰撞則比較復雜。不能簡單判定兩個截面的邊緣線是否相交，必須分兩個獨立的階段進行判定：

第一階段，將矩形截面邊線向外進行等距擴張，擴展的寬度等于圓截面的半徑，形成一個幾何中心不變、長與寬都等于原來長寬分別加上圓截面直徑的矩形截面。如果擴展后的矩形截面包含了圓截面的圓心坐標，則進入下一階段的判定;若不包含，則兩個零部件的截面一定不相交。

在第二階段判定中，若圓截面的圓心在擴張前的矩形截面外，且處于擴展后的矩形的四個角落的正方形中，且圓截面內未包含擴張后矩形的任何一點，則兩個零部件的截面一定不相交，不滿足判定條件則說明發生了兩個截面會碰撞。如圖5所示，是將矩形零件截面向外擴張圓形截面的半徑r進行碰撞檢測。

解決了二維截面的碰撞檢測問題，之后就是對截面追加Z軸，使之成為規則的三維幾何體，對于圖中的兩個矩形來說，其判定條件追加為：

（4）

對于球體零件，則為：

x-x+y-y+z-z≤r+r? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（5）

以上兩種規則三維幾何體之間的碰撞檢測流程也代表了Unity中大部分對象物體的碰撞檢測方式。為了模擬真實的流量控制閥零部件在可視化維護環境中的碰撞結果，上述過程將在每一幀的運算上都進行判定，一旦發生了閥體零件之間的碰撞，那么就立即調整零件的位置參數至上一幀的狀態，歸零零件對象的運動學參數，并以提示的方式告知可視化維護系統的訓練人員發生了零件之間的位置干涉。

2.3? 其他場景仿真技術

即使完成了流量控制閥的所有零件的運動方式和碰撞體積仿真，整個可視化維護場景仍然相對真實的維護環境有一定的差距。要對維護場景的真實度進行進一步提升。強化場景真實方法主要有增強可視化維護場景中的透視效果和光影效果。

無論通過傳統的顯示器還是VR眼鏡，可視化維護場景中的三維零件模型是以“視景體”（View Frustum）表現在電子屏幕上的[3]，這樣才能在平面中表現出透視的縱深感。如圖6所示，是視景體的x軸坐標變換關系。

假設現在虛擬維修空間中有一視覺原點，其坐標為0，0，0，真實世界中的顯示器平面與其距離為D，那么該空間中任意一點Px，y，z，和在顯示器平面上對應顯示的一點Px，y，z將有如下的關系：

（6）

通過可視化維護空間內點與屏幕上像素點對應關系，不難推導出線、面乃至完整的三維模型在虛擬三維空間與屏幕顯示的對應關系。Unity正是用此方法構造了其核心三維圖像引擎[4]，雖然這樣的視景體模型在人類雙目視覺的觀察下是存在誤差的近似模擬，但用于可視化維護系統的透視效果是足夠的。

如果可視化維護場景中缺少合適的光源，那么該場景中的所有閥體零件和其他的場景物體都將是黯淡而模糊的，因此需要以合適的算法來模擬虛擬場景中的光照。不管是工業仿真影視渲染、計算機游戲，在沒有光線追蹤硬件的情況下，一般采用預烘焙的方式為物體對象添加具有光陰效果的貼圖。對于可視化維護場景中的閥體零件來說，使用Unity的全局光照功能事先烘焙零件光影細節[5]，是較為合適的光影仿真手段。

3? 可視化維護系統設計及實現

3.1? 可視化維護系統的實現

流量控制閥組件可視化維護系統的實現過程包括各項虛擬拆裝關鍵技術的實現、可視化維護各個功能模塊的設計以及將整個可視化維護系統發布到各個平臺的過程。對于A320流量控制閥組件可視化維護的三個平臺版本來說，只有涉及虛擬現實拆裝的版本額外使用了HTC VIVE一代作為虛擬現實硬件[6]，PC版和移動版可視化維護系統除了作為承載硬件的計算機和手機、平板外，不需要額外的設備。如圖7所示，是部件拆裝訓練模塊邏輯流程圖。如圖8所示，是可視化維護系統主界面。

3.2? 系統關鍵技術的實現

可視化維護系統的各項功能建立在虛擬拆裝的基本動作和場景在Unity中的實現?？梢暬S護系統的基本動作包括對閥體組件的拾取、移動、安裝和拆卸，實質就是使用者與場景中涉及零件拆裝的對象物體的交互動作;而場景實現包括對虛擬維護環境中所有不受訓練者操控、不發生直接交互動作的背景對象的設計實現與位置擺放。流量控制閥組件可視化維護過程中，對某一個零件對象進行虛擬維護操作的過程要素包括：操作這個交互過程的對象[7]、被操作的閥體零件對象以及交互過程開始與結束的信號事件。如圖9所示，是虛擬維護操作流程要素。

對于通常認知中的維護操作來說，標志著交互過程開始觸發的信號就是操作者在虛擬環境中的手或工具與零件對象發生了接觸。在Unity引擎中，交互發起對象與被操作零件對象一般采用碰撞事件作為觸發信號。將可視化維護的相關邏輯代碼寫入該事件，一旦有閥體零件發生體積干涉，則會執行該事件內的維護拆裝相關代碼。按照上文閥體零部件碰撞檢測的原理，在Unity中為所有參與可視化交互過程的零件對象附加長方體或圓柱體的碰撞體積，并勾選啟用該觸發器[8]。

完成了被維護對象的碰撞觸發器設定后，需要設置可視化維護環境中操作者的碰撞體，也就設置是交互發起對象的碰撞設定，這里根據交互方式的不同，虛擬環境中部件拆裝操作者的操控方式有鍵鼠操作、觸摸操作和VR硬件操作三類，分別對應承載可視化維護環境的普通PC、移動智能終端和虛擬現實設備。對于使用鍵鼠操作的虛擬維護使用者來說，將會以鼠標指針作為原點、以屏幕所示方向，即Unity中攝像機當前幀的朝向為指向，作一條視覺上不可見、且具有剛體屬性和碰撞體積的射線。任何與該直線相碰撞的被維護對象，即已添加碰撞體積的流量控制閥零件都會與其觸發碰撞事件。對于使用安裝在移動設備上的可視化維護系統，并主要以觸摸方式進行交互式拆裝的使用者來說，生成剛體射線的邏輯基本相同，將會以最先接觸到屏幕的手指接觸面中心替代鼠標指針作為射線原點。如圖10所示，為零件對象添加碰撞觸發器（圖中淡綠色輪廓）。

對于使用VR設備硬件的可視化維護訓練者來說，可以采用上述普通設備中生成碰撞觸發射線的邏輯，以VR手柄的中心點作為原點，以虛擬環境中控制閥組件拆裝訓練者手臂朝向為方向，生成該射線[9]。這種方式對于抓取訓練者視線范圍內可見、但距離自身位置較遠的閥體零件和選擇虛擬環境內菜單命令時較為方便。但此方法是可視化維修交互操作中受限于傳統二維顯示方式下一種間接碰撞觸發方法，對于能夠在虛擬三維空間中直接接觸閥體組件對象的VR手柄來說，還有碰撞效果更為直接的方法：直接在VR手柄的本體上添加碰撞剛體，讓使用者可在虛擬環境中將此手柄碰撞體作為自己雙手或者持握工具的延伸。此時若將手柄在可視化環境下的顯示模型改為手部模型或適當的工具模型，當訓練者在使用手柄與閥體零件進行交互動作時，就會產生一種正在使用雙手或者工具對流量控制閥組件進行操作的感覺。

上述過程只是解決了訓練者與單個零件交互過程在何種時機以何種方式開始的問題，一個完整的交互過程需要在整個操縱步驟動作中保證被操作的零件實時對訓練者的動作作出正確反應[10]。在使用虛擬現實設備的情況下，VR手柄在可視化環境下擁有自己的位置坐標，在觸發交互過程開始的事件信號后，就將零件位置移動到手柄位置，再附加一個位置坐標偏移量，利用前文所述虛擬環境中零件物體向任意方向運動的原理實現零件與手柄的位置跟隨，即可在整個流量控制閥組件可視化維修過程中營造出零件跟隨操作者手或工具一起運動的效果。如圖11所示，是VR手柄發射的激光指向需要移動的零件。

在使用普通PC和移動設備的情況下，由于鼠標指針和觸摸點只有二維坐標，因此本系統將閥體零件的Z軸坐標固定在合適的位置，再讓其X坐標與Y坐標跟隨鼠標指針或觸摸點位置進行移動，實現控制閥零件的移動效果[11]。

單個零件與操縱者的交互過程中最后一個需要解決的問題是何時終止該交互過程。在通常的維護步驟中，當一個零件被完全拆下或是安裝完畢后就會進行下一個零部件的拆卸或是安裝工作;而在本系統中，完全拆下和安裝完畢判定取決于虛擬空間中零件坐標位置和其起點或終點位置的距離遠近。在可視化零件拆卸步驟中，零件在被移動前的位置被記為x，y，z，而在每一幀的運動中它的位置都x，y，z將與起點位置進行比較，若該距離大于一定值k，即滿足不等式組：

（7）

此時，就判定該控制閥零件已經被完全拆下，將發出終止該零件與訓練者交互過程的信號，該零件處于已被拆卸的狀態;類似的，在虛擬空間內的閥體零件安裝過程中，其每一幀的位置坐標將與安裝的目標位置進行距離計算，若小于一定的數值即可判定其已安裝完畢，將轉入下一個零件的虛擬安裝交互過程[12]。這些閥體零件的起點或終點位置坐標以文件的形式預先存儲在可視化維護系統的硬件平臺上。

A320流量控制閥組件的部件拆裝具有嚴格的先后順序，在可視化維護系統中，這些零件對象按照飛機維護手冊的圖示都被賦予了內部編號。如果在零部件拆裝的過程中，觸發交互過程的閥體零件對象出現選擇錯誤或順序錯誤，從該對象的內部編號上就能對該拆裝錯誤進行識別，中止錯誤的零部件交互過程。

在可視化維護系統維護步驟分析模塊中，主要以閥體組件三維動畫配合AMM手冊相關章節的文字內容進行維護部分的拆裝過程分析[13]。閥體零件以高對比度的強烈色彩作為其材質的渲染紋理，目的是在流量控制閥維護步驟分析中讓使用者能輕松分辨不同的閥體零件[14]。使用者通過查看閥體零件的維護分析運動動畫來掌握正確的流量控制閥維護過程。如圖12所示，是流量控制閥拆裝演示動畫制作界面。

流量控制閥組件維護過程的動畫由Unity引擎自帶的動畫引擎編輯。在實際制作零件動畫時，需要在閥體零件對象上附加動畫組件[15]，并在選中零件對象的前提下打開動畫制作界面。通過動畫屬性添加按鈕，可以將零件對象的位置、姿態、縮放以及材質等屬性作為關鍵幀的要素。通過在該界面新建不同的零件動作關鍵幀，并改變其對應零件的參數[16]，動畫系統會自動插值計算閥體零件對象在兩個關鍵幀中的漸變過程，從而就生成了一段流量控制閥部件的動畫[17]。將多組動畫進行排列組合，并設置好依此觸發的條件，就完成了整個零件對象的維護步驟分析演示動畫[18]。在訓練者的視野范圍內，還有復數個提示板會顯示閥體零件的拆裝步驟說明文字，這些說明文字會根據控制閥組件維護步驟動畫的進行而實時顯示。如圖13所示，是流量控制閥維護步驟分析模塊界面。

在可視化維護系統的拆裝訓練模塊中，訓練者可通過多種交互方式進行流量控制閥組件的拆裝練習[19]。為了提示未掌握控制閥組件維護步驟的訓練人員，在拆卸零件對象時，需要拆卸的零件將以亮橙色材質突出顯示，其余控制閥組件以深藍色顯示;而在安裝閥體零件時，訓練者手持的零件將是亮綠色的，而在該零件對象的正確安裝位置，將會出現一個與該零件外形一致、無碰撞體積的亮黃色零件對象，用于提醒訓練人員。

4? 系統跨平臺發布的實現

A320流量控制閥組件可視化維護系統是一個跨平臺的可視化維護系統，借助Unity引擎的跨平臺特性，可以快速將可視化維護系統發布到包括配備VR設備的計算機、移動智能設備及普通PC上[20]。這三個版本的核心可視化維護邏輯代碼和控制閥組件對象數據都是共用的，只需分別替換承載可視化維護環境的不同硬件所對應的交互代層腳本就可以完成全部的修改工作[21]。如圖14所示，是跨平臺發布選項設置界面。

在Unity引擎的發布命令菜單，分別選擇不同的支持系統平臺，即可進行針對該平臺的可視化維護環境設置[22]。可選擇的發布選項包括設置零部件可視化拆裝的默認分辨率、移動設備的控制閥拆裝界面的橫屏與豎屏選項以及該平臺上展示的可視化維護程序圖標等。

5? 結束語

針對傳統飛機維護需要根據飛機狀況進行集中培訓，耗時耗力，且培訓成本高的問題，本文提出一種基于AR的可視化飛機部件維護培訓方法。利用AR技術，結合對應部件的工卡維修步驟，在培訓設備上進行交互式展示及培訓。結果表明，該項技術不僅解決了傳統培訓時間不確定的問題，同時培訓成本也下降，只需要花費對應培訓設備的維護使用成本。該項技術可以對培訓人員進行反復培訓，在成本降低和時間可控的基礎上還可以達到更好的培訓效果。本文目前只對一個部件進行了展示，今后將在此基礎上制作其他飛機部件的虛擬維護過程。

參考文獻：

[1] 王文舉，李光耀. 虛擬維修仿真技術的研究與進展[J]. 系統仿真學報，2011，23（9）：1751-1757.

[2] 何濤. 虛擬維修在航空裝備維修領域的應用研究[J]. 信息與電腦（理論版），2017（17）：31-32.

[3] 甄燕. 虛擬維修技術在通用航空維修中的應用分析[J]. 科技資訊，2017，15（33）：92，97.

[4] 王愷. 虛擬維修技術在民航中的應用分析[J]. 山東工業技術，2019（6）：50.

[5] 李斌，馬麟龍. 虛擬維修技術在民機維修性設計中的應用研究[J]. 科技信息，2012（24）：360.

[6] 李飛，聶挺. 虛擬維修技術在通用航空維修中的應用[J]. 科技信息，2011（10）：528，530.

[7] 曲玉琨，畢嗣民，周全. 航空維修訓練模擬系統關鍵技術研究[J]. 航空計算技術，2016，46（3）：128-130，134.

[8] 楊徐晗，徐國標. 虛擬維修技術在民航中的應用初探[J]. 四川兵工學報，2015，36（5）：159-163.

[9] 翟曉沛，史永勝. 飛機維修計劃制定過程的協同可視化方法研究[J]. 飛機設計，2016，36（2）：70-73，77.

[10]? Mizell D W. Virtual reality and augmented reality in aircraft design and manufacturing[C] // WESCON/94. Idea/Microelectronics'. Conference Record， 1994.

[11]? Antonino Gomes de S？觃， et al. Virtual reality as a tool for verification of assembly and maintenance processes[J]. Computers and Graphics， 1999，23（3）：389-403.

[12]? Jeenal Vora， Santosh Nair， Anand K Gramopadhye， et al. Using virtual reality technology for aircraft visual inspection training： presence and comparison studies[J]. Ergonomics， 2002，33：559-570.

[13]? Abate A F， Guida M， Leoncini P， et al. A Haptic-based Approach to Virtual Training for Aerospace Industry[J]. Journal of Visual Languages & Computing， 2009，20（5）：318-325.

[14]? Marion Nicolas， Septseault Cyril， Boudinot Alexandre， et al. GASPAR： Aviation Management on an Aircraft Carrier Using Virtual Reality[C] // Cyberworlds， 2007. CW '07. International Conference on， 2007.

[15]? Sharma S， Otunba S， Jingxin Han. Crowd simulation in emergency aircraft evacuation using Virtual Reality[C] // Computer Games （CGAMES）， 2011 16th International Conference on， 2011.

[16]? Sharma Sharad， Otunba Stephen. Collaborative virtual environment to study aircraft evacuation for training and education[C]

// Collaboration Technologies and Systems （CTS）， 2012.

[17] 崔佩羽，譚磊，白克勤，等. AR技術在發動機行業的應用研究[J]. 工程建設與設計，2020（20）：251-252.

[18] 焦進，遲小羽，賴秋，等. 應用于增強現實變電運檢三維場景重建的增量八叉樹算法[EB/OL]. （2020-11-06）[2020-11-20]. http：//kns.cnki.net/kcms/detail/23.1191.U.20201028.1622.002.html.

[19] 劉青松，嚴華，盧文龍. 基于AR-RNN的多變量水位預測模型研究[J]. 人民長江，2020，51（10）：94-99.

[20] 董瓊，李斌，董劍，等. 面向頭戴式眼鏡的增強現實裝配語音交互實現[J]. 制造業自動化，2020，42（10）：77-80.

[21] 瞿進，謝文杰，鄧春，等. 基于增強現實的汽輪機檢修輔助系統[J]. 山東電力技術，2020，47（10）：57-60.

[22] 趙丹鳴，崔皆凡. Ar氣壓強對磁控濺射制備Ag薄膜光電性能的影響[C] // 中共沈陽市委、沈陽市人民政府. 第十七屆沈陽科學學術年會論文集，2020.