民機飛行機組應急逃生設計混合現實仿真系統

吳程程，呂 毅，袁新浩，許澍虹

民機飛行機組應急逃生設計混合現實仿真系統

吳程程1，呂 毅1，袁新浩2，許澍虹1

(1. 中國商用飛機有限責任公司北京民用飛機技術研究中心，北京 102211；2. 中國商用飛機有限責任公司上海飛機設計研究院，上海 201210)

開展民機飛行機組應急逃生仿真旨在飛機研制早期發現飛行機組逃生口設計的潛在問題，確保飛行機組成員的人身安全。提出了一種民機飛行機組應急逃生混合現實仿真系統設計方案，進行了系統搭建與實驗驗證。針對系統中人體虛實匹配的關鍵問題，提出一種光-慣混合追蹤的全身人體運動捕捉方法，結合基于Kinect2圖像識別的人體關鍵尺寸快速匹配技術，可以有效提升人體虛實匹配效率與魯棒性。相關成果已應用于某型國產大型民機研制中，為飛行機組逃生口設計驗證與評估提供了快速、有效的解決方案。

民機設計評估；混合現實；仿真系統；混合跟蹤；虛實匹配

民機飛行機組逃生口設計是飛機研制中的重要環節[1]，設計方案的合理性將直接影響飛行機組人員緊急狀況下的安全撤離。適航條款CCAR-25要求，飛行機組逃生口的設計需滿足身高158～190 cm的人員可以順利逃生[2-3]。同時，逃生口的開口尺寸與位置會對機體結構強度、駕駛艙布局、氣動特性等產生影響。因此，針對飛行機組逃生口設計的評估工作受到了飛機設計人員與適航當局的普遍關注[4-5]。在設計早期階段提前開展飛行機組人員應急逃生仿真，能夠盡早發現、彌補設計缺陷，降低飛機研制后期設計方案出現重大更改的風險，減少時間成本與經濟損失。但是，飛行機組逃生口屬于早期設計內容，設計方案需要進行多次迭代，因此需要提供一種靈活可變、快速高效的仿真手段。傳統應急逃生仿真采用搭建實物模型的方式進行。通過采樣不同身高的目標人群開展試驗，驗證設計方案的符合性與適航性。但對于大型民機復雜產品，實物制造難度大、周期長、成本高，且不能滿足早期設計對方案快速迭代的需求。

近年來，虛擬仿真技術發展迅速，因其成本低、迭代快等優勢，越來越多地應用于工程仿真[6-10]。目前應用較多的桌面式虛擬仿真工具有Delmia[11]，Jack[12]和Ramsis[13]等，此類軟件提供了符合人體尺寸分布的百分位數模[14-16]。然而，對于機組應急逃生這樣復雜的運動，工程人員在進行虛擬仿真時需花費大量時間進行手動虛擬人動作姿態設定，不僅效率低，且仿真質量難以保證。這一問題在進行不同百分位人體數模的運動仿真時則會進一步加劇。由于無法在設定姿態時全面考慮人體運動特性以及受力情況等因素，仿真后的人體姿態與真人體姿態往往存在較大差異。

基于上述問題，本文提出了一種民機飛行機組應急逃生混合現實仿真系統設計方案。通過融合實物與虛擬仿真的優勢，應用人體運動追蹤技術，快速獲取基于關鍵逃生物理支撐件的真人應急逃生運動姿態，并實時驅動虛擬人在虛擬逃生仿真場景中進行應急逃生仿真。其仿真方式保證了虛擬人動作的準確性，避免了因缺乏人體力學分析而導致的仿真結果不準確問題，且靈活可變、快速高效。所提方案完成了系統搭建與驗證，相關成果成功應用于某民機型號研制中，得到設計人員認可，為飛行機組逃生口設計評估驗證提供了新的技術手段。

1 系統總體設計

1.1 系統設計原理

本文基于UE4開源平臺進行開發，主要分為人體虛實匹配、逃生仿真場景虛實匹配、虛擬顯示與交互3個部分，如圖1所示。

圖1 系統設計原理圖

人體虛實匹配模塊用于獲取并驅動與真人尺寸一致的虛擬人，包含2部分功能：①為人體尺寸快速匹配，通過圖像識別設備快速識別人體骨骼關節點，根據其位置計算出關鍵骨骼長度，并依次將結果輸入虛擬系統中逐關節調整虛擬人模型，實現人體尺寸虛實匹配；②為虛擬人實時位姿匹配，其中位姿指的是位置與姿態。利用全身運動捕捉設備捕捉人體關節位姿信息，并實時驅動調整后的虛擬人進行運動仿真，實現虛擬人的虛實聯動。

逃生仿真場景虛實匹配是在物理逃生仿真場景中搭建可調節的物理支撐架，作為虛擬逃生仿真場景中駕駛艙關鍵設備的實物替代，為真實逃生過程中提供物理支撐。利用光學追蹤設備保證物理逃生仿真場景中與虛擬仿真場景中關鍵設備的位置保持一致。

虛擬顯示與交互模塊用于仿真結果地觀看與評估，包含虛擬顯示與虛擬交互2部分：①虛擬顯示可分別在桌面式顯示設備、便攜式虛擬現實系統(簡稱VR頭盔)以及大型沉浸式虛擬現實系統(簡稱CAVE系統)進行逃生仿真過程的三維顯示；②虛擬交互具有逃生運動姿態錄制，場景漫游以及第一/第三人稱的視點切換功能，方便設計人員直觀地發現設計中的缺陷，并進行離線分析。

1.2 系統仿真流程

系統仿真流程可分為預處理與逃生仿真2部分，如圖2所示。預處理是在進行正式仿真之前開展的準備工作。首先，將飛機設計人員提供的設計數模導入軟件系統，構建虛擬逃生仿真場景，并根據數模進行可調節物理支架的設計與搭建，完成物理逃生仿真場景；其次，建立帶有運動骨骼的虛擬人模型，并基于Kinect2圖像識別設備自動獲取人體關鍵尺寸參數，調整虛擬人的關鍵尺寸以快速匹配真人，確保虛實尺寸一致；然后，采用光學錨點(固定式被動光學跟蹤標記點)定位信息匹配虛擬場景與物理場景的坐標系，將虛擬逃生仿真場景、物理逃生仿真場景、虛擬人以及真人進行混合現實仿真環境的融合，實現虛實匹配，保證后續開展逃生仿真的準確性。

圖2 系統仿真流程圖

在預處理的基礎上，開始進行逃生模擬，真人在物理逃生場景中進行逃生，可通過慣性與光學2種人體運動捕捉設備，采集其位姿信息并進行混合追蹤數據的融合；基于融合后的人體位姿信息，將虛擬人與真人的位姿進行實時匹配，實現虛擬人在虛擬逃生場景中進行同步運動；此過程中，真人可通過虛擬顯示與交互功能進行實時地多角度觀察，若發現與逃生場景中的設備發生干涉，可立即調整逃生姿態，做出可滿足設計方案得出逃生動作，直到得出能否逃生成功的結論，該逃生模擬結束。

若進行不同體型的真人逃生仿真，該系統可快速響應。只需獲取并輸入該人的人體關鍵尺寸，系統將自動調整虛擬人人體尺寸并快速匹配，真人穿戴上人體運動捕捉設備即可進行逃生模擬，系統可將不同的逃生模擬樣本進行存儲并用于后續顯示與分析。

由于該仿真系統通用性強，如果在前一次逃生仿真中發現設計缺陷，軟件系統可快速導入修改后的設計方案并處理。同時，可調節物理支架可根據設計方案立即進行關鍵設備的尺寸與位置調整，達到快速逃生仿真的目的。

2 系統關鍵技術

應急逃生仿真過程中，虛擬人在虛擬環境中的逃生情況是評估逃生口設計合理性的重要依據。虛擬人的逃生實際是由真人在真實環境中實時驅動的。為了保證逃生仿真的準確性，提高仿真效率，需要快速、準確地進行人體虛實匹配。其實質是虛擬人的人體關鍵尺寸及位姿與真人保持一致。該技術實現的挑戰在于快速匹配人體關鍵尺寸以及更準確、更穩定的全身人體運動捕捉。為此，本文提出了基于Kinect2圖像識別的人體關鍵尺寸快速匹配方法及基于混合追蹤的全身人體運動捕捉方法。

2.1 基于Kinect2圖像識別的人體關鍵尺寸快速匹配方法

虛擬人與真人在人體尺寸不一致可能導致仿真誤差，因此需要在預處理過程中將虛擬人與真人的人體尺寸進行一比一匹配。人體尺寸的匹配核心在于獲取真人骨骼長度。傳統方式是人工測量，依靠人的經驗定位出人體骨關節點并依次測量，再將尺寸手動輸入軟件進行虛擬人的人體尺寸調整。為了提高測量效率，本文采用Kinect2圖像識別技術對人體骨關節的空間位置信息進行自動化識別與采集，跳過了人工測量與手動輸入參數等環節，減少預先測量與操作時間。被測者無需穿戴任何設備，只需靜止站立于設備前1～2 s，系統便可快速計算出真人的人體尺寸并自動對虛擬人進行尺寸調整。

應急逃生仿真更偏重于人體大關節尺寸的準確性。根據仿真需求與人體運動特性，采用如圖3所示的人體骨骼節點。選擇骨骼節點Spine Base作為樹形模型的根節點[17]，其他關節點依次連接形成樹形結構，根節點的參數是位于世界坐標系的方向，其他節點的參數是相對上一點的旋轉角。

圖3 人體骨骼關鍵節點樹

通過Kinect2的SDK開發包中的API函數獲取到的各個人體骨骼關鍵節點的實時位置信息。如圖4所示，被測者采用Tpose站立于Kinect2設備前，利用該設備采集有效骨關節點的位置信息并輸入系統軟件中。算法基于圖5中的關節樹依次遍歷每個骨關節與其上一節點的空間坐標信息，得到相應的關鍵骨骼長度，并獲取到虛擬人的人體所對應每一個關節點在虛擬空間中的位置P，以及根據圖3中人體骨骼關鍵節點樹所示的每個關節點與其對應的上一節點在虛擬空間中的位置P，根據式(1)求得與真人的人體匹配后骨關節的虛擬空間位置點，即

將其賦予虛擬人的對應骨關節點。按上述方法，每一骨關節依次遍歷完成后，得到了一比一人體尺寸匹配后的虛擬人。

圖4 Kinect2下識別的人體骨骼關節點

Fig. 4 Human bone joints recognized by Kinect2

圖5 慣性系統攀爬漂移示意((a)動作前；(b)動作后)

通過測試，整個測量過程不超過1 min，與手動測量相比，測量效率至少提高了20倍。

2.2 基于光-慣混合追蹤的全身人體運動捕捉方法

高精度全身人體運動捕捉是進行精準人體驅動的基礎。目前，主流的全身人體運動捕捉系統主要分為基于光學[18]和基于慣性[19-20]2類。光學運動捕捉系統精度高，但易受實物遮擋，魯棒性較差；慣性運動捕捉系統不受遮擋影響且姿態信息精準，但存在位置積分的誤差累積，精度難以滿足需求，特別是在攀爬過程中出現雙腳離地的情況下，由于位置積分算法依賴腳步與地面的接觸，進行這一動作后會使整體位置漂移，無法滿足應用需求，具體如圖5所示。

針對混合現實場景下的全身人體運動捕捉，單一運動捕捉系統無法滿足需求。基于這一問題，本文采取光-慣混合追蹤的方式，綜合利用光學與慣性的優勢特性，實現高精度、高魯棒性的全身人體運動捕捉。此方法從宏觀與局部2個維度進行混合，宏觀上采取慣性捕捉全身姿態信息，光學捕捉人體根節點位姿信息，這能最大程度上減小了慣性器件位置積分的累積誤差與光學捕捉的遮擋影響。局部上，針對根節點的位姿追蹤，采取了更加深度的融合策略，在光學靶點未全部丟失的情況下，利用光學進行人體根節點的位置追蹤，代替慣性設備輸出的位置信息作為融合處理后的位置追蹤結果，并且對慣性位置信息進行校正，消除其累計誤差；在光學靶點完全丟失的狀態下，使用校正后的慣性位置作為融合后的位置輸出，保證在遮擋情況下的追蹤魯棒性。

本文提出的光-慣混合追蹤方式采用了光學和慣性2套運動捕捉系統，如圖6所示，需要分別采集運動捕捉數據，通過開發的通訊接口實時進入軟件系統中，并進行后續的數據融合處理。

圖6 光學-慣性混合的追蹤系統

在光學靶點未全部丟失的情況下，數據融合處理的實質是利用光學設備進行人體根節點位置捕捉，利用慣性設備進行人體關節姿態捕捉，通過在物理環境(R)、Optitrack系統(O)、MVN系統(M)以及虛擬環境(V)之間進行追蹤數據的坐標轉化與匹配，實現數據融合。

其中，為旋轉矩陣；為平移矩陣。

在光學靶點完全丟失的情況下，啟用慣性實時追蹤數據，給系統提供全部六自由度信息。同時，為解決慣性元件位置積分累積誤差的問題，使用光學追蹤數據實時修正慣性位置追蹤結果，在光學靶點沒有完全丟失的最后時刻，將當前慣性位置追蹤結果直接置為光學追蹤結果，從而消除此前的累積誤差，實現了精度提升，其計算式為

光-慣數據融合后，實時的將姿態數據輸入給虛擬人分別控制其對應的人體骨骼關鍵節點旋轉，而位置數據控制虛擬人體的根節點位移，從而使虛擬人跟隨真人進行實時運動，實現人體的虛實匹配。

3 系統實現與實驗結果

3.1 逃生仿真場景虛實匹配

逃生仿真場景虛實匹配是通過設計并搭建可調節物理支架，利用六自由度錨點定位方法，將物理仿真環境與虛擬仿真環境中關鍵尺寸以及設備的相對位置進行完全匹配，以保證逃生仿真的準確性。

本系統設計了可調節物理支架，如圖8(a)所示，即可對構建的支架進行，，軸自由度的位置調整，包括逃生口開口的尺寸及位置，觀察員控制臺的高度及位置，及觀察員座椅椅面1位置與椅背2高度及位置。在前期試驗過程中發現觀察員控制臺，觀察員座椅椅面1位置與椅背2能夠滿足踩踏需求，逃生口開口外沿部分能承受人的手臂支撐，整個物理支架滿足攀爬過程中的安全性與穩定性要求。

圖8 虛擬與物理逃生仿真場景虛實匹配((a)虛擬場景；(b)物理場景)

支架搭建后，需要保證其關鍵尺寸、位置與虛擬逃生仿真場景中的相對應設計數模保持一致。如2.2節所述，可利用光學捕捉設備與被動光學標記點，能夠準確獲取到空間中任一點的位置這個特性，本文采用光學錨點定位方法進行逃生仿真場景的虛實匹配。

首先，確定虛擬坐標原點位置，在虛擬場景中，設置觀察員桌椅椅面右上角為坐標原點，其坐標系定為左手坐標系。然后，根據虛擬場景原點位置確定真實場景中對應的原點及其坐標系。其次，將光學錨點分別貼在原點、椅背2平面、觀察員控制臺上表面以及逃生口開口4個角上，如圖8(b)所示，保證真實場景下可提供力學支撐的物理件與虛擬場景中相應設備的位置保持一致。通過光學捕捉設備獲取到各個光學錨點的空間位置信息，逐一與虛擬場景中的位置進行匹配，完全吻合后進行固定，以此方法完成物理逃生仿真場景的搭建，實現虛擬與真實的逃生仿真場景虛實匹配。

3.2 虛擬顯示與交互功能實現

根據逃生仿真的設計需求，需要進行在線和離線狀態下的虛擬顯示與交互。其中，在線顯示與交互是由于試驗人員在進行逃生運動時，需通過觀察虛擬人在虛擬仿真場景中的干涉情況，調整合適的逃生姿態。此外，利用虛擬交互外設設備能夠在虛擬仿真場景中進行漫游，便于從多角度觀察干涉情況。離線顯示與交互是為了設計人員在進行方案更改與討論時，能通過沉浸式顯示方式更加真實地感知到設計方案對機組逃生的影響，方便進行設計方案的更改與確認。綜上所述，開發了基于UE4開源平臺的桌面式(LED顯示器)實時顯示，便攜式(VR頭盔)虛擬現實以及大型沉浸式(CAVE系統)虛擬現實3個版本的軟件工具。

桌面式實時顯示軟件的主要功能包括虛擬逃生仿真場景的建立、基于c++的全身人體運動捕捉數據獲取與融合、虛擬人實時驅動、虛擬交互中的漫游以及虛擬場景的實時渲染與顯示等，軟件運行效果如圖9(a)所示。

便攜式虛擬現實軟件的優勢在于能夠讓設計人員進入該虛擬仿真環境，并可通過VR交互手柄進行虛擬場景漫游及第一/第三人稱眼點切換。VR頭盔顯示形式具有輕巧方便、易攜帶的特點，便于異地、多部門的溝通。其中，第一/第三人稱眼點切換功能指的是2種在虛擬場景中的不同觀察方式：第一人稱是指觀察者作為機組人員站在觀察員控制臺上，對逃生口的開口尺寸與位置進行觀察，直觀感受并預判逃生難度；第三人稱是指觀察者作為旁觀者從多角度對虛擬人的整個逃生過程進行觀測，便于對設計方案進行詳細分析，快速確認設計方案的合理性。該軟件是基于SteamVR對HTC VIVE頭盔進行了開發，此軟件功能在桌面式軟件功能的基礎上開發了第一/第三人稱眼點切換與手柄漫游以及交互功能，并利用Animation Sequences進行動作序列錄制，完成后放入虛擬場景中，可在顯示設備中進行離線觀測，效果如圖9(b)所示。

大型沉浸式虛擬現實系統是專業級的虛擬現實設備，具有高真實、全沉浸式的特點。與VR頭盔相比，此系統顯示方式使觀測者能夠看到物理世界，因此對于設計方案的觀測可融入實物對比，更加直觀，并且該系統能夠容納多人同時觀看，便于多部門進行設計方案的討論。應用于CAVE系統的軟件需要具有多通道立體渲染功能。為了提高實時渲染速率采用被動立體渲染方式。本系統基于UE4平臺的nDisplay模塊進行功能擴充，通過增加節點眼位配置接口與節點顯示方式接口，使節點渲染管理類獲取相應眼位信息及被動模式渲染命令，執行被動立體渲染驅動類，調用相應單畫面渲染基礎功能模塊，實現左右眼渲染分別輸出功能，實現結果如圖9(c)所示。

圖9 虛擬顯示與交互功能實現((a)桌面式混合現實仿真結果實時顯示；(b)基于VR頭盔的第一/第三人稱眼點切換功能；(c)多通道被動立體渲染功能實現結果)

3.3 實驗結果

混合現實仿真系統搭建完成后，開展了2組系統驗證實驗。

實驗1.對本文提出的基于光-慣混合追蹤的全身人體運動捕捉方法在混合現實環境下進行測試。實驗內容是真人利用搭建后的物理支架進行逃生過程中的攀爬運動。由于多次攀爬運動時，人體關節角度無法保持一致，因此實驗針對運動過程中的全身關鍵運動關節位置進行記錄。預先設定攀爬過程中人體接觸物理支撐件的位置并做好標記，實驗人員基于標記點做同樣3組姿態的攀爬運動，分別利用光學追蹤、慣性追蹤和本文提出光-慣混合追蹤方式進行全身人體運動捕捉，并將捕捉后的位置數據進行了對比，如圖10所示。其中，縱坐標代表位置，橫坐標代表虛擬人跟隨真人運動的動畫刷新幀序列。光、慣、混分別代表了利用光學、慣性及光-慣混合追蹤所獲取人體關節點的運動位置數據。其中，根節點Spine Base、頭部關節點Head、左腕關節Wrist Left、右腕關節Wrist Right、左踝關節Ankle Left以及右踝關節Ankle Right的位置追蹤數據用來表征全身人體運動捕捉的穩定性與準確性的特點。

通過圖10紅圈部分數據可以看出，由于存在物理遮擋，導致光學運動捕捉系統部分關節點動捕數據丟失，捕捉的魯棒性無法滿足應用需求，但由于光學追蹤精度較高[21-22]，因此在這里認定未丟失的捕捉結果作為后續2種捕捉方式的結果標準對照值。慣性運動捕捉系統從圖中明顯看出位置變化趨勢與光學追蹤結果相差較大，存在位置追蹤不準確的問題。本文提出的光-慣混合追蹤方法和光學相比，穩定性大幅提高，且相較于慣性的準確性上也有明顯的提升。

實驗表明，本文方法在混合現實環境下可以有效捕捉全身人體運動，相比與其他方法能夠有效保證追蹤的穩定性及魯棒性。

實驗2. 通過傳統的民機設計虛擬仿真軟件Delmia以及利用集成后的混合現實仿真系統開展應急逃生仿真。

首先，專業虛擬仿真人員利用傳統的Delmia V5虛擬仿真軟件，花費近6 h，建立了將近50個關鍵幀，仿真了數字人攀爬逃生的過程，如圖11所示。通過仿真得到可行的逃生路線為站立于觀察員控制臺，然后通過踩踏儲物柜，并利用手部支撐飛機逃生口外力面，共同向上使力，攀爬出逃生口。

圖10 光學、慣性動捕系統與光-慣混合追蹤方法對比

圖11 基于Delmia虛擬仿真軟件的逃生仿真

利用混合現實仿真系統開展仿真實驗。根據Delmia得到的逃生路線，進行逃生仿真發現，由于人體向后傾斜角度過大，真人無法完成如圖11所示的攀爬姿態。實驗逃生人員改變逃生路線策略，將踩踏儲物柜改成踩踏觀察員桌椅椅背，發現該方式可以逃生成功，并且發現若在椅背高度位置附近設計逃生腳踏，增大可踩踏接觸面，并縮短逃生口與第二落腳點的水平距離，可使逃生更加省力并節省逃生時間。整個試驗過程包括穿戴全身人體運動捕捉數據衣，校正動捕設備以及逃生仿真過程只需20 min，可快速進行逃生過程的模擬，具體逃生實驗過程如圖12所示。從圖中可以看出，基于本文方法結合基于Kinect2圖像識別的人體關鍵尺寸快速匹配方法可以對人體尺寸與人體姿態進行快速、有效地虛實匹配。且該仿真系統能在真人逃生實驗過程中可實時在虛擬環境中看到虛擬人的逃生過程，若發現虛擬人與虛擬場景發生干涉，能及時調整真人逃生姿態。虛擬人能否順利攀爬出逃生口可有效評估逃生口設計的合理性。

圖12 基于混合現實的應急逃生仿真((a)初始位姿腳部虛實匹配；(b)右腳踩踏椅背虛實匹配；(c)上半身攀爬姿態虛實匹配；(d)全身攀爬姿態虛實匹配)

該實驗結果表明傳統的虛擬仿真軟件方式的仿真可靠性與設計人員仿真經驗相關，且存在數字人可完成的人體姿態，真人無法實現的情況。而通過混合現實仿真系統開展民機飛行機組應急逃生仿真在保證仿真準確性的同時，大大提高了仿真效率。

4 結束語

通過搭建民機飛行機組應急逃生混合現實仿真仿真系統，開展了飛行機組應急逃生仿真研究。采用基于Kinect2圖像識別的人體關鍵尺寸快速匹配技術與基于本文方法進行人體虛實匹配，通過逃生仿真場景虛實匹配及開發的虛擬顯示與交互軟件系統，快速實現了應急逃生仿真。實驗表明，本文方法能在設計早期有效開展應急逃生仿真，相較于傳統仿真方法，能有效提高仿真效率，保證仿真的準確性。本文方法目前已應用于現有型號中的飛行機組逃生口設計評估，且應用的混合現實仿真方案具有通用性的特點，可應用于大型復雜裝備的設計方案評估，可達性、可維修性檢查等方面。

[1] 嚴立浩, 張潔, 孫穩, 等. 民用飛機駕駛艙應急逃生出口設置適航要求研究[J]. 民用飛機設計與研究, 2018(2): 126-130.

YAN L H, ZHANG J, SUN W, et al. Airworthiness study of flightcrew em ergency exits arrangem ent[J]. Civil Aircraft Design & Research, 2018(2): 126-130 (in Chinese).

[2] 中國民用航空總局. CCAR25 R4-2011中國民用航空規章第25部運輸類飛機適航標準[S]. 北京: 中國民用航空總局, 2011.

Civil Aviation Administration of China. CCAR-25-R4-2011 China civil aviation regulations, part 25 airworthiness standard for transport aircraft[S]. Beijing: Civil Aviation Administration of China, 2011 (in Chinese).

[3] Fedral Aviation Administration. AC25 17A-2009 transport airplane cabin interiors crashwonlriness handbook[S]. Washington: Fedral Aviation Administration, 2009.

[4] 董大勇, 俞金海, 李寶峰, 等. 民機駕駛艙人為因素適航符合性驗證技術[J]. 航空學報, 2016, 37(1): 310-316.

DONG D Y, YU J H, LI B F, et al. Airworthiness compliance certification technology of civil aircraft flight deck human factor[J]. Acta Aeronautica et Astronautica Sinica, 2016, 37(1): 310-316 (in Chinese).

[5] NIU X Y, LIU Z, ZHANG J J, et al. Integrated cockpit simulation design for civil aircraft alerting system[C]//The 2019 International Conference on Electronical, Mechanical and Materials Engineering. Paris: Atlantis Press, 2019: 76-79.

[6] 王巍, 高雪松, 穆志國, 等. 人機工程仿真技術在飛機零組件裝配中的應用[J]. 航空制造技術, 2017, 60(9): 92-96.

WANG W, GAO X S, MU Z G, et al. Application of man-machine engineering simulation technology in aircraft component assembly[J]. Aeronautical Manufacturing Technology, 2017, 60(9): 92-96 (in Chinese).

[7] 朱妍如. 基于DELMIA的某型民機后機身裝配仿真[D]. 哈爾濱: 哈爾濱工業大學, 2018.

ZHU Y R. Simulation of rear fuselage assembly of a civil aircraft based on DELMIA[D]. Harbin: Harbin Institute of Technology, 2018 (in Chinese).

[8] SALLEH N A M, KASOLANG S, MUSTAKIM M A, et al. The study on optimization of streamlined process flow based on delmia quest simulation in an automotive production system[J]. Procedia Computer Science, 2017, 105: 191-196.

[9] KAMAT S R, HAFIZ M, HAMID A, et al. Ergonomics study of working postures in demould process at aerospace manufacturing[C]//International Conference on Design an Concurrent Engineering 2017 & Manufacturing System Conference. Amsterdam: Elsevier Press, 2017: 8-11.

[10] 張開運. 基于DELMIA的三維模型屬性數據提取及重構的研究[J]. 裝備制造技術, 2018(1): 119-122.

ZHANG K Y. Research on extraction and reconstruction of 3D model attribute data based on DELMIA[J]. Equipment Manufacturing Technology, 2018(1): 119-122 (in Chinese).

[11] 李保和. 艦船設備維修人機工效量化評估關鍵技術研究[D]. 武漢: 華中科技大學, 2019.

LI B H. Research on key technologies of quantitative evaluation of ergonomics for warship equipment maintenance[D]. Wuhan: Huazhong University of Science and Technology, 2019 (in Chinese).

[12] 代明遠, 路易霖, 王碩, 等. 基于虛擬現實的工程機械人機工程設計研究進展[J]. 機械設計, 2020, 37(7): 116-123.

DAI M Y, LU Y L, WANG S, et al. Research progress on engineering mechanical ergonomic design based on virtual reality technology[J]. Journal of Machine Design, 2020, 37(7): 116-123 (in Chinese).

[13] 王洪寶, 王金, 支錦亦, 等. 基于RAMSIS仿真的高速列車駕駛界面人機工效評估[J]. 機械設計, 2020, 37(1): 128-134.

WANG H B, WANG J, ZHI J Y, et al. Ergonomic evaluation of high-speed train driving interface based on RAMSIS simulation[J]. Journal of Machine Design, 2020, 37(1): 128-134 (in Chinese).

[14] BERG L P, VANCE J M. Industry use of virtual reality in product design and manufacturing: a survey[J]. Virtual Reality, 2017, 21(1): 1-17.

[15] ERKOYUNCU J A, DEL AMO I F, DALLE MURA M, et al. Improving efficiency of industrial maintenance with context aware adaptive authoring in augmented reality[J]. CIRP Annals, 2017, 66(1): 465-468.

[16] AZIZ F A, ALSHAMMAR M, ARIFFIN M K A. Using virtual reality for equipment maintenance in oil and gas industry[J]. Journal of Computational and Theoretical Nanoscience, 2018, 15(4): 1090-1094.

[17] 王磊. 視頻人體運動的檢測跟蹤與識別[D]. 上海: 上海交通大學, 2017.

WANG L. Visual detection, tracking and recognition of human motion in video[D]. Shanghai: Shanghai Jiaotong University, 2017 (in Chinese).

[18] ?OLONY M. Optical motion capture system [EB/OL]. [2021-10-11].https://www.optitrack.com/.

[19] WOUDA F, GIUBERTI M, BELLUSCI G, et al. Estimation of full-body poses using only five inertial sensors: an eager or lazy learning approach?[J]. Sensors, 2016, 16(12): 2138.

[20] XSENS. MVN Inertial Motion Capture System[EB/OL]. [2021-10-11]. https://www.xsens.cn/MVN.

[21] 黃波士, 陳福民. 人體運動捕捉及運動控制的研究[J]. 計算機工程與應用, 2005, 41(7): 60-63.

HUANG B S, CHEN F M. Research on human body motion capture and motion control[J]. Computer Engineering and Applications, 2005, 41(7): 60-63 (in Chinese).

[22] 王軍, 胡永剛, 韓崇昭. 被動式光學運動捕捉系統丟點檢測與補償[J]. 系統工程與電子技術, 2012, 34(11): 2374-2378.

WANG J, HU Y G, HAN C Z. Detection and rectification for missing markers in passive-optical motion capture system[J]. Systems Engineering and Electronics, 2012, 34(11): 2374-2378 (in Chinese).

Mixed reality simulation system for emergency escape design of civil aircraft flight crew

WU Cheng-cheng1, LYU Yi1, YUAN Xin-hao2, XU Shu-hong1

(1. COMAC Beijing Aircraft Technology Research Institute, Beijing 102211,China; 2. COMAC Shanghai Aircraft Design & Research Institute, Shanghai 201210, China)

Emergency escape simulation for civil aircraft crew helps to identify the potential problems of crew escape hatch design during the early development of aircrafts, and ensures the safety of crew members. This paper presented a mixed-reality simulation system for emergency escape of civil aircraft flight crew. To solve the key problem of human body virtual-physical matching, an optical-inertial hybrid whole-body human motion capture method was proposed. The method, working together with the Kinect2-based human body key dimension matching technique, can effectively improve the efficiency and robustness of human body virtual-physical matching. The proposed mixed-reality simulation system has been successfully applied to the development of large domestic aircrafts. Experimental results show its efficiency in the evaluation of crew escape hatch design.

civil aircraft design evaluation; mixed-reality; simulation system; hybrid tracking; virtual and physical matching

TP 391.9

10.11996/JG.j.2095-302X.2022020306

A

2095-302X(2022)02-0306-10

2021-11-12；

2021-12-08

中國商飛公司科技創新專項(Y18GS10)

吳程程(1987–)，女，工程師，博士研究生。主要研究方向為虛擬現實。E-mail：wuchengcheng@comac.cc

許澍虹(1967–)，男，研究員，博士。主要研究方向為虛擬現實。E-mail：xushuhong@comac.cc

12 November，2021；

8 December，2021

COMAC Special Fund for Science and Technology Innovation (Y18GS10)

WU Cheng-cheng (1987–), engineer, PhD candidate. Her main research interest covers virtual reality. E-mail：wuchengcheng@comac.cc

XU Shu-hong (1967–), researcher, Ph.D. His main research interest covers virtual reality. E-mail：xushuhong@comac.cc