飛機虛擬維修訓練系統可信度評估方法研究

樊智勇，李國鑫，劉 濤

(1.中國民航大學 工程技術訓練中心，天津 300300；2.中國民航大學 電子信息與自動化學院，天津 300300)

0 引言

王子才院士在21世紀初期將仿真系統的可信度評估的概念引入中國[1]，指出可信度評估與建模與仿真(M&S，modeling and simulation)技術的發展應該是相輔相成的，兩者具有相同的重要性。隨著建模與仿真應用范圍日益廣泛和仿真系統結構日益復雜，仿真模型的可信性評估變得愈發重要。仿真模型是為特定的目的(或應用)開發的，其目的是回答一系列問題，針對每個問題確定仿真模型的評估，它的可信性應該根據其預期的目的來確定[2-5]。飛機虛擬維修訓練系統是針對民用飛機的內部構造較為復雜，維修工作困難，維修訓練成本高的特點，設計的一種低成本，高效率的，新型的仿真系統[6-10]。飛機虛擬維修訓練系統作為一種仿真系統與傳統的仿真系統相比，具有人在環路，硬件在環路的特點，維修訓練系統不僅需要將真實世界的飛機電子系統進行仿真，還需要將飛機的各個硬件部分以及工作環境模擬出來，最大程度達到與真實維修環境相一致的效果，其可信度直接影響維修訓練效果，因此本文對飛機虛擬維修訓練系統進行可信度評估。

可信度評估是貫穿復雜仿真系統的M&S全生命周期，文獻[11]提出基于貝葉斯網的M&S全過程仿真可信度的評估，雖然從主觀的角度論證了模型的可信度，但是對于已建立完成的仿真系統可信度評估還有待研究。隨著仿真規模的逐漸擴大，人們提出利用已有的仿真資源，進行模塊化建模。可重用建模方式極大的提高仿真模型的靈活性和可拓展性，逐漸成為復雜仿真系統建模的必然選擇。但是這種建模方式存在難以全生命周期可信度評估的問題，文獻[12]提出了基于偏差傳播的仿真重用模型可信度計算方法，并且分析了可重用模型在新的領域和仿真環境下，能否實現有效重用的問題，該方法避免對重用模型進行大量采樣而造成的時間冗余問題，從而加快了可信度評估進程。此方法對可重用模型軟件系統的可信度進行了較全面的評估研究，對于軟硬件結合的仿真系統可信度評估還有待進一步研究。進行可信度評估時，最重要的一步就是建立可信度指標體系，文獻[13]提出構建可信度評估以可用性，正確性，互操作性和有效性為高層指導的可信度指標體系。隨著M&S的發展，進行人在回路仿真實驗時，仿真系統的環境仿真，硬件模擬與真實環境的相似程度也是影響仿真效果的重要因素。為此，本文根據復雜仿真系統人在回路的特點，在此基礎上提出可信度評估的指標體系是以可用性，正確性，互操作性，有效性和逼真性為指導建立的可信度指標體系。

當今仿真模型的可信度評估是一個非常復雜的過程，涉及數以百計的定性和定量指標的測量和評價，需要分析仿真系統的特點，結合不同的方法進行評估。在進行飛機虛擬維修訓練系統的可信度評估時，不僅需要將模糊的，不確定的問題轉化為一個可量化的問題，還要考慮指標體系的建立是否可行。本文全面考慮飛機虛擬維修系統各個模型的特點，綜合考慮人與硬件在仿真環境的特性，將“硬件在環路”與“人在環路”加入可信度評估過程，建立一套基于層次分析法(AHP，analytic hierarchy process)的二級模糊綜合評價模型，對飛機虛擬維修訓練系統進行可信度評估。AHP可以將飛機虛擬維修訓練系統可信度評估指標體系進行定量分析，使最終結果量化。通過模糊綜合評價法與專家評價法對飛機虛擬維修訓練系統進行全面綜合評估，將仿真系統的可信度這種模糊的問題轉化為可視的量化問題。

1 相關理論分析

1.1 飛機虛擬維修訓練系統

飛機虛擬維修訓練系統是在一定軟硬件環境支持下，模擬機務人員真實維修環境的仿真系統。此仿真系統主要用于對飛機維修人員的培訓，培養民用飛機維修人員需要消耗大量的時間與金錢成本，建立飛機虛擬維修訓練系統可以讓維修人員在虛擬環境中提前模擬真實的飛機維修環境，起到教學與實訓的作用。如圖1所示，仿真系統由仿真軟件系統、飛機設備仿真件、人機界面系統、數據顯示系統、教員臺系統和計算機系統組成，使用高分辨率的觸摸屏實現飛機駕駛艙各部件的控制和顯示，同時使用數據顯示器顯示教學數據和系統原理圖。

圖1 A320飛機維修訓練模擬機

為了使得實驗過程盡量逼近真實的工作環境，飛機虛擬維修訓練系統還需要模擬維修飛機的工作環境，在該環境中有一架停靠在機庫中的虛擬A320飛機，并且建立了仿真工具、仿真設備、仿真工具庫、耗材庫、航材庫、仿真電子設備艙等環境，具體的環境及功能如圖2所示。

圖2 虛擬維修環境

飛機虛擬維修訓練系統能夠模擬飛機的故障現象，真實反映飛機系統在正常和非正常操作條件下的駕駛艙效應。除軟件仿真功能外，維護模擬機還配備駕駛桿、油門桿、多功能控制顯示組件、自動飛行和顯示系統控制板等硬件仿真件。這些硬件系統可以提高訓練的真實度。教師席位安裝教師實訓管理軟件，學生席位安裝學生實訓操作軟件、動態原理圖軟件、虛擬飛機軟件和維修手冊，駕駛艙席位安裝駕駛艙軟件。

飛機虛擬維修訓練系統主要功能是教學，通過動態原理圖了解飛機系統，能夠使學員更加明確飛機系統的工作方式。動態原理圖具有多層次結構，包括動態系統邏輯圖、系統結構組成圖、線路測量圖三層。動態原理圖與虛擬飛機、駕駛艙同步關聯，覆蓋空調、自動飛行、通信、電源、防火、飛行操縱、燃油、液壓、防冰和排雨、指示與記錄、起落架、燈光、導航、氧氣、引氣、輔助動力系統(APU，auxiliary power units)和發動機等系統。以動態系統邏輯圖為例，動態系統邏輯圖能夠與駕駛艙、虛擬飛機操作同步，通過二維動畫實時展示維修操作動作，呈現機載系統工作原理，如圖3所示。

圖3 動態系統邏輯圖

虛擬維修訓練具有安全、經濟、可控、可多次重復、不受氣候與場地約束的優點。經過長時間的發展，虛擬維修訓練已經從最初的空管計算機訓練系統(CBT，computer based tranining)級別發展到現在的全尺寸模擬器的級別，其復雜度也是與日俱增，也給對該系統的可信度評估帶來難題。中國民用航空總局在2013年頒布了《民用航空機務維修模擬機等級要求》[14]，該標準從真實飛機，操縱行程，性能測試，操縱特性，功能檢查五個方面對飛機虛擬維修訓練系統提出了不同的要求。在進行飛機虛擬維修訓練系統可信度評估時要以此標準為指導來展開工作。

1.2 AHP與模糊綜合評價法

校核、驗證與確認(VV&A，verification validation and accreditation)是M&S開發過程中必不可少的環節，仿真系統的可信度評估在VV&A過程中占有決定性的地位[15-17]。不同的仿真系統的復雜程度，仿真側重點和基本特性各不相同，因此衍生出多種可信度評估方法，每種評估方法都有其自己的特點以及適用范圍。目前主流的評估方法有相似度評估法、置信度評估法、逼真度評估法、人工神經網絡評估法、灰色綜合評估法、層次分析法、模糊綜合評價法、模糊層次分析法等。對不同的仿真系統來說，沒有任何一種可信度評估方法能夠嚴格的與之對應。因此，在對仿真系統進行可信度評估時，首先綜合分析仿真系統的研究對象、特點、目標以及復雜程度等因素的影響，然后選取合適的方法，最后進行可信度評估。并且根據不同的仿真實驗出具不同的可信度評估結果。

飛機虛擬維修訓練系統是一個典型的復雜仿真系統，AHP可以將虛擬維修訓練系統分為若干層次，自上而下評估可信度，其基本思路是將復雜仿真系統的影響可信度的影響因素按照隸屬關系分為幾個不同的層次，對每個層次的可信度分別進行計算，通過方根法計算出權重，為后面的計算做基礎[18-19]。模糊綜合評價法是一種基于模糊數學的綜合評判方法[20-21]。對于復雜仿真系統具有極高的可重用性，難以按照M&S全生命周期評估，運用模糊綜合評價法可以很好的解決此類問題，并且模糊綜合評價法還可以對可信度問題進行量化。另外需要注意的是，層次分析法與模糊綜合評估法一起應用并不是模糊層次分析法。因此根據飛機虛擬維修訓練系統的特點，仿真目標以及復雜程度，采用AHP與模糊綜合評價法相結合的方法對其進行評估。

2 可信度評估

2.1 可信度評估流程

用層次分析法進行可信度評估時，需先將飛機虛擬維修訓練系統進行層次分析，并建立二級層次模型和可信度指標體系。請相關領域專家對每一層級中任意兩個元素對比重要性，建立指標層判斷矩陣A，二級指標層判斷矩陣U1、U2、U3、U4、U5。對已建立完成的矩陣進行一致性檢驗，一致性檢驗的作用是判斷所計算的權重是否符合客觀規律，不同的專家評判是否一致。如果一致就計算權重，不一致則重新審核判斷矩陣，進行修改。根據層次分析法建立的指標體系創建評語集，請相關領域專家進行打分。充分利用學科專家的經驗和知識來評估仿真系統的可信度，專家對二級指標層各影響因素進行打分。建立隸屬度矩陣Ri，最后加入層次分析法中計算得出的權重向量，得出最終可信度評估量化結果，整體評估流程如圖4所示。

2.2 建立可信度指標體系

飛機虛擬維修訓練系統的仿真目的是模仿真實的維修環境，完成對學員的模擬訓練。傳統的仿真可信度研究主要研究軟件系統是否可信，飛機虛擬維修訓練系統不只有軟件系統，硬件系統也是其重要組成部分。飛機虛擬維修訓練系統，不僅需要將飛機的各種電子系統模擬出來，還需要對維修環境，物理環境，具體操作步驟以及飛機的各種顯示裝置模擬出來，以達到與真實維修環境一致。進行仿真建模時，首先在接到建模仿真需求后先建立概念模型，接著再進行具體化，加入現實世界的物理模型；最后進行軟件實現，得出最終仿真結果。因此，考慮到飛機虛擬維修訓練系統具有“硬件在回路”的特點，將飛機虛擬維修訓練系統的一級指標層分為概念模型、物理模型、軟件模型、硬件模擬系統、仿真系統結果。

仿真系統的可信度指標體系是進行可信度評估的基礎，作為一種參數指標，需要反映出仿真系統的屬性，并且能夠反映出評估對象可信度。創建復雜仿真系統可信度評估指標體系是一項冗長，困難的工作，是可信度評估過程中的難題。建立過程不僅要全面，還要能夠在某一方面能夠影響仿真系統可信程度。因此，在建立仿真系統的可信度指標體系時要以可用性、正確性、互操作性、有效性，逼真性為指導進行建立。在具體實施過程中會存在各種問題，比如各個影響因素之間存在冗余問題，不同指標可能含有相同的可信度影響因素，在建立過程中需要將冗余影響因素進行處理。對于指標體系的邏輯層次關系也要考慮到，構建二級層次模型需要具有遞階的層次結構，同一可信度影響因素可能出現在不同的層級結構中，需要對此類指標進行處理。在建立指標體系時還要考慮指標中的可信度影響因素對被評估對象所產生的可信度的表達，其中包括已有體系中通用的指標，飛機虛擬維修訓練仿真系統的特有因素。最終建立如表1可信度指標體系。

表1 飛機虛擬維修訓練系統可信度指標體系

2.3 層次分析法確定權重

2.3.1 構造判斷矩陣

層次分析法構造兩兩判斷矩陣，并要經過一致性檢驗。這種方法具體操作步驟就是避免將所有評價指標放在一起進行比較，而是在建立的層次結構模型基礎上，對同一層面內的任意兩個評價指標進行相互比較確定其重要性。在層次分析法建立矩陣過程中，影響因子或評價指標的相對重要性，一般都是用1到9及其倒數來表示，1表示相同重要，9表示其中一個因素比另一個因素極端重要。例如，二級指標層評價指標u11與二級指標層評價指標u12的重要性之比為a，那么二級指標u12與相對二級指標u11的重要性就是a的倒數1/a。請相關領域專家，根據描述的評判方法，對構造好的矩陣進行評判，分析目標層的5種影響因素，進行兩兩因素對比，構建出正互反矩陣的判斷矩陣A，矩陣的行元素與列元素相同。

(1)

式中，滿足aij>0，aijaji=1，aii=1。

2.3.2 一致性檢驗

在計算權重之前需要先進行一致性檢驗，這一步驟是為了使構造的判斷矩陣在判斷思維上具備基本的一致性，能夠找出不同的專家是否判斷一致，或者同一專家在進行判斷時邏輯上是否出現不一致的情況，并且能夠在一定程度上判斷矩陣中是否存在奇異值。一致性檢驗的步驟如下。

第一步，計算一致性指標CI，λmax表示矩陣的最大特征值，計算公式如(4)，W表示特征向量，n表示矩陣階數，計算公式如下公式(2)；

第二步，查表確定相應的矩陣隨機一致性指標，跟據判斷矩陣不同階數查表2RI取值，n代表階數，一階矩陣與二階矩陣的RI=0；

表2 RI取值

第三步，計算一致性比例CR(consistency ratio)，CR計算公式如公式(3)，并進行判斷，判斷規則如下：當CR=0時，此矩陣為一致陣，當00.1時，則認為判斷矩陣完全不符合一致性要求，就需要對該判斷矩陣重新建立。

公式如下：

(2)

(3)

(4)

2.3.3 計算權重

計算權重向量，采用方根法確定權重，計算公式如下：

(5)

(6)

2.4 模糊綜合評價

2.4.1 建立評語集

評語集C是對各個最底層指標做出的評判結果所組成的集合，僅用于最后計算，專家在打分時并不知道分值，用C=(c1，c2，…，cm)表示。表3顯示了1個較嚴格的可信度評價集，采用了100分制。按照人們基于7等級自然語言判斷的習慣，將“比較可信”定位于60分，向上和向下依次以10分為1個等級，分別延展至“不可信”的30分和“可信”的90分。

表3 百分制可信度指標

2.4.2 確定隸屬度函數

根據上表做調查問卷，請相關領域專家進行打分，為充分利用學科專家的經驗和知識來評估系統的可信度，要求專家從可用性、正確性、互操作性、有效性，逼真性五個方面對每一個二級層次指標綜合分析后進行打分。根據層次分析法建立的因素集U和模糊層次分析法建立的評語集C，請相關領域專家進行打分。建立隸屬度矩陣Ri，將每個影響因子量化，即從最底層可信度影響因素確定被評價對象對各影響因素對自己的隸屬程度。

(7)

二級模糊綜合評價將隸屬矩陣與同級的權重系數矩陣相乘，可得出上一級評價因素層的模糊綜合評價結果，再將該級因素的評價結果作為更高一級的隸屬矩陣，再運用同樣的方法進行相乘，可算出最終的評價結果，公式如下：

Bi=ωUiRi

(8)

Di=ωiBiCT

(9)

式中，Bi為一級指標層可信度；ωUi為二級指標層權重向量；Ri為相應的隸屬矩陣，Di為模型可信度。

3 實例分析

在對飛機虛擬維修訓練系統進行整體可信度評估時，應先選取準確的維修訓練項目，對維修訓練項目中包含的所有模塊進行可信度評估。由于飛機虛擬維修訓練系統復雜而龐大，本文根據《民用航空機務維護模擬機等級要求(MH/T 3028—2013)》中的功能測試模塊，結合《飛機維修手冊(AMM，aircraft maintenance manual)》中實際的飛機維護例程，選取空調組件測試實驗，多功能控制顯示組件(MCDU，multipurpose control and display unit)操作實驗，發動機正常試車實驗進行可信度評估。選取這三項實驗覆蓋了硬件模擬模塊，飛機駕駛艙面板、飛機電子系統、虛擬維修環境等飛機虛擬維修訓練系統的主要模塊，計算過程以空調組件測試實驗為例。

實驗所用維修訓練系統的硬件由觸摸板模擬，如圖5所示為模擬空調面板截圖，圖6為空調顯示面板。

圖5 模擬空調控制面板

圖6 模擬空調控制面板

3.1 計算權重向量

根據以上方法請相關領域專家進行評價建立一級指標層判斷矩陣：

二級指標層判斷矩陣U1、U2、U3、U4、U5也按照上述方式建立。

一級指標層構建出5階判斷矩陣，查表2得到隨機一致性RI值為1.120 0。計算得λmax=5.351 1，代入算得CR=0.078 1<0.1，可知判斷矩陣滿足一致性檢驗，計算所得權重具有一致性。同理一級指標層的五個矩陣都進行一致性檢驗，經計算均符合一致性。

代入公式算得權重：

ωA=(0.1142，0.3269，0.3269，0.0896，0.1423)

ωU1=(0.2493，0.5936，0.1571)

ωU2=(0.2583，0.6370，0.1047)

ωU3=(0.1692，0.4434，0.3874)

ωU4=(0.0528，0.5494，0.2452，0.1526)

ωU5=(0.2500，0.5000，0.2500)

3.2 建立隸屬度矩陣

對已建立的飛機虛擬維修訓練系統指標體系建立隸屬度矩陣，請10名本領域專家對各指標進行打分，經過統計計算，建立以下隸屬度矩陣，如表4所示。

表4 維修性設計方案各指標參數

即：

R2，R3，R4，R5與R1相同，就不再贅述。從專家打分結果可以看出，硬件系統中，飛機虛擬維修訓練系統對于真實維修環境中的聲音系統模仿的比較相似；難以模擬出真實維修環境下的阻尼反饋，專家一致認為不可信。

3.3 結果分析

第一步代入公式(8)計算一級指標層可信度向量，代入數據得：

B1=(0，0，0，0.0594，0.5003，0.3062，0.1935)

B2=(0，0，0，0.1292，0.2314，0.3588，0.2816)

B3=(0，0.0169，0.1669，0.0782，0.4000，0.2605，0.0775)

B4=(0.0528，0.0610，0.1193，0.4186，0.3483，0.0490，0)

B5=(0，0，0，0.1500，0.3750，0.2750，0.2000)

第二步代入公式(9)得出飛機虛擬維修訓練系統的可信度：DA=73.787 2。DA表示飛機虛擬維修訓練系統的可信度。從圖7，7標度模糊評價隸屬度曲線表中可以看出，其可信任程度介于“一般可信”和“基本可信”之間，而且對于“一般可信”的隸屬度高于“基本可信”。

圖7 7標度模糊評價隸屬度曲線

代入數據可以算出一級指標層可信度分別為DU1=80.493 8，DU2=77.909 2，DU3=69.528 6，DU4=63.407 6，DU5=75.250 0。DUi表示一級指標層每個元素的可信度。從數據可以得出結論：在進行空調組件調試實驗時，仿真系統可信度為73.787 2，屬于一般可信，其中硬件系統可信度最低為63.407 6，存在薄弱點。查看隸屬度矩陣，發現在進行虛擬維修訓練時仿真系統不能很好的模擬出真實維修環境下硬件的阻尼感。

同時，結合隸屬度矩陣與實際實驗分別對MCDU操作實驗，發動機正常試車實驗同樣進行可信度評估。求得可信度分別為81.423 3和71.265 9。在進行MCDU實驗時，飛機虛擬維修訓練系統的MCDU沒有選用觸摸板進行仿真，而是選用與真實飛機一樣的硬件按鈕，整體可信度較高，視景系統的可信度還存在缺陷。在進行發動機實驗時，仿真系統可以模擬出較為準確的摁鍵操作聲音，但是對于發動機的試車聲音不能很好的模擬出來。

4 結束語

本文對飛機虛擬維修訓練系統的可信度評估進行研究，建立了二級層次模型。利用層次分析法建立一套針對飛機虛擬維修訓練系統的可信度評估指標體系，解決了指標體系建立過程中時間冗余的問題。針對可重用仿真模型可信度難以評估，以及“人在環路”與“硬件在環路”的仿真系統可信度評估因素難以確定的問題，運用模糊綜合評估方法將模糊問題轉化為定量問題。最終評估結果不僅可以量化，還可以根據評估結果反推仿真系統仿真需要改進的地方。并通過多個不同的實驗，證明此方法是可用的。為復雜仿真系統的可信度評估提供了借鑒，也為飛機虛擬維修訓練系統的優化提供了理論支持。