電子裝備系統效能評估方法現狀與展望?

徐 榕 吳茂林胡 平

（1.海軍工程大學兵器工程學院 武漢 430033）（2.海軍工程大學艦船與海洋學院 武漢 430033）

1 引言

隨著各種信息技術和智能技術的發展和應用，電子裝備系統的性能有了提升，呈現出復雜化、信息化、智能化的特點。在電子裝備系統的使用周期內，一個部件的失效會導致系統整體工作能力的下降，甚至系統失去工作能力。因此，對電子裝備系統進行效能評估的需求十分迫切。通過系統效能評估可以了解系統的各項能力，可以為電子裝備系統的設計優化和預防性維修提供技術支持。而作為電子裝備系統效能評估核心的效能評估方法受到國內外研究人員的關注。

電子裝備系統效能代表了系統完成某一項功能的程度。效能評估主要流程是將底層技術指標數據進行處理之后，通過數學模型合成能代表系統某一項能力的綜合性能指標，再把綜合性能指標合成能表示系統整體效能的評估值，從而判斷系統的優劣程度。由此可知，電子裝備系統的效能評估是在約束條件下將系統的各項指標和影響系統效能的因素共同構建成評估模型，將采集到的各項系統指標數據通過數學模型來測試、分析、評估電子裝備系統效能的過程。

2 經典的系統效能評估方法

在電子裝備系統效能評估方法的早期研究中，大部分評估方法是依靠專家積累的經驗對相關的信息進行定量或者定性評估，從而得到電子裝備系統的效能評估結果。專家評估法的實施步驟簡潔和明確，主要根據專家的經驗對技術狀態指標進行評估。但是專家評估法實際應用中主要存在著兩個問題：第一，在選擇評估專家組時如何判斷選中專家的權威性高低；第二，如何消除或者降低評估專家在評估指標的選取和構建指標結構以及打分時存在的主觀性［1］。專家評估法得出的評估結果隨專家的技術水平和積累的經驗改變而改變存在著較大的不確定性，只能對系統效能進行相對模糊的評估和無法對效能的改變進行準確的追蹤和分析。

目前關于效能評估方法的研究主要圍繞三個方面：1）系統指標劃分是否符合系統結構特點；2）指標的權重確定是否與指標對于系統重要性相對應；3）評估方法得出的評估結果是否反映出系統整體狀態實情［2］。

2.1 層次分析法

層次分析法是一種靈活，簡潔的評估方法。層次分析方法通過建立層次結構模型把研究的復雜多準則決策系統分解成多個子系統，將系統效能指標劃分成層次分明階梯結構，上下層指標之間存在支配關系，可以有效表達層次之間系統指標、設備及其相互之間的關系。層次分析法關鍵在于指標體系的構建和指標權重的確定。層次分析法通過影響某個系統效能的指標進行兩兩比較從而去確定各指標的權重，將系統效能的定性評估定量化。目前層次分析法大多數情況下是作為指標權重值的求取方法。如文獻［3］采用了改進層次分析法與熵權法結合確定權重的方法，求得指標的綜合權重。文獻［4］針對變壓器性能評估指標體系中評價因素結構復雜、數量龐大的問題。采用層次分析法并結合定量修正評分函數，得到性能指標的權重。

層次分析法存在的問題是：在通過指標之間比較來構造判斷矩陣過程中，主要依賴評估專家的經驗和技術水平，因此評估結果存在一定的主觀性；同一層次的指標數量過多時，就難以區分各指標的重要程度，不便于將定性信息定量化；上下層指標之間的支配關系過度淡化了系統指標之間的非線性特征和強化了系統指標之間的線性特征［1］。

2.2 模糊評估方法

模糊評估方法是針對系統指標存在模糊性而提出的評估方法。模糊評估法適用于評估定性因素和定量因素并存的系統，擁有良好處理不確定信息的能力。模糊評估法的基本步驟：確定因素集、評語集；確定指標權重，構造模糊判斷矩陣；進行模糊合成和得到評估結果。由于模糊評估方法中的模糊數能夠體現出系統效能指標的模糊性和不確定性的特點，所以能夠解決系統在效能評估中不能用精確的數字表示指標狀態的問題。該評估方法的特點是可以將各指標對系統效能的影響程度進行定量化分析，可以將定性指標轉化為數量化指標。該評估方法實現的關鍵在于權重集的確定，所以應當請一定數量專家去確定評估模型中的權重集。如文獻［6］利用專家評分法確定指標的權重，指標評估值通過模糊評估給出。建立評估模型對EMS（Engine Management System，EMS）系統進行總體評估和給出模糊評估結果。

模糊評估法的缺點：評估模型參數難以確定，自學習能力差，當評估系統的結構發成退化或者優化的時候，評估模型不會進行相應的改變，從而導致評估效果變差。

2.3 灰色評估方法

灰色評估法是一種適用于具有大量未知信息系統評估的方法?；疑u估法以灰色理論為理論依據，使用定性分析與定量計算相結合的方法，較好解決了評估指標難以準確量化和統計的問題?；疑u估法的工作流程：根據評估系統的分散信息構建隸屬不同評估灰類的向量，進行單值化處理，得到評估系統的評估結果。評估方法中最關鍵的是白權化函數的構建。該評估方法需要指標信息樣本量數量較少和對樣本分布規律沒有要求。如文獻［7］針對電力變壓器進行可靠性建模過程中具備的數據少但是要求的精度高的問題，將電力變壓器劃分指標體系，建立了灰色模型。實現了可靠性建模方法精度的提高。該評估方法適用于對指標數據少和指標信息不完備的復雜大系統的評估。

灰色評估方法存在的問題有：第一，評估中確定灰類等級和評分時主要依據專家的經驗，因此帶有一定的主觀性評估結果為一個隸屬于不同灰類的向量；第二，對評分等級和灰類等級劃分的依賴性較強，對該向量進行單值化處理時，也會增加評估結果的主觀性；第三，工作量大，計算任務繁重。

2.4 指數法

指數評估法將系統的指標體系劃分成若干指標模塊，運用各指標模塊自身性能參數構建參數公式進行能力評估，獲得系統效能的評估值。文獻［10］在裝甲救護車的固有能力基礎上加入環境因素去評估其實際的作戰效能，并且找出作戰效能的重要因素和組成關系，為了解裝甲救護車的作戰效能和設計優化提供技術支持。文獻［11］提取智能水雷特征的之后，利用層次分析法求各指標權重值，以指數模型計算各項能力值，將各項能力值用加權和的方式計算出智能水雷的作戰能力，為智能水雷的發展和性能優化提供技術支持。該評估方法主要考慮系統本身的各項技術指標，忽略或規避了許多不確定的因素，并且評估模型的參數一般是由專家憑借主觀經驗而確定，具有一定程度的主觀性［9］。該評估方法的模型結構較為簡單，適用性強，適合用于對系統進行整體評估。

2.5 ADC模型評估法

ADC模型評估法作為解析法中的一種，模型結構簡單，公式簡潔。ADC模型評估法主要依據系統可用性，可信性，能力分析三大本質要素構建模型。ADC評估方法是通過劃分系統的狀態來構建可用性向量，通過計算執行任務開始時狀態轉變成結束時狀態的概率來構建可信度矩陣，依據系統的固有能力來構建能力矩陣，最后通過三個矩陣的乘積得到系統的各項能力的效能值。ADC模型可以依據不同系統的特點和評估要求，以傳統ADC模型結構為基礎，對模型進行重新拆分或引入新的要素。如文獻［13］為了使效能評估值更貼合系統實際運用效能，將戰場環境，戰術運用和作戰保障能力等要素加入到傳統ADC模型中，并且依據無人偵察機系統復雜特點，對ADC評估模型進行了優化處理，使作戰效能評估結果更客觀可信。

該評估方法的缺點：第一，系統的工作環境發生變化時，不能保證對工作環境改變的精準判定，導致能力矩陣難以確定。第二，系統劃分系統狀態數過多時，導致可信度矩陣的維數會過大。第三，評估結果是由各項效能評估值與狀態轉移概率乘積之后累加得出的各項系統效能值，沒有將各項系統效能值綜合成系統層次的系統評估值，因此無法得到對系統的整體評估結果。ADC模型適用于對復雜系統的多項能力一起進行分析和評估。

2.6 云模型

李德毅教授將模糊數學和概率統計綜合之后提出了云的概念。云模型是一種認知模型，可以很好地處理系統中的隨機性和模糊性之間的關系：定性概念與定量數據之間的雙向轉換和處理評價對象的隨機性或模糊性而存在的不確定性。云模型總是通過三大數字特征來表示：期望Ex（Expect，Ex），熵 En（Entropy，En）和超熵 He（Hyper entropy，He）。期望Ex是云滴所在論域范圍內的期望，是一個核心點。熵En是定性表達的不確定性度量，從一個角度來說是定性表達隨機性的度量；另一個角度又是定性表達互相依存的度量。超熵He是用來表達熵的不確定性，通過超熵的值我們可以了解云的離散程度和厚度。云模型不是需要人去建立隸屬函數，而是由數字特征計算確定度，從而降低人為因素的影響。文獻［14］結合專家的決策意見和實際數據，建立了改進云模型理論模型，消除了狀態辨識中的多指標參數和多等級劃分所帶來的模糊性和不確定性，能夠比較準確地識別等級。文獻［15］針對輸變電設備故障不確定性的問題，利用云模型分析數據之間存在的聯系，建立了評估模型。該模型能夠處理定性概念隨機性和模糊性所帶來的問題。

2.7 人工神經網絡法

人工神經網絡是通過模仿人類腦神經系統的信息處理機制而構建的一種信息智能處理系統。人工神經網絡具有大規模并行處理非線性信息的特點，通過系統數據存在內在的聯系構建模型，類似于“黑箱”。人工神經網絡模型有學習功能和記憶功能以及良好的魯棒性、自組織自適應性、非線性映射以及高容錯能力等優點，非常適合解決數據挖掘問題和能夠適用于多因素和多條件并存的信息處理系統［16］。

人工神經網絡法主要有兩點不足：第一，評估效果取決訓練樣本的優劣，具備了好的訓練樣本，才能構建性能良好的神經網絡模型。因此需要對神經網絡訓練的樣本數據進行大量的前期準備工作，且要認真地進行數據選擇、整理、轉換、去噪等方面的工作［17］；第二，構建人工神經網絡結構的方法通常由研究者經過試探性的反復試驗才能確定網絡結構。

2.8 深度學習方法

深度學習是通過使用軟件來構建與人類大腦相類似的思維機制，通過獲取外界信息從而對信息進行處理并反饋的模型。深度學習有和神經網絡類似的分層結構，但是深度學習在分層數和分層結構上更加復雜，在訓練機制也和神經網絡有所不同。深度學習基本工作流程：低層特征轉化為高一層次的特征或者屬性類別，通過特定的數學表達公式將特征轉化為有效的信息，指導機器完成學習工作。深度學習常用的模型有生成模型、判別模型及混合模型。深度信念網絡是生成模型，堆疊自動編碼機，卷積神經網絡是判別模型。文獻［19］針傳統評估方法無法對電力系統運行中出現的暫態穩定狀態進行快速和準確的評估，結合變分自動編碼器和卷積神經網絡，建立一種基于深度學習技評估模型。提高了暫態穩定評估的精度和效率。文獻［18］針對傳統網絡安全態勢評估方法存在對大量網絡數據處理效率不高的問題，提出以深度學習為基礎的網絡安全態勢評估方法。對網絡攻擊劃分類別后，對每種攻擊類型進行影響評估和對網絡安全狀況進行量化評估。

深度學習具有預測精度高，特征提出能力強，非線性函數映射良好，模擬人類思維能力強等優點。深度學習的缺點有：訓練階段需要大量的訓練數據；模型層次結構復雜，訓練速度低；當使用條件發生改變之后，已訓練的模型不在適用。

2.9 支持向量機

支持向量機方法是統計學習理論的一種具體實現。支持向量機的工作理論：原始輸入空間中的數據經過非線性映射到高維特征空間中，然后采用在特征空間構建分類超平面的方法來處理原始空間中存在的非線性分類的問題［20］。支持向量機模型的運行過程：先是依據評估系對象的指標數據建立輸入和輸出樣本，對模型進行訓練，在求解最大邊距超平面之后，再輸入輸入需要求解的樣本，模型進行識別之后輸出結果。支持向量機具有處理樣本數據少，信息非線性系統能力良好等特點。支持向量機求解出的最優解是全局最優解，避免了神經網絡中存在的陷入局部最優的問題［20］。

2.10 貝葉斯網絡

貝葉斯網絡是對復雜系統中不確定性信息處理的研究內容之一。貝葉斯網絡以網格結構和概率論作為理論基礎，對復雜系統進行不確定性推理，對數據和隨機變量進行處理。貝葉斯網絡的推理是在已知一部分變量的取值的條件下，去計算其他未知變量概率的過程。貝葉斯網絡包含網絡結構和概率分布兩部分：網絡結構主要包括表示隨機變量的各節點和表示線段兩端節點具有因果關系的有向線段；概率分布為條件概率分布。貝葉斯網絡是利用概率論中的貝葉斯公式將隨機變量之間的因果關系數量化，表示聯系的強弱。貝葉斯網絡具有表達問題直觀，邏輯推理性強等優勢。

3 評估方法的選擇

電子裝備系統效能評估是以評估方法為理論基礎，以效能評估模型為主體進而進行的評估過程。評估方法按照評估性質可分兩類：

1）傳統評估方法：專家評估法、層次分析法、模糊評估法、灰色評估法、ADC模型評估法、指數法等。

2）人工智能評估方法：云模型、人工神經網絡法、深度學習、支持向量機和貝葉斯網絡等。

層次分析法主要依靠主觀評估對系統進行評估，適合于人的定性評估起重要作用和評估結果難以直接計量的系統評估。層次分析法的層次間支配關系過度簡化了系統的非線性，因此層次分析法大多數情況下不單獨作為評估方法使用，而是作為指標權重的賦值方法配合其他評估方法一起使用。模糊評估法適用于評估定性因素和定量因素并存的系統，擁有良好處理不確定信息的能力，可以解決評估中不能用精確的數字表示指標評估的問題。但是模糊評估法對指標的評估值不能進行準確的判斷，只能給出相對模糊的結果和在權重集的確定過程中存在一定的主觀性。模糊評估方法不能解決評估指標間相關造成的評估信息重復的問題?；疑u估法適用于對指標數據少和指標信息不完備的復雜大系統的評估。指數法的模型結構簡單無法體現出系統指標之間的相互關系，忽略了許多不確定因素，因此指數法的評估結果與實際系統的效能之間存在一定程度的誤差。指數法適用于簡化條件下對電子裝備多種能力進行綜合評估。ADC評估方法是通過概率與能力值的乘積來求取效能值。當系統出現的小概率的狀態時，會導致得到效能值與實際系統的效能值有著巨大的差距。ADC評估方法中的可用性向量一般是通過系統的整個使用壽命期的維修時間和工作時間來確定，對短時間內的系統狀態的確定存在一定的誤差，也無法對系統進行實時的效能評估。因此ADC評估方法適合于對系統進行長時間任務周期內的效能評估。

云模型適合于評估需要處理隨機性和模糊性之間的關系的系統。人工神經網絡可以對多指標系統進行綜合評估并且給出一個客觀評估，有利于降低指標權重確定中存在的主觀性。人工神經網絡可以通過建立全權重學習機制，具有自適應能力。當系統任務和使用時間發生改變時，各指標對于系統效能的重要性也會發生相應變化，確保指標權重符合實際情況。人工神經網絡評估模型適合于需要處理非線性、非局域性的多因素和多條件并存的大型復雜系統。深度學習具有預測精度高的特點，因此深度學習適應于對系統的效能進行預測，從而為系統的預防性維修提供強有力的技術支持。深度學習適合于需要對效能進行預測的非線性系統。支持向量機在小樣本訓練上有較好的效果，具有優秀的泛化能力，適用于小樣本非線性系統評估。貝葉斯網絡可以將系統指標之間的聯系表示出來，可以為解析系統結構提供了依據，為系統的設計優化提供技術支持。貝葉斯網絡適用于需要分析系統指標之間聯系的系統評估。

上面的評估方法各有優缺點和適合使用的系統。實際上，選用哪種評估方法來進行系統效能評估，主要取決于要評估系統的整體結構特點、指標結構特點、指標參數特性、評估目的和精度要求等。在實際對電子裝備評估中可以根據評估系統的特點和評估要求，吸收不同評估方法的優點，把多種評估方法有機融合來使用。

4 效能評估方法中存在問題

1）各種效能評估方法都有一定的合理性和科學性，但是大多數的評估方法在實際應用上存在某方面的局限性，例如指標數據范圍規定不確切，方法實施的條件苛刻，參數的確定具有主觀性，影響系統效能的因素考慮不夠全面等。效能評估方法不具備學習能力，當系統的結構和工作條件發生改變之后，原先劃分的系統效能指標體系就不適合改變后的系統效能評估。

2）現有研究數據來源不夠全面。系統效能評估方法主要是對獲取的指標數據進行運算和處理。但是在系統的實際運行過程中，代表系統狀態的數據具有很強的不確定性，所以只通過一組或幾組數據去評估系統的效能會存在一定的誤差。需要擴展數據的來源，并且保持數據的準確性和客觀性。現有指標數據多數是設備的實時運行信息數據和設備歷史數據，不能為系統的預防性維修提供技術支持。

3）隨著電子裝備系統智能化和信息化水平的不斷提高，電子裝備系統的工作能力不再由硬件部分起確定性作用，系統的軟件部分和信息傳遞等也起到重要作用。但是大多數評估方法的評估對象是系統硬件部分的效能評估，忽略了對系統軟件部分和信息傳遞的效能評估，無法對系統的實際工作能力進行準確判斷。目前對系統軟件和信息傳遞方面的效能評估方法還較少。

5 效能評估方法的應用發展趨勢

5.1 多系統組成的復雜大系統技術狀態評方法將越來越受到重視

國內很多研究停留在單個系統或者單設備效能的層次上，較少有涉及多個系統組成的復雜系統效能評估的情況。如航天器、艦艇編隊、大型客機等復雜大系統。復雜大系統的效能評估是非常復雜的問題，其中涉及相互關聯、相互影響的多個子系統和眾多因素，所以在評估方法中需要將子系統之間的協同工作和信息傳遞等進行評估。目前對這方面的研究較少，需要進一步研究。

5.2 軟性因素的考慮

在大多數的評估方法中出現的各個參數，都是僅僅考慮了系統本身的指標。但是在系統的實際應用中，系統發揮的性能還與系統所在的工作環境和操作人員等因素有關，如在過熱過潮的工作環境下電阻的工作效能與預期的工作效能有差距。系統操作人員之間的專業技術水平差距也會導致同一系統的實際效能有所不同。目前對這些軟性因素的處理是：在評估方法中的參數前面添加一個修正系數，以此來表示軟性因素對系統性能的影響。修正系數一般是由專家近似估算得出，但具有一定程度的主觀性，所以如何更加準確和客觀體現出軟性因素對系統效能的影響還需要進一步深入研究。

5.3 基于小樣本數據的評估方法的研究

現代電子裝備系統的結構不斷完善和精細，影響其系統效能評估的因素也隨之增加，系統效能評估方法中的數學模型結構也越來越復雜和參數也越來越多。進行可靠性試驗的高費用和系統的復雜性，導致獲取大量系統效能指標數據的難度也提高了。因此基于大量指標數據的效能評估方法受到了限制。利用小樣本的數據構造有效和準確的評估模型是目前系統效能評估的研究方向之一。

5.4 評估數據來源于大數據

隨著電子裝備智能化和信息化的程度不斷提高，能夠獲得關于電子裝備評估的大量數據。設備的指標數據來源不再過度依賴于對本設備特征提取和專家經驗獲取，同類型設備之間的數據可以通過大數據技術交流和融匯。將其他同類設備使用壽命全階段的數據結合本設備的數據去預測未來某時期的電子裝備的效能值，從而使得評估結果更加合理和準確，為系統的預防性維修提供技術支持。從大數據中提取數據來源成為了未來的發展方向之一。

6 結語

隨著電子裝備系統呈現出復雜化、信息化和智能化等特點，有效且合適的評估效能方法對系統設計優化和提高預防性維修效率有著重要意義。目前的效能評估方法不能滿足現在電子裝備系統評估的要求：傳統效能評估方法具有較成熟的理論研究，模型中指標結構清晰，實施步驟明確，但存在適應能力不足和評估過程中存在一定程度的主觀性的問題，不能對系統的軟件部分和信息傳遞等進行有效的評估，因此對大型復雜系統進行評估的能力不足；人工智能評估方法有較強的自學習能力，可以適應系統結構發生改變之后的效能評估，但在構建模型過程中沒有一套標準有效的方法，部分人工智能評估方法是“黑箱”模型，無法為系統結構的設計優化提供技術支持。大數據技術輔助人工智能評估方法對大型復雜系統進行效能評估是未來一段時間內的研究熱點和研究方向。