復雜電子信息系統(tǒng)效能評估方法綜述

（1.四川大學 計算機學院， 成都 610064； 2.空軍裝備研究院 雷達所， 北京 100085）



摘 要：首先給出了效能以及效能評估的概念，并指出了效能評估與費效比、性能等的區(qū)別，同時也明確了對復雜電子信息系統(tǒng)進行效能評估的重要性與必要性。介紹了美國工業(yè)界武器系統(tǒng)效能咨詢委員會方法、層次分析法、模糊評價法、神經網絡方法、專家調查法、多屬性決策方法六種用于復雜電子系統(tǒng)效能評估的方法，并對這六種效能評估方法進行了優(yōu)缺點、適用性以及應用關鍵點的橫向分析。

關鍵詞：復雜電子信息系統(tǒng)； 效能評估； 數(shù)學方法

中圖分類號：TP391 文獻標志碼：A

文章編號：10013695(2009)03081904



Methods summary for performance evaluation of complexelectronic information system



HU Yunong1， XIA Zhenghong1， WANG Junfeng1， BAI Songhao2



(1.School of Computer Science， Sichuan University， Chengdu 610064， China； 2.Institute of Radar， Air Force Equipment Academy， Beijing 100085， China)



Abstract:The paper explained the concept of system performance and system performance evaluation， and pointed out the difference among that system performance， costeffective， and system ability， but also cleared the importance and necessity for performance evaluation of complex electronic information system. Then it introduced Weapon System Effectiveness Industry Advisory Committee method， analytic hierarchy process， fuzzy evaluation method， neural network method， expert investigation method， multiattribute decisionmaking method， which used for performance evaluation of complex electronic systems. Finally made horizontal analysis from the advantages and disadvantages， the applicability， and the key points of these six kinds of performance evaluation methods.

Key words：complex electronic information system; performance evaluation; mathematical methods



隨著信息革命的不斷推進，整個世界各領域的信息呈現(xiàn)出了日趨激烈的爆炸式增長，為了管理及利用這些信息，各個領域都出現(xiàn)了許多功能多樣的電子信息系統(tǒng)，并且隨著信息的膨脹，這些系統(tǒng)也在不斷地趨于復雜化。這種情況下，系統(tǒng)在規(guī)定條件下和規(guī)定時間內完成規(guī)定任務的程度[1]就成了一個很重要的問題，因此系統(tǒng)的效能就是對系統(tǒng)所具有能達到規(guī)定任務要求能力的度量。系統(tǒng)效能評估是研究系統(tǒng)的效能特性及其獲取系統(tǒng)最大效能的一門科學[2]。系統(tǒng)效能是完全不同于費效比以及性能的一個獨立概念。系統(tǒng)費效比是指費用與效果的比值，反映出系統(tǒng)的投入與產出的比例關系；系統(tǒng)性能是指系統(tǒng)能夠發(fā)揮表現(xiàn)出的處理能力。而系統(tǒng)的效能不僅是其所具有的內在的執(zhí)行任務的能力，而且是在系統(tǒng)的全壽命周期中圍繞系統(tǒng)的一些活動所取得的效果，也稱之為系統(tǒng)的效能[3]。因此系統(tǒng)效能評估是對系統(tǒng)的標稱能力與實際能力匹配程度的全面評估。通過對復雜電子系統(tǒng)進行效能評估，可以量化系統(tǒng)標稱能力與實際能力的匹配程度[4]，發(fā)現(xiàn)系統(tǒng)現(xiàn)狀與實際使用需求之間的差距。這些量化后得到的差距數(shù)據就可以為系統(tǒng)需求的改進和后續(xù)系統(tǒng)的規(guī)劃、設計、運行、管理和維護提供有力的理論基礎；同時這些數(shù)據也為系統(tǒng)運行、管理和使用提供了參考模型，為系統(tǒng)日常維護和狀態(tài)監(jiān)控指明了關注要點和改進方向。對這些復雜電子系統(tǒng)進行效能評估之后，就能有針對性地逐步優(yōu)化系統(tǒng)的體系結構和配置，提高系統(tǒng)的運行管理水平，以需求為向導顯著提高系統(tǒng)的運行效益。

1 效能評估方法

1.1 WSEIAC方法 

WSEIAC（美國工業(yè)界武器系統(tǒng)效能咨詢委員會方法）規(guī)定系統(tǒng)效能是系統(tǒng)滿足一組特定任務要求程度的度量，或者說是系統(tǒng)在規(guī)定條件下達到規(guī)定使用目標的能力[5]。規(guī)定的條件指的是環(huán)境條件、時間、人員、使用方法等因素；規(guī)定使用目標指的是所要達到的目的；能力則是指達到目標的定量或定性程度。因此WSEIAC將系統(tǒng)效能規(guī)定為系統(tǒng)可用度A、任務可信度D和管制能力C的函數(shù)，用行向量E(1×m)表示：

E=A×D×C(1)

其中：可用度向量A表示系統(tǒng)在開始執(zhí)行任務時處于不同狀態(tài)的概率。系統(tǒng)可能狀態(tài)一般由系統(tǒng)的可工作狀態(tài)、工作保障狀態(tài)、定期維修狀態(tài)、故障狀態(tài)、等待備件狀態(tài)等組合而成，表示開始執(zhí)行時處于狀態(tài)i的概率，這個概率可用該種狀態(tài)持續(xù)工作時間與總時間的比值表示。

D是可信賴矩陣。可信性是系統(tǒng)在執(zhí)行任務過程中能夠正常運行的量度，它描述的是投入運行的系統(tǒng)在工作過程中不產生故障完成規(guī)定功能的概率。表示開始系統(tǒng)處于i狀態(tài)，而在使用過程中轉移到j狀態(tài)的概率，它直接取決于系統(tǒng)可靠性和使用過程中的修復性，也與人員素質、組織管理等因素有關。

D=d11d12…d1n

d21d22…d2ndn1dn2…dnn

(2)

C是能力矩陣，表示在最后可能狀態(tài)j下達到第k項效能指標。當滿足馬爾可夫假設時，能力矩陣就是一維列向量。在WSEIAC模型中，能力矩陣是系統(tǒng)性能的集中體現(xiàn)，也是求解效能的關鍵所在。計算固有能力向量C，很大程度上取決于所評價系統(tǒng)的任務需求。因此，應根據實際問題的特定條件來建立能力矩陣，可以綜合運用各種合適的方法。

C=c11c12…c1nc21c22…c2ncn1cn2…cnn(3)

ADC模型在根據自己系統(tǒng)的實際情況構造出相應的A、D、C之后，通過公式E=A×D×C計算出系統(tǒng)效能E。可以看出式中的A、D、C都是概率指標，因此最后計算出來的系統(tǒng)效能也是一個概率結果。

1.2 層次分析方法

層次分析法簡稱AHP方法，此模型是對系統(tǒng)的指標體系進行分層次的綜合，并且進行歸一化處理、一致性分析，最后得到系統(tǒng)的綜合效能[6]。AHP方法將決策問題分為三個層次，即目標層O、準則層G和方案層P。每層有若干元素，下一層的元素會對上一層的元素有影響，通過相互比較確定各準則對目標的權重，各方案對每一準則的權重；將這兩組權重進行綜合，確定各方案對目標的相對權重。AHP方法將定性分析與定量分析結合起來，給出了決策問題的定量結果[7]。

層次分析法的步驟如下：

a)建立層次分析結構模型。深入分析實際問題，將有關因素自上而下分層（目標—準則或指標—方案或對象），上層受下層影響，而層內各因素基本上相對獨立。

b)構造成對比較陣。用成對比較法和1~9尺度，構造各層對上一層每一因素的成對比較陣。

c)計算權向量并作一致性檢驗。對每一成對比較陣計算最大特征根和特征向量，并作一致性檢驗，若通過，則特征向量為權向量。

d)計算組合權向量（作組合一致性檢驗）。組合權向量可作為決策的定量依據。

例如設定一個需要達到的目標作為目標層，從對目標發(fā)生影響的各種因素中選出合適的因素作為準則層G={G1，G2，…，Gm}，現(xiàn)需要從方案層P={P1，P2，…，Pn}中選出最佳的方案。首先利用成對比較法，參照1~9尺度，構造出m個準則對于目標的權重向量A=[a1，a2，…，am]，并且有∑mi=1ai=1；然后構造出矩陣B，其中bij表示第j號方案對第i個準則的權重，因此有bij∈(0，1)(i=1，2，…，m；j=1，2，…，n)，∑nj=1bij=1。令綜合決策矩陣X=A×B，這個矩陣乘運算中還需要進行一致性檢驗，保證前后判斷的一致性，乘積X就是準則層對目標層的權重與方案層對準則層的權重構成的組合權重，能反映出方案對目標的影響程度。之后求出xk=maxj{xj}，對應的Pk即為最佳方案。

1.3 模糊評價方法

模糊綜合評價法是將模糊數(shù)學應用于目標評價而形成的方法，它根據評價對象和評價目標要求建立起模糊矩陣，通過一系列的判斷、推理、論證，由最佳隸屬度原則得出可靠結論的一種評價方法[8]。用模糊數(shù)學進行綜合評判，包括三個方面的內容，即系統(tǒng)分析、模糊數(shù)學進行處理和計算機運算。

例如需要對某個復雜電子信息系統(tǒng)進行效能評估，在對評價指標及其模糊性進行綜合分析的基礎上，可以建立如下的評價因素集U={U1，U2，…，Un}。其中：Ui代表第i個評價因素。然后建立起評價等級集V={很好，好，一般，不太好，不好}，接著就可以確定評價矩陣P={Pij}n×m。其中：Pij為第i個評價因素評價等級為j的比例；n為評價因素數(shù)；m為評價等級數(shù)。通過專家調查法等取得評價指標的權重向量w={w1，w2，…，wn}，且∑ni=1wi=1，計算模糊決策集D=w×P。各方案的模糊決策集計算出后，將決策集中很好、好及一般的三者相加，即得到綜合總評分。

1.4 神經網絡評估方法 

人工神經網絡方法是一種以人的神經學習為基礎的新方法，通過模擬人的神經過程，從而實現(xiàn)自主學習的功能。目前使用最廣泛的BP網絡由三層神經元組成，這種三層的BP網絡可以實現(xiàn)以任意精度逼近任意連續(xù)函數(shù)，也就能夠通過這種網絡尋找到最優(yōu)解[9]。這種方法的基本步驟如下：

a)初始化，置所有權為隨機任意小。

b)模型參數(shù)的確立。復雜電子信息系統(tǒng)效能評估模型由一系列表征系統(tǒng)運行效能及其因果關系的特征參數(shù)、過程因子和征兆現(xiàn)象構成，特征向量的選取依據基于征兆的推理獲得。

c)提供訓練集。提供連續(xù)的輸入變量x1，x2，…，xn和所期望的輸出結果y1，y2，…，yn，訓練集的取得是根據實際使用人員和專家的體會以及經驗確定。

d)定義輸入/輸出的關系[10]：

Opj={1+exp}-(∑i1WijOpj+θj)

(4)

其中：Opj為模式p網絡節(jié)點j的輸出；Wij為節(jié)點i到j的連接權值；θj為節(jié)點j的閾值。

e)調整權值

ΔWij=ηδpj×Opi(5)

其中：η是學習速率；δpj是節(jié)點j的誤差信號。對輸出層節(jié)點j，

δpj=(ypj-Opj)Opj(1-Opj)(6)

對中間層節(jié)點j有

δpj=∑kδpkWkjOpj(1-Opj)(7)

其中：δpj為節(jié)點j上一層節(jié)點k的誤差信號，Wkj為節(jié)點j到上一層節(jié)點k的連接權值。

f)將得到的權值以及閾值記錄到知識庫，多次訓練BP網絡，使權值以及閾值穩(wěn)步趨向最優(yōu)。

在將人工神經網絡的方法用到復雜電子信息系統(tǒng)效能評估時，首先將系統(tǒng)各種設施的狀態(tài)以及系統(tǒng)接口的信息作為征兆參數(shù)，以征兆參數(shù)為模型的輸入，將系統(tǒng)處理輸入信息的各種功能作為模型的隱層節(jié)點，這些節(jié)點反映了系統(tǒng)征兆參數(shù)影響系統(tǒng)效能表征參數(shù)狀態(tài)和權值的傳遞。模型的輸出是系統(tǒng)效能的各種表征參數(shù)，這些參數(shù)有一定的動態(tài)變化范圍，根據預先定義好的正常變化范圍及相應的效能等級，就可以觀測出當某些征兆參數(shù)發(fā)生變化時，系統(tǒng)當前的表征參數(shù)變化情況，從這些變化中得到系統(tǒng)當前的效能等級。

1.5 專家調查方法 

相比較其他效能評估的方法，就算法的角度上來看，專家調查法是比較簡單易用的。

設評估對象（如各種復雜電子信息系統(tǒng)）的指標（因素）集為A={A1，A2，…，An}，現(xiàn)有m個專家分別對A中因素作出權數(shù)判定，結果如表1所示。其中xj=（1/m） ∑mi=1aij，Sj=（1/m） ∑mi=1(aij-Aj)2；j=1，2，…，n。這一過程是單獨進行的。

不記名地將全部數(shù)據(表1)送交每位專家，同時附上進一步的補充材料，請每位專家在閱讀和思考之后，給出新的估計值bi1，bi2，…，bin(i=1，2，…，m)。

重復上述步驟若干次，直至離差值小于或者等于預先給定的標準ε＞0，例如在第k步首先滿足S(k)≤ε，這類S(k)是第k步的離差。因素集X的權集取為x(k)1，x(k)2，…，x(k)n。其中x(k)i是第k步的平均值(i=1， 2，…，n)。這樣就可以得出在該評估指標體系下所需評估的電子信息系統(tǒng)各指標所對應的比重。

1.6 多屬性決策方法

在利用多屬性決策方法求解多目標決策問題之前，先要進行的準備工作包括決策問題的描述、相關信息的采集、決策數(shù)據的預處理和方案的初選等[11]。

1)多目標決策問題的描述 對于一個多目標決策問題，設可供選擇的方案為X={x1，x2，…，xm}，用Yi={yi1，yi2，…，yin}表示第i個方案xi的n個屬性值，各方案的效能指標權重值可列成決策矩陣，如表2所示。

2)數(shù)據預處理 在決策矩陣中，效能指標權重值有多種類型，有些指標的屬性值越大越好，稱做效益型指標；有些指標的屬性值越小越好，稱做成本型指標；另有一些指標的屬性值既非效益型又非成本型。這幾類屬性放在同一個表中不便于直接從數(shù)值的大小判斷方案的優(yōu)劣，另外量綱的選用對評估結果也會有影響，因此需要對決策矩陣中的數(shù)據進行預處理，從而給出某個指標的屬性值在決策人評價方案優(yōu)劣時的實際價值。

3)方案篩選 當方案集X中方案的數(shù)量太多時，在使用多屬性決策方法進行正式評價之前就應當盡可能篩除一些性能較差的方案，以減少評價的工作量。常用的方法有選優(yōu)法、滿意值法和邏輯值法。

4)一般加權和法 一般加權和法較簡單，其求解步驟如下：

a)效能指標權重值規(guī)范化，得到zij（i=1，2，…，m；j=1，2，…，n）。

b)確定各指標的權系數(shù)wj（j=1，2，…， n）。這里權系數(shù)的確定可以使用前面介紹的層次分析法或者模糊分析法。

c)令Ci=∑nj=1wjzij，并根據Ci的大小排列出方案i（i=1，2，…，m）的優(yōu)劣次序。

2 效能評估方法分析

通過對效能評估中使用的六種方法的介紹可以看出，每個方法都有著自己的特性，本文從這些方法的適用性、優(yōu)缺點、應用中的關鍵點三方面進行橫向比較，如表3所示。

表3 效能評估方法分析

評估方法適用性優(yōu)缺點應用中的關鍵點

WSEIAC能夠建立系統(tǒng)可用性、可信度和固有能力向量（或者矩陣）的情況下，即很充分地了解系統(tǒng)開始工作時的狀態(tài)、系統(tǒng)執(zhí)行任務中正常工作的能力、系統(tǒng)圓滿完成任務的程度 優(yōu)點：在能夠給出模型需要的可用度向量、可信賴矩陣、能力矩陣的情況下，能夠對系統(tǒng)作出精確的效能評估；缺點：需要大量且準確的統(tǒng)計數(shù)據為基礎，推算出模型需要的可用度、可信度和系統(tǒng)能力對系統(tǒng)的可工作狀態(tài)、工作保障狀態(tài)、定期維修狀態(tài)、故障狀態(tài)、等待備件狀態(tài)等n種狀態(tài)的概率統(tǒng)計

層次分析法需要較全面以及有層次化的指標體系優(yōu)點：定性與定量相結合，應用廣泛且頗為成熟的效能評估方法；缺點：相較其他幾種效能評估方法，計算量比較大計算組合全向量時一定需要進行一致性分析，不然計算結果會出現(xiàn)前后判斷矛盾的錯誤

模糊分析法評估的指標不多，專家對指標的評價等級基本一致優(yōu)點：對定性的判斷進行量化，計算過程簡潔；缺點：分析的粒度比較粗，得到的評估結果不夠精確評價等級集需要統(tǒng)一確立，只能有一個評價等級集

神經網絡法指標體系已經建立，并且指標之間相互影響關系比較明確優(yōu)點：具有自主學習與調整能力的效能評估方法，不會出現(xiàn)局部最優(yōu)解；缺點：模型的建立頗為復雜，人為提供的訓練集的優(yōu)劣直接影響著模型的效率征兆參數(shù)（輸入）、過程因子、表征參數(shù)（輸出）的確立，輸入輸出函數(shù)關系的函數(shù)確定

專家調查法專家可以足夠多地參加到評估之中，因為此方法需要反復地收集意見、綜合意見、反饋給專家、專家修改意見、重新收集意見優(yōu)點：互動性很強，參與很高的簡便方法；缺點：人為因素太大，數(shù)學方法對模型中數(shù)據的處理不夠充分調查表的設計能夠最大限度地獲取到專家的客觀評價意見

多屬性決策方法有多套備選方案，需要評估并得出最佳的備選方案，以及該方案對應的指標的權值信息優(yōu)點：需要多套方案選優(yōu)的情況下，是比較簡潔高效的方法；缺點：應用范圍比較狹窄方案預篩選能夠極大地降低計算工作量

3 效能評估方法的綜合運用分析

因為六種效能評估方法各有優(yōu)劣，要是可以將這些方法進行綜合運用，各方法取長補短、相互補充，便可以取得更好的效能評估效果。

1）分析法與專家調查法的綜合運用 運用層次分析法時，需要用到準則層對目標層的權值向量，這個向量無法利用AHP方法中的1～9尺度和成對比較法獲得。這種情況下，為避免計算量過大，可以采用比較簡便的專家調查法，專門為獲得這個權重向量制作調查表，多次反饋修正后獲取到準確的權重向量，然后直接將這個向量運用到AHP方法中進行組合權重的計算。這樣做也消除了專家調查法主觀因素過大的弊病，利用這種方法的綜合后，專家調查法得到的結果只是整個評估過程中權重向量這一部分，再放到AHP方法中計算時，可以通過模型的完整及嚴密性抵消人為主觀性帶來的誤差。

2）人工神經網絡方法與模糊分析法的綜合運用 模糊分析法中也需要使用指標體系的權重向量，這個向量一般也可以通過專家調查法獲取直接使用。這個主觀判斷的權重向量比較粗糙，且模糊分析法的模糊評價等級集已經是粒度比較粗的判斷標準。為了提高模糊分析法的精度，可以將專家調查法獲得的權重指標先運用人工神經網絡進行訓練，通過人工神經網絡的自主學習功能，多次計算待權重向量值穩(wěn)定下來后，權重向量精度會得到很大提高，再利用這個訓練過的權重向量進行模糊綜合評價，可以提高效能評估的精確度。

4 結束語

效能評估是現(xiàn)在電子信息系統(tǒng)日趨復雜的情況下很有必要做的一個分析優(yōu)化工作，本文介紹的六種方法在各自適用的情況下都能夠很好地評估出系統(tǒng)當前的效能狀況，為系統(tǒng)的進一步改進提供方向性的指導。同時六種方法又有著各自的優(yōu)缺點，在作效能評估時可以根據需要平衡這些優(yōu)缺點選擇合適的方法，并且根據系統(tǒng)的實際情況采用多種方法綜合的方式取得更加準確有效的系統(tǒng)效能。而且文中還指出了運用各種方法時需要注意到的關鍵點，這些關鍵點對該種模型計算結果的正確性起著至關重要的影響。正確應用了合適的效能評估方法，采用了合理的綜合運用方式，就可以客觀地得到準確、定量的系統(tǒng)效能值，為后續(xù)的工作提供量化依據。

參考文獻：

［1］潘高田，周電杰，王遠立，等. 系統(tǒng)效能評估ADC模型研究和應用[J].裝甲兵工程學院學報，2007，21(2):57.

[2]劉杲靚.綜合航空電子系統(tǒng)效能評估研究[D].西安：西北工業(yè)大學，2006.

[3]于開峰，吳德偉，王曉薇. 衛(wèi)星導航系統(tǒng)作戰(zhàn)效能評估[J]. 航天電子對抗，2007， 23(3):58.

[4]繆小鵬. 防空信息作戰(zhàn)效能的評估技術[D]. 武漢：華中科技大學，2005.

[5]王宇. ADC方法在通信星座效能評估中的應用[J]. 科教文匯，2007(3):195196.

[6]謝振華，倪成敏. 基于層次分析和模糊數(shù)學的電解鋁生產安全評價[J]. 安全科學技術，2008(1):811.

[7]陳根忠，薛業(yè)飛.基于層次分析法的引導式電子對抗系統(tǒng)效能評估[J]. 電子對抗，2006(1):2629.

[8]梁權，石麗美. 基于模糊分析法的第三方物流顧客滿意度綜合評價[J]. 中國市場，2007(49):4647.

[9]李斌，劉建強，董奎義. 基于神經網絡的艦載直升機反潛武器系統(tǒng)作戰(zhàn)效能評估[J]. 艦船電子工程，2007，27(5):5052.

[10]白松浩，馬錦永，呂善偉. 基于神經網絡對管制中心系統(tǒng)的效能評估[J]. 電訊技術，2004(6):125128.

[11]張梅榮，姜玉英. 多屬性決策方法及其應用[J]. 北京印刷學院學報，2007，15(2):7275.

[12]吳智輝，張多林. AHP法評估地空導彈武器系統(tǒng)效能[J]. 戰(zhàn)術導彈技術，2003(4):812.

[13]張文勝. 基于模糊綜合評判的動態(tài)路徑行程時間預測模型[J]. 地理與地理信息科學，2006，22(4):2528.

[14]李士勇. 工程模糊數(shù)學及應用[M]. 哈爾濱：哈爾濱工業(yè)大學出版社，2004:96103.

[15]劉樹林. 多屬性決策理論方法與應用研究[D]. 北京：北京航空航天大學，1997.

[16]LIBERATORE M J， NYDICK ROBERT L. Group decision making in higher education using the analytic hierarchy process[J]. Research in Higher Education， 1997，38(5):593614.

[17]LIN Yonghuang， LEE P C， CHANG Tapeng， et al. Multiattribute group decision making model under the condition of uncertain information[J]. IEEE Automation in Construction，2008，17(6):792797.

[18]SEAVER B， TRIANTIS K， HOOPES B J. Efficiency performance and dominance in influential subsets: an evaluation using fuzzy clustering and pairwise dominance[J]. Journal of Productivity Analysis， 2004，21(2):201220.

[19]SIMON HAYKIN. Neural networks:a comprehensive foundation[M]. 2nd ed. New Jersey: Prentice Hall: 1998:6075.