基于主客觀權重集成的訓練評估方法

喬中濤+張延生+高鳳岐+楊葉舟

摘 要： 針對裝備維修仿真訓練中指標主觀賦權法成績評估的局限性，在評估中指標綜合權重集成了主觀權重和客觀權重。分別采用層次分析法計算指標主觀權重，熵值法計算客觀權值，按最優化模型將主觀權值和客觀權值集成為綜合權值。這種方法考慮了每個評估指標成績差異性所攜帶的訓練水平信息，從而改進了傳統指標主觀賦權評估方法。通過實踐證明，基于該方法訓練評估結果有更高的可信度。

關鍵詞： 訓練評估； 熵值法； 客觀權值； 主觀權值

中圖分類號： TN911.1?34； TP391.9 文獻標識碼： A 文章編號： 1004?373X（2017）15?0090?04

Abstract： Since the index subjective weighting method has limitation to evaluate the result in simulation training of equipment maintenance， the subjective weight and objective weight in evaluation are integrated into the index comprehensive weight. The analytic hierarchy process is used to calculate the subjective weight of the index， and the entropy method is used to calculate the objective weight of the index. According to the optimization model， the subjective weight and objective weight are integrated into a comprehensive weight respectively. The training level information carried by score difference of every single evaluation index is considered in the method to improve the traditional index subjective weighting evaluation method. The practice result verifies that the training evaluation result of the method has high credibility.

Keywords： training evaluation； entropy method； objective weight； subjective weight

0 引 言

提高重要武器裝備的戰術操作或者維修訓練水平的一個重要途徑是采用訓練仿真系統，基于模擬仿真系統進行訓練可以在保證訓練強度的前提下降低消耗及訓練成本。

目前基于仿真訓練系統的訓練效果評估方法在各評價因素綜合時均采用主觀賦權方法，運用層次分析法或改進方法由專家主觀估計決定各個評分因素的重要性，即各指標權重[1?9]。在實踐中，通過對受訓人員大量考核樣本數據分析，各單項考核指標成績的標準差并不均勻，有時區別較大。這與受訓者對一些考核項目更重視的實際情況相吻合，說明基于主觀權值的綜合評估不能客觀反映單項科目訓練水平的不均衡性，而且主觀賦權評估方法獲得的評估結果有時與客觀情況有明顯出入。比如在成績相近的兩個訓練樣本中，其中個別單項評價指標成績差異性顯著，而單項成績明顯占優的樣本總分卻處于劣勢，這種情況使評價可信度降低，而且受訓者無法獲得幫助性信息。客觀上各單項指標成績的差異性包含了豐富的訓練效果信息，但主觀賦權方法依據的是評價指標之間的相對重要程度，而訓練單項指標成績差異性所包含的訓練信息不能被有效用于評估中。

針對主觀賦權評估方法中存在的不足，采用客觀熵值法對訓練水平差異性信息進行量化，從而獲得評估指標的客觀權值，然后按照最優準則對客觀權值與主觀權值進行集成獲得各項合理權重，使綜合評估更加客觀地反映受訓者的訓練水平。

1 主觀賦權方法訓練評估

基于仿真訓練系統的訓練評估過程如下[1?9]：

（1） 采用德爾菲評估指標體系，該方法通過征詢專家組的意見建立與訓練科目密切相關的評價項——指標體系

（2） 基于層次分析法（AHP）確定各評價項的指標權重

（3） 在訓練過程中對受訓者每個評價項運用相應的方法完成各單指標評分，獲得原始成績數據

（4） 根據指標權重和各指標評分進行加權求和獲得綜合評估成績其流程如圖1所示。

以某型裝備維修訓練系統為例說明主觀方法賦權評估結果呈現的矛盾性。某訓練項目考核的指標定義為采用Satty提出的層次分析法（AHP）[10]以1～9標度法將定性問題進行定量化的分析，按各評價指標對衡量訓練水平的相對重要程度兩兩比較，構造6指標的判斷矩陣

按層次分析法定義的計算方式[10]，根據下面3個公式求解判斷矩陣的權重和一致性檢驗，其中為主觀權值，CR為一致性檢驗系數，CI為一致性指標，RI為平均一致性系數。

經計算一致性檢驗系數CR=0.024 1，CR<0.1表明判斷矩陣的判斷思維具有一致性。主觀權值向量[0.302 2，0.186 7，0.105 9，0.061 9，0.302 2，0.041 2]T。

矩陣是某次9人一組的維修訓練考核的成績數據，其中為6個評價指標的原始成績。

基于主觀權值對本次考核進行成績評估的結果為：

成績排序：在本組訓練考核結果中，各指標成績的標準差分別為[1.900 3，2.934 5，3.929 9，0.189 4，4.236 1，9.300 5]，標準差數據相差比較大，其中考核項標準差和明顯高于其他項。觀察的數據，從分指標成績看，優于且優勢較明顯， 但綜合成績卻劣于這使評估可信度受到質疑。分析整組訓練評估數據，有些指標成績數據比如離散度較弱，各操作人員之間水平差異性較小，對訓練水平評價信息貢獻小。而一些指標數據值離散度強，比如和操作成績差異大，它更能反映操作水平的差異。從成績綜合評估考慮，數據差異性大的指標在綜合評估時應該在權重上有所反映。主觀賦權法在訓練評估之前根據指標的重要程度確定權重，無法衡量在具體訓練中指標數據表現出來的對訓練水平的評價能力。

2 基于信息熵的客觀賦權方法

客觀賦權評估法是根據歷史數據分析各指標的相關關系或指標與結果的關系進行綜合評估。在客觀賦權法中，熵值法確定的權重能夠反映指標值的離散程度[10]。信息論借用熱力學熵的概念來表達平均信息量，在評估中用信息熵評價系統信息的有序程度和信息的效用值，在多屬性決策問題中熵值法利用指標數據信息熵來計算各評價指標的權值。其基本思想是：對于多指標評估問題，在多組評估數據中，哪個指標為評估決策提供的確定信息量大，這個指標對評估的貢獻就大，其權值就越高。

設為成績數據矩陣，數據為組分指標成績，包含個評價指標，熵值法客觀賦值采用如下步驟計算指標權重[10]。

（1） 線性變換法對成績矩陣進行規范化處理獲得評估矩陣

計算第個指標在第個成績的特征比重

計算第個指標的熵值

計算指標的差異性系數：

對于評估的第個指標，數據的差異性越小其熵值就越大，如果此指標的所有數據都相等，當系數取時，熵值取極限值1，則差異系數為0，表明此指標對訓練水平的評估無價值。相反，如果指標數據差異性越大，其熵值就越小，此指標包含的訓練水平比較信息就越多，所以值越大指標重要性越高。

（2） 計算指標的客觀權值。

下面采用熵值法根據維修訓練考核成績數據求6個指標的客觀權值。首先采用線性變換法對成績矩陣進行規范化處理，得到矩陣規范化選擇線性變換法是因為線性變換不會扭曲考核指標數據的差異性。

熵值法客觀權值大小與各指標數據包含的信息量相對應，且對指標數據的差異性敏感。可以看出，根據本組指標成績數據計算出的指標和客觀權重與其他指標相比較大，突出反映了指標和從數據視角對訓練水平評估的重要性。所以熵值法權重可以用來修正考核指標主觀權重，使權值包含客觀成分，科學的方法是將主觀權值與客觀權值按最優準則進行集成，從而融合主客觀因素對訓練評估的貢獻。

3 基于主客觀權重綜合的訓練評估

獲得熵值法客觀權值后，在訓練成績評估中結合主觀賦權和客觀賦權的優點，既考慮各指標的相對重要程度，又參考指標考核成績差異性對訓練水平評估所貢獻的信息量，綜合主客觀權重得到權值

完整評估流程與基于主觀賦權評估相比較，在獲得分指標成績后多了熵值法計算客觀權值及主客觀權值集成的步驟，如圖2所示。

在權值綜合中采用文獻[10]中的基于數據加權和最優模型確定綜合系數和。其最優模型為：

此模型最優解為：

將歸一化處理即可得值。根據本組訓練成績數據得：=0.516 7，=0.483 3。根據系數對和進行綜合得權值：[0.163 3，0.114 1，0.090 9，0.229 2，0.195 0，0.207 4]T。根據綜合權值可以對原始成績綜合評估，結果為：

借助圖3觀察采用主觀賦權綜合評估和主客觀綜合賦權評估結果的對比，后者的成績差異度比前者明顯。對于和成績可信度問題，在采用主客觀綜合權值評估后訓練水平評價為而且優勢明顯，可信度獲得改善。

在某型裝備維修訓練系統中，基于主客觀綜合權值不僅用于最后階段的總成績評估，分指標項評估中同樣采用了此算法。由于分指標評價中下一級子指標量綱往往不一致，所以先對訓練數據線性規范化，使數據之間可相互比較。根據主客觀綜合權值完成綜合評估，再對評估數據進行線性變換獲得百分制成績。

4 結 語

針對仿真訓練評估訓前無法預測分指標成績分布特性導致評估結果可信度差的情況，采用熵值法計算分指標成績對綜合訓練水平所貢獻的評估信息量，從而得到客觀評價權值，在總評價階段對客觀權值與主觀權值進行綜合，實現同期學員指標評價權重的動態調整，獲得較為理想的新權值，完成訓練水平綜合評估，改進了傳統評估方法，提高了訓練評估結果的可信度，同時可根據分考核指標成績情況給予訓練建議。

參考文獻

[1] 高文琦，張復春，王立波，等.飛行訓練成績評估模型的建立與實現[J].電子設計工程，2011（24）：50?52.

[2] 熊正祥，孫永侃，王立強.艦艇模擬訓練中指揮員的成績評估研究[J].計算機仿真，2011，28（4）：30?33.

[3] 鄒文萌，徐敬.水面艦艇模擬訓練成績評估方法研究[J].現代電子技術，2012，35（22）：101?103.

[4] 矯永康，李小民，毛瓊.改進模糊層次分析法在虛擬維修訓練評估中的應用[J].計算機工程，2014（10）：314?317.

[5] 漆政昆，王海濱，高峰.近程反導艦炮武器系統日常訓練射擊效果評估[J].艦船電子工程，2015，35（3）：28?31.

[6] 王欽釗，郭傲兵，李小龍，等.基于AHP的裝甲分隊模擬訓練成績評估方法[J].計算機仿真，2015，32（10）：458?462.

[7] 谷宗輝，閆肅.基于層次分析法的飛行模擬訓練評價體系設計[J].中國民航飛行學院學報，2015，26（1）：56?59.

[8] 侯玉，夏立，張朝亮.船舶電力系統模擬訓練評估算法[J].海軍工程大學學報，2015，27（1）：103?107.

[9] 武兆斌，陳黎，趙春霞.基于灰色聚類和層次分析的模擬訓練成績評定[J].系統仿真學報，2016，28（2）：416?423.

[10] 張全.復雜多屬性決策研究[M].沈陽：東北大學出版社，2008.