基于元評估的武器裝備體系貢獻率評估指標優化方法研究

蔡卓函，穆歌，馮琦琦，王新宇，賈燁

（1.陸軍裝甲兵學院，北京 100072；2.66058部隊，天津 301700；3.軍事科學院系統工程研究院，北京 100072；4.32290部隊，山東 濟南 250002；5.北部戰區聯合參謀部，遼寧 沈陽 110001）

0 引言

武器裝備體系貢獻率是我國獨創[1]的概念，用于全面、科學地評估武器裝備在體系中發揮作用的情況，進而指導武器裝備成體系建設，有效提升裝備體系對抗能力。在評估武器裝備體系貢獻率（以下簡稱體系貢獻率）的過程當中，建立評估指標體系是非常關鍵的一環，指標體系選取是否合理，將直接決定評估結論是否科學可用。

國內對體系貢獻率評估指標的研究成果較為豐富。文獻[2]提出了指標體系構建的六點原則，并從體系功能適應性、體系結構優化、作戰能力提升、體系技術進步四個視角構建了多層次的評估指標體系。文獻[3]分析了作戰效果、作戰效率、作戰代價與體系作戰能力之間的定性關系，從增強作戰效果、增強作戰效率和降低作戰代價三個方面構建了武器裝備作戰體系貢獻度評估指標體系。文獻[4]從功能完備、結構合理、有效、先進、經濟、適用6個視角構建了具有通用性和可擴展性的多維度多層次指標體系框架。文獻[5]將能力效能、體系結構、運行機制、型號譜系、經濟成本、支撐技術六項貢獻類型指標和問題階段、評估技術相結合，構建了三維體系貢獻率評估的總體研究框架。

從上述成果中我們發現：①目前體系貢獻率評估指標體系構建主要依靠專家經驗，從不同視角出發構建的指標體系差異較大；②指標體系的層次結構和指標間的關系較為復雜，結構梳理不合理容易導致指標遺漏、指標重復、相關性過大、權重分散等問題；③綜合性指標較多，難以細化、量化。針對評估指標的上述特點，本文提出應用元評估理論對體系貢獻率評估指標體系進行優化。建立由評估到元評估，再由元評估到新的評估的迭代過程，使評估指標選取盡可能完善、準確、客觀。

1 基本理論

基元評估的概念最初是由美國評估理論專家Michael Scriven在1969年的教育產品報告中首次提出[6]，被廣泛應用于教育領域[7]。此后，在政府績效評價[8]、服裝設計[9]、檔案安全[10]、軍事[11]等領域也有所應用。

1.1 內容與作用

“元”作為一個詞綴，最初來自希臘前綴“meta-”，取其對本質探究之意。元評估“meta-evaluation”則是對評估本質的探究。它是元科學的一個分支，是對原評估科學性的評估，即將已有的評估活動作為研究對象，對其評估結構、評估過程、評估結論等方面進行反思式思考，以修正、改進評估活動的過程，具有調整原評估的功能。將元評估理論和方法應用于體系貢獻率評估過程中的指標構建環節，旨在從多個維度檢驗評估指標的科學性并進行反饋修正，以優化完善指標體系。

1.2 設計思路與流程

傳統的元評估主要運用統計方法來估計產生的誤差對評估結果的影響，但元評估所指的偏差并不局限于統計性質。評估主體的心理認知失當，對評估問題的理解差異，以及運用的評估模型、手段等因素都可能造成評估偏差[12]。所以在研究面向體系貢獻率評估指標的元評估方法時，應著眼于評估指標生成過程中偏差來源的多個環節，從多視角進行審視，綜合包含統計在內的多種方法，有針對性地做出評估。實施步驟主要有：①組建元評估專家團隊；②明確元評估目標及內容；③設計元評估量表；④實施元評估；⑤處理分析元評估數據；⑥做出元評估結論。具體流程設計如圖1所示。

圖1 武器裝備體系貢獻率評估指標元評估流程圖

1.3 指標構建與量表設計

元評估的標準是元評估主體進行評估活動的根本依據，決定著評估的實際效果。美國教育評估標準聯合委員會（Joint Committeeon Standards for Educational Evaluation，簡稱JCSEE）從1974年便開始研究元評估標準和量表，經過不斷完善和修正，形成了四個基礎性標準分別是實用性、可行性、合理性和準確性[13]。以兩級指標體系為例，設計量表如表1所示。

表1 元評估量表設計

2 應用

2.1 設置初始指標體系

本文從完善裝備體系建設和提升作戰輸出效果兩個視角出發，分別構建了體系結構貢獻率和體系作戰貢獻率，嘗試綜合描述體系貢獻率評估的各項指標。共擬定了2項一級指標、9項二級指標和28項三級指標，如圖2所示。并采用層次分析法結合專家打分法，根據專家經驗確定一級、二級、三級指標的權重系數分別為：W1=[0.31 0.69]T，W2=[0.062 0.069]T，W3=[0.0372 0.0138]T。以上述指標體系作為初始指標體系，嘗試對其進行評估優化。

圖2 武器裝備體系貢獻率評估指標體系

2.2 設計量表實施評估

共邀請本領域5位專家作為元評估專家實施評估，在對評估指標打分時采用十分制。將評價分為極差、很差、差、不滿意、最低標準線、基本合格、良好、好、很好、非常好十個等級，并依次對應1-10分。專家對各層級評估指標設置情況的評分結果如表2所示。

表2 領域專家對評估指標的評分結果

2.3 處理分析評估數據

2.3.1 認識一致性元評估

由于體系貢獻率的概念及其內涵尚無統一明晰的定義，且專家自身知識結構不同，導致元評估主體存在較大認知差異。為避免個人認知偏差和思維定勢在元評估中出現過強的主觀傾向。首先應對評估主體進行認識一致性評估。這里采用肯德爾和諧系數法。以一級指標“體系結構貢獻率”為例，將專家對實用性、可行性、合理性、準確性的評分結果進行排序（最高分計為1，第二高分計為2……），因可能存在多個相同等級分數，需用校正公式計算肯德爾和諧系數：

式中W為肯德爾和諧系數，K為評估者數量，N為評估對象數量，Rj為第j個對象獲得全部評估者評估等級數之和，t為相同等級分數的個數。上述評估屬于小樣本（K≤20且N≤7），對照“肯德爾和諧系數臨界值表”，若計算值大于等于臨界值時，認為意見一致，否則認為意見不一致[14]。由此得到專家對于“體系結構貢獻率”這一指標評價結果的一致性情況。為檢驗整個評估指標體系的認識一致性，需對全部39項指標進行驗證計算，如果出現不一致，可進一步探究專家意見分歧的原因，專家分歧較大的評估指標往往存在含義不清、描述不準確等問題，應給予充分重視。

2.3.2 指標體系信度元評估

體系貢獻率評估指標眾多且指標體系的層次結構和指標間的關系較為復雜，在元評估過程中，應特別關注指標體系的內部結構情況，以構建獨立性強、內部結構良好、指標關系一致的高信度指標體系為目的。可以采用克朗巴赫系數法進行評估。計算公式為：

式中a為克朗巴赫系數，K為評估指標數量（當評估指標體系包含若干個子指標層時，K為子指標層所含的指標總數），S2i為第i項指標得分的方差，S2t為評價總得分的方差。以評估體系貢獻率評估指標的實用性為例，K值為底層指標數量28，S2t為專家對全部28個指標實用性一項評分總分的方差，為專家對每單項指標實用性一項評分的方差，計算得到a同理可計算出面向可行性、合理性、準確性的a值。其值在0～1之間，越大則信度越高。一般認為，a需達到0.8以上，評估指標信度較好，否則指標需要做調整；當信度低于0.35時，必須予以拒絕。

2.3.3 指標體系效度元評估

評估指標效度是指評估指標可以在多大程度上描述評估對象的特征范疇并反映評估目的[15]。對體系貢獻率評估指標體系進行效度元評估，是為檢驗所設計的指標體系能否全面客觀反映新研裝備對原有裝備體系的貢獻情況。對評估指標效度評定常用內容效度比（CVR）來評價，計算公式為：

式中ne為評估主體中認為某指標很好地表示了評估對象范疇的評估人數；N為評估主體的總人數。以三級指標中“適應現有裝備體系”的合理性指標為例，假設認為滿足十分制等級中“好”（7分）及以上為主體滿意標準，10為專家中打分大于7的專家人數為6人，計算得到CVR=0.2。同理可得到各項指標及各層指標權重的CVR數值。CVR值在-1～1之間，越大則效度越高。當CVR<0時，表示認為該項指標適當的專家人數不足半數，需要修正指標項。

2.4 反饋評估結果

武器裝備體系的組成要素與結構關系本身就十分復雜，要盡可能選取完善、準確的貢獻率評估指標，需要借鑒元評估思路，構建評估反饋回路。將元評估結果以報告形式反饋給評估指標設計人員，進行指標修正，并投入下一輪元評估。經過這樣多次評估，反復迭代，不斷提高評估指標的可信性。

3 結語

在評估武器裝備體系貢獻率的過程中，評估指標選取是非常關鍵的一環，決定著評估結論是否科學可用。將元評估的思想引入體系貢獻率指標選取環節，可充分利用專家經驗，檢驗指標體系的實用性、可行性、合理性和準確性，為指標設計人員提供有針對性的反饋意見，以優化完善指標體系，同時為后續評估工作奠定良好基礎。