航空發動機研發能力建設項目后評價指標體系

徐春榮

(北京航空航天大學 經濟管理學院，北京100191)

任文婧

(北京航空航天大學 中法工程師學院，北京100191)

周 泓

(北京航空航天大學 經濟管理學院，北京100191)

航空發動機是關系國家安全和國民經濟發展的戰略性產業，而航空發動機研發能力建設項目旨在發展和改善航空發動機研制生產的保障，近年來國家在這一方面的投入力度越來越大.為了強化投資效益，確保有效提高我國航空發動機研發能力，在建設項目竣工驗收后全面系統地進行后評價對于總結項目成果和積累經驗教訓具有十分重要的意義.在我國，項目評價工作處于探索階段，評價經驗不足，針對航空發動機相關項目的后評價主要集中在技術方面，且多以專家集體討論的方式為主，后評價體系并不完善.而參照航空武器裝備項目評價，國內外的研究大多集中在項目預研階段，其中又以風險評估居多，其次是技術評估和效能評估.在近年的相關研究中，侯金曄等人提出了航空武器裝備項目過程評估指標體系構建方法[1]，殷旭東等人提出了武器裝備動員能力評價的指標體系構建方法[2]，但針對航空發動機產業的項目后評價研究仍幾乎空白.

為了對航空發動機研發能力建設項目進行更科學合理的后評價，本文通過兩階段過程來建立一套適用于航空發動機研發能力建設項目后評價的指標體系.即，首先通過借鑒一般項目后評價指標體系結構，并通過專家訪談調查，建立一個初步的后評價指標體系;在此基礎上，以指標精煉性、數據可獲得性和實踐可行性為原則，對初選指標進行優選.優選過程中，采用群組決策最大特征根法(GEM，Group Eigenvalue Method)對第一階段結果進行初步篩選，然后進行評價指標的相關性分析篩選和鑒別能力篩選，最后得到優選的指標體系.

1 后評價指標體系初選

根據航空發動機研發能力建設項目具體特征[3]，以項目后評價指標體系設計理論[4－5]和一般原則[6]為指導，并結合專家訪談，初步提出一套針對性的評價指標體系.如表1所示.

表1 航空發動機研發建設項目后評價指標體系(初選)Table 1 Post-evaluation index system for aero-engine R＆D capacity building projects(primary)

2 后評價指標體系優選

由于后評價指標體系的初選更注重全面性、系統整體性、以及專家經驗，并沒有充分考慮各指標的重要性差異、鑒別能力以及指標之間的關聯性，因此需要進一步優化.優化內容主要檢測具體指標的可行性、可靠性、科學性、關聯性、協調性、冗余度等方面.目前常用的優選方法有因子分析法[7]、聚類分析，以及以德爾菲法為代表的專家調查法等.根據對項目特點和初選指標體系的具體分析，本文采用基于李克特量表的專家調查法獲取評分數據，并結合GEM和多種統計學方法來優化指標體系.

2.1 問卷調查統計

本文采用調查問卷的形式對航空發動機研制、生產和項目管理領域的相關專家進行調查，給表1中的34個指標打分.為更好地體現各指標要素的重要性，設計了5級順序的李克特量表，1=很不重要，2=不重要，3=一般重要，4=重要，5=非常重要.此外，為保證調查結果的質量和權威性，問卷設計時考慮了專家知識水平，即同時調查專家職稱、職位、學歷以及工作年限等，盡量保證專家知識水平具有一定的權威性，且各專家水平接近，否則就要考慮賦以專家權重.本次問卷調查共收回37份有效答卷.限于篇幅，部分統計結果如表2所示.

表2 專家調查問卷統計結果Table 2 Statistical results of the expert survey

2.2 基于群組決策最大特征根法的指標初篩

群組決策最大特征根法(GEM)是在層次分析法(AHP)的基礎上演變而來的[8].該方法克服了AHP算法判斷矩陣出現不一致的問題，GEM方法中，各受訪專家只需要按傳統方式對指標打分，就能夠得出群體對于目標的最優排序結果，即可用來篩選初選得出的各指標的重要性，去除重要性微小的指標，以達到指標精簡的目的.

2.2.1 GEM 計算的一般步驟

1)由m個專家直接對n個被評單位進行打分，得到評分矩陣

其中，xij(i=1，2，…，m;j=1，2，…，n)為第 i個專家Si對應第j個被評目標Pj的評分值.

2)計算矩陣F=XTX，求取F的最大特征根及其對應的特征向量.

3)若計算出的最大特征根為單根，則該特征根所對應的特征向量，即為要求的評價指標的權向量;若得出的最大特征根為重根，應同時解出其特征向量空間，此時認為該特征向量空間所對應的評價對象具有同等的重要性，即排名并列.而對于其他評價對象，需要根據與第二最大特征根所對應的特征向量來排名(或在原評分矩陣中，剔除并列排名的評價對象的相應分值，重建一個新的評分矩陣，然后用同樣的方法再進行評判)[9].

2.2.2 指標體系的GEM計算步驟

在本研究中，共有34個被評價指標，37位專家的有效評分，所以構建的評分矩陣是37×34維矩陣.以下應用Matlab求解.

1)計算矩陣的最大特征值.得到矩陣的最大特征值是單根，為λ=18851.9803.對應的特征向量為

2)對所得特征向量進行歸一化.得

經研究分析，歸一化處理后的因素重要性平均值為0.02941，上下波動40%左右.再仔細分析各指標意義，最終取平均值的85%，即0.025為臨界值，去掉重要性在0.025以下的6個指標，即剔除項目管理工具使用效率(C53)，社會經濟推動效果(C72)，研發技術人員職稱及學歷水平(C62)，產業貢獻度(C74)，管理和文化創新性(C64)，以及技術成果影響性(C35).余下28個指標.

2.3 基于Pearson算法的指標相關性分析篩選

評價指標體系在經過群組決策特征根法(GEM)的初篩之后，保留的指標之間往往仍具有一定程度的關聯性.然而根據指標的差異性原則要求，指標之間的相關性不能過大，否則會導致重復使用評價對象信息的現象，從而違背了評價指標的合理性和科學性.

2.3.1 相關性分析的計算步驟

本文采用一種研究指標關聯程度時常用統計學方法，即相關性分析.基本步驟如下[10]:

1)指標數據的無量綱化處理.

由于各個評價指標的評價方面不同，其量綱也往往不同，不利于進行分析，所以必須先進行無量綱化處理.記yi和s分別為評價指標數據及其標準差，則無量綱化公式為

2)求取各指標之間相關系數:

3)設定臨界值M.

在計算評價指標相關系數之前應先設定一個絕對值大于0小于1的臨界值.如果T＜M，兩個指標相關性較小，予以保留;如果T＞M，則兩個指標相關性較大，應刪除其中一個與其他指標相關性比較大的指標，或者分析合并.

2.3.2 指標體系的相關性分析篩選

表3 指標體系的相關性系數Table 3 Correlation coefficients of the index system

可見，該航空發動機研發能力建設項目后評價指標體系在經群組決策最大特征根方法篩選之后，大部分指標之間的相關性小于所設臨界值，即指標間相關度不大，而立項決策程序規范性(C11)和立項審批程序規范性(C12)、預算調整頻率(C42)和費用偏差百分比(C43)、以及項目管理體系的合理性(C52)和項目管理規劃能力(C54)這3對指標的相關度超過了預先設定的臨界值，屬于強烈關聯指標，需要進一步篩選.

對比發現，C11和C12，C42和C43各自與其他指標的關聯度相差不多，再通過分析各指標的具體意義、項目評價要求以及專家的反饋意見，決定將C11和C12整合為新的指標C11“立項決策和審批程序的規范性”.同樣C42和C43整合為新C42“經費調整頻率及偏差百分比”.至于C52和C54這對指標，C52與其他指標的關聯度明顯強烈于C54，因此決定剔除C52，只保留C54.

經過整理后，新的指標體系有25個有效指標，再以同樣的步驟進行相關性分析，即用SPSS再次執行Pearson運算，本次得到的相關系數全部小于臨界值0.78，說明篩選后的指標體系中，各指標之間的關聯性不高，基本符合要求.

2.4 評價指標鑒別能力篩選

評價指標鑒別能力是指標識別被評價對象特征差異性的能力.在對評價指標相關性篩選時，除了遵循相關性分析的原則外，通常還要檢驗指標的鑒別能力，保留鑒別能力強的指標，以提高評價結果的差異性.

2.4.1 基于變差系數的指標鑒別能力篩選方法

在實際應用中，變差系數常被用來識別指標的鑒別能力.計算公式為，其中，為各指標的平均值;為各指標的標準差.

如果某個指標的分數一直較低或者一直較高，則說明該指標的鑒別能力偏弱，反之，則說明指標具有較強的鑒別能力.

2.4.2 指標體系鑒別能力篩選

本文的指標篩選是專家打分得到的，所以變差系數較小就存在2種情況:①眾多專家對某一項指標都打分比較高;②眾多專家對某一項指標都打分比較低.因為已經使用群組決策特征根法將打分比較低的指標篩選掉，所以變差系數較小的指標反而是應該選擇的.那些變差系數較大的指標因為專家意見不統一性太強，故可以刪除[11].

后評價指標體系的鑒別能力分析仍采用SPSS軟件來計算，結果如表4所示.

表4 指標體系的鑒別能力分析Table 4 Resolution capability analysis of the index system

根據計算結果，25個指標中，變差系數最大的是C83的0.276 064，可見，篩選后的航空發動機研發能力建設項目后評價指標體系中不存在鑒別能力過低的指標，整體指標鑒別能力表現良好.

3 評價指標體系的確立

在已明確航空發動機研發能力建設項目后評價工作的構成要素的基礎上，通過建立航空發動機研發能力建設項目后評價初選指標體系，運用群組決策最大特征根法來篩選初選指標，同時通過評價指標相關性分析和指標鑒別能力分析，并綜合考慮數據的可獲取性，最終確立了一套航空發動機研發能力建設項目后評價指標體系，如表5所示.

優選后的航空發動機研發能力建設項目后評價指標體系保持了8個一級指標，余有25個二級指標，其中項目執行程度以及項目可持續性指標全部保留，而綜合管理類指標變動較大.結合項目實際情況、研發能力建設項目的重點目標以及航空發動機產業中管理科學的應用情況，優選后的后評價指標體系結果基本科學、合理，適用于航空發動機研發能力建設項目的特點，并在項目后評價中得到了應用.

表5 航空發動機研發建設項目后評價指標體系(優選)Table 5 Post-evaluation index system for aero-engine R＆D capacity building projects(optimized)

4 結束語

本文通過專家問卷調查法，針對航空發動機研發能力建設項目后評價指標體系的優化問題獲取了37份有效問卷，并通過群組決策最大特征根法將后評價指標體系的篩選剔除7項二級指標，整合4項指標為2項，從而使原先34個指標精簡為25個，在保證了指標體系的全面性和系統性的基礎上，又檢驗了指標的獨立性、可測性和可比性，最終得到了科學合理的航空發動機研發能力建設項目后評價指標體系.優化后的指標體系具有較好的實際應用價值，對于構建航空發動機研發能力建設項目后評價模型具有重要意義.

References)

[1]侯金曄，白思俊，郭云濤.航空武器裝備項目過程評估指標體系的構建[J].航空制造技術，2008(1):90－91

Hou Jinye，Bai Sijun，Guo Yuntao.Constitution of process evaluation index system for aerial weapon equipment project[J].Aeronautical Manufacturing Technology，2008(1):90 － 91(in Chinese)

[2]殷旭東，汪恩華.武器裝備動員能力評價的指標體系構建[J].統計與決策，2008(1):43 －44

Yin Xudong，Wang Enhua.Construction of index system for evaluation of weapon equipment mobilization ability[J].Statistics and Decision，2008(1):43 －44(in Chinese)

[3]張欽，周德群.國防科技工業創新型企業評價研究[M].北京:科學出版社，2011

Zhang Qin，Zhou Dequn.Study on evaluation of innovative enterprises in the national defense industry[M].Beijing:Science Press，2011(in Chinese)

[4]蘇為華.多指標綜合評價理論與方法問題研究[D].廈門:廈門大學，2000

Su Weihua.Research on theory and method of multi index comprehensive evaluation[D].Xiamen:Xiamen University，2000(in Chinese)

[5]Geisler E.The metrics of science and technology[M].New York:Greenwood Press，2000

[6]鮑玉昆，張金隆，孫福全，等.基于SMART準則的科技項目評標指標體系結構模型設計[J].科學學與科學技術管理，2003(2):46－48

Bao Yukun，Zhang Jinlong，Sun Fuquan，et al.Design on smartbased s＆t evaluation indicators system with three-layer classified structure[J].Science of Science and Management of S ＆ T，2003(2):46－48(in Chinese)

[7]侯金曄.航空武器裝備項目過程評估研究[D].西安:西北工業大學，2007:27－28

Hou Jinye.Research on process evaluation for aerial weapon equipment project[D].Xi’an:Northwestern Polytechinical University，2007:27 －28(in Chinese)

[8]邱苑華.群組決策特征根法[J].應用數學和力學，1997(11):1027－1028

Qiu Wanhua.An enginvalue method on group decision[J].Applied Mathematics and Mechanics，1997(11):1027 － 1028(in Chinese)

[9]吳堅，梁昌勇，李績才.群決策中專家決策意見的可靠性研究[J].合肥工業大學學報:自然科學版，2009，32(3):366 －367

Wu Jian，Liang Changyong，Li Jicai.Study on the reliability of group agreement under group decision making[J].Journal of Hefei University of Technology:Natural Science，2009，32(3):366－367(in Chinese)

[10]吳雷.裝備制造業企業持續創新能力評價:以黑龍江省為例[M].北京:經濟科學出版社，2011:83－85

Wu Lei.Evaluation of innovation capability for equipment manufacturing enterprises:taking heilongjiang province as an example[M].Beijing:Economic Science Press，2011:83 － 85(in Chinese)

[11]姜喜龍.國防工業企業自主創新能力體系構建與對策研究[D].哈爾濱:哈爾濱工程大學，2007:65－66

Jiang Xilong.Research on the construction of the defense industry enterprise s independent innovation ability system and corresponding countermeasures[D].Harbin:Harbin Engineering U-niversity，2007:65 －66(in Chinese)