科技評價指標權重分類及對評價的影響研究

曾強 俞立平

關鍵詞：科技評價;自然權重;數據分布權重;非線性評價;線性評價

在科技評價中，人們往往都比較重視權重問題。通常意義上的權重是根據主觀或客觀評價方法確定的設計權重.而對于隱含在科技評價指標中的權重問題較少關注。如南京大學CSSCI期刊引文評價.采用他引影響因子和總被引頻次兩個指標進行評價，權重分別為0.8和0.2，假設暫不考慮評價賦權，兩個指標是等權重相加，數據經過標準化處理后，兩個指標的極大值都是100，但是均值并不相等。比如他引影響因子的平均分數為80，總被引頻次的平均分為40，那么在實際評價中，他引影響因子明顯占據比較重要的地位。或者說，從指標數據角度，他引影響因子的實際權重就是0.667.而總被引頻次的實際權重就是0.333.這種由于指標均值差異帶來的權重稱為自然權重。

以上例子是對于線性評價方法而言，其實在非線性評價中，指標隱含權重問題更為復雜。非線性評價方法的特點是評價指標與評價結果之間并非簡單的線性關系，其種類繁多，原理各不相同，比如主成分分析、因子分析、TOPSIS、VIKOR、ELEC.TRE、灰色關聯、DEA效率分析等。為了簡捷起見，暫不考慮非線性評價中賦權問題，也就是說假定非線性評價都是等權重。那么，即使在這種情況下，指標權重真的相等嗎？俞立平等針對這個問題提出了模擬權重的概念.就是對于非線性評價方法，將評價得分與評價指標進行回歸，回歸系數大小實際上就反映了各指標的重要性，將其歸一化處理就是模擬權重，或者稱為實際權重。很明顯即使在不賦權的情況下，非線性評價方法各指標的實際權重也不可能相等.其原因有待深入研究，隱含在科技評價指標中的數據權重問題非常復雜。

在科技評價中.評價指標權重特性對評價產生著較大影響。指標權重特性既包括了標準化后指標數據均值不同帶來的影響.也包括指標數據分布帶來的影響。其中指標均值不同帶來的自然權重某種程度上是可以通過優化數據標準化方法進行修正，在排除自然權重后，剩下的就是指標數據分布對權重的影響。研究評價指標權重特性對線性評價與非線性評價的影響，分析其作用機制，找到消除自然權重的數據標準化方法.進一步總結指標數據分布對實際權重的影響特點和影響大小，不僅可以豐富科技評價方法和技術，減少評價系統誤差，提高評價質量，在實踐上也有利于保證評價的公平、公正，提高評價的公信力。

關于指標數據與權重的關系.學術界從權重與評價方法角度進行了一些研究。邱東認為當采用乘法合成時，權重作用不如加法合成時明顯。覃森等在復雜網絡研究中.采用分配常數的邊權重、服從指數分布的邊權重、節點度乘積函數的邊權重3種權重方式.從靜態與動態加權視角研究了加權網絡強度分布的不同特性。張耀天等提出自適應層次分析法，能夠根據被評價對象在科研評價指標上的數據分布特征，對評價指標的權重進行動態調整.從而在評價過程中充分體現稀缺性指標的導向作用，實現更為合理的績效分配。周楊等設計了一種基于自適應權重的粗糙K均值聚類算法.基于自適應權重的粗糙聚類算法在每一次迭代過程中，根據當前的數據劃分狀態，動態計算每個樣本對于類的權重，降低了原有算法對初始權重的依賴。郭亞軍研究了動態綜合評價中權重與時序數據的“隱式”關系。

關于指標數據分布與評價的關系，Glanzel w、Bornmann L等認為用算術平均值來反映引文的非正態分布的集中趨勢是不合適的.可能歪曲數據的真實分布。Raan V指出過去按照個人經驗，將引文數據看作一個單一平均值的做法，使得評價結果遠高于或低于國際引文影響標準。Seglen PO發現引文分析數據具有冪律分布特征，屬于典型的偏態分布。Adler R等也發現引用數據分布是右偏的，服從冪律法則。胡永宏認為權重發揮作用的大小還取決于評價指標之間相關性的大小以及后面合成所采用的方法.當指標之間相關性較大時，權數幾乎不起什么作用。肖峻等研究了AHP權重的概率分布規律，當判斷矩陣元素為平均分布和正態分布時，所求得的權重均為正態分布。俞立平等認為指標數據偏倚會影響評價指標的數據標準化.指標數據右偏會導致期刊評價值偏低，最好選取數據偏倚情況相對較好的指標來評價期刊平均水平。

從現有的研究看，學術界關于權重問題的相關研究.更多集中在權重確定方法與評價方法中涉及的一些賦權問題，關于指標數據分布對評價的影響，也有少量的研究。在多元統計的早期研究中，由于評價指標均值不同產生的自然權重思想有所涉及，但并沒有進行進一步研究，總體上，關于評價指標數據的權重特性問題學術界尚缺乏研究，在以下幾個方面有待深入：

第一，指標數據對權重的影響有幾種類型？它們對線性評價與非線性評價會產生何種影響？其影響規律與影響特征如何？

第二，如何對由于指標均值不同導致的自然權重進行修正？

第三，如何對指標數據分布對實際權重的影響大小進行評估？這種評估對于評價方法選擇有什么意義？

本文在理論分析的基礎上，以JCR2016數學期刊評價為例，評價方法除了線性評價外，還選取主成分分析與TOPSIS兩種非線性評價方法，并提出一種消除自然權重的數據標準化方法，在自然權重消除前后進行比較，最后得出結論并進行討論。

1指標權重特性分析

1.1指標權重的分類

第一，設計權重。也稱為傳統權重，就是評價時為了管理的需要，通過主觀、客觀或主客觀結合的方法確定的權重。傳統權重體現了評價為管理服務，體現了評價主體的主觀或客觀要求。至于在實際評價中傳統權重有沒有得到很好的體現，體現的程度如何，是個非常復雜的問題。在評價技術層面，努力在評價結果中實現設計權重是重要目標之一。

第二，實際權重。也稱為模擬權重，在非線性評價中表現尤為突出。根據俞立平等提出的回歸模擬權重估計法，用評價結果作為因變量，評價指標作為自變量進行回歸，為了防止多重共線性的影響，回歸方法可能要用嶺回歸或偏最二乘法，回歸系數經標準化處理后就是評價指標的實際權重，它是真正發揮作用的權重。

第三，自然權重。這是由于指標標準化后均值不相等引起的，均值越大的指標，在線性評價中的隱含權重越高，自然權重越大。當然自然權重是可以測度的，其測度方法就是計算標準化后各指標均值占所有均值的比重。如果通過某種標準化方法，使得各指標均值相等，那么自然權重是可以消除的。自然權重問題是隱含的，而且沒有得到應有的重視，在實際評價中，自然權重問題是普遍存在的。

第四，數據分布權重。數據分布權重是一種隱含權重，在非線性評價中表現突出。在等權重非線性評價時，即使解決了自然權重問題，那么通過回歸得到的模擬權重一般也不相等.產生的原因是評價指標數據分布引起的.這里將其稱為數據分布權重。不過指標數據分布權重難以測量，因為情況太復雜了，一切取決于各指標的數據分布，它的存在影響實際權重。數據分布權重是不可以消除的，或者說不能消除，因為改變原始指標的數據分布會嚴重影響評價結果，導致評價偏倚，何況會破壞原始數據包含的大量信息。當然，除非不采用非線性評價方法評價，這是解決數據分布權重的終極方法。

界定以上4種權重后可以發現.通常情況下，實際權重受設計權重、自然權重與數據分布權重的影響，為了進一步分析可以采取逐步排除法，首先通過等權重方法消除設計權重的影響，在進一步消除自然權重后，實際權重就是數據分布權重。

1.2指標權重與評價方法

為了使研究得到簡化，暫不考慮設計權重，在此假設下分析自然權重、數據分布權重與評價方法之間的關系。

多屬性評價方法大致可以分為線性評價與非線性評價兩大類.所謂線性評價，就是傳統的加權匯總類評價方法，如專家賦權法、熵權法、概率權法等;所謂非線性評價，就是采用一定的評價模型進行評價，評價指標與評價值之間是非線性關系，如因子分析、TOPSIS、VIKOR、灰色關聯等。在線性評價中，只有自然權重會對評價產生影響，而在非線性評價中.自然權重和數據分布權重會同時產生影響。

如果采取某種方法能夠消除自然權重，那么非線性評價方法中，就可以單獨評估數據分布權重產生的影響，并對這種影響大小進行綜合評估。

需要說明的是，傳統意義上的評價賦權（設計權重）無論在線性評價與非線性評價中均占據重要地位，只有部分非線性評價方法不需要賦權。為了簡化起見，同時也是為了研究更加深入，本文暫不考慮傳統權重（設計權重）對指標權重的影響，也就是說，無論是線性評價還是非線性評價，均采用等權重進行，這樣可以更好地評估自然權重與數據分布權重的作用及其規律，以及對最終實際權重的影響。

2研究方法與數據

2.1實際權重的測度——偏最小二乘法

評價指標之間往往相關性較高，這樣在回歸時會產生多重共線性.所以采用傳統的最小二乘法進行回歸往往是不可以的。偏最小二乘法（PartialLeast Squares，PLS）是Wold S等提出的.它結合了多元回歸、主成分分析、典型相關分析優點，采用信息綜合與篩選技術，特別適用于解釋變量存在多重共線性、數據數量過少等問題，一般認為比主成分回歸、嶺回歸解決多重共線性更好。

2.2自然權重的消除一動態最大均值逼近標準化

在科技評價中，由于評價指標數據特性，使得即使標準化后各指標的均值也不相等，從而帶來自然權重問題，本文提出動態最大均值逼近標準化方法，如圖3所示，試圖進行修正，主要步驟如下：

第一，確定評價目的、評價原則，選擇評價指標，這里有個基本前提.就是所有評價指標都是結構化數據，不存在半結構化和非結構化數據。

第二，對所有評價指標進行標準化，其方法是所有正向指標除以極大值然后乘以100（以百分制為例），所有反向指標用極大值減去該指標先轉為正向指標，然后視同正向指標再做一次標準化。接著計算各指標標準化后的均值，并找到最大均值K。

動態最大均值逼近標準化方法有4個特點：第一，需要循環標準化多次，是動態的;第二，理論上標準化后指標的均值絕對相等，但極大值會大于100，永遠不可能等于100。理論上它可以無限逼近第一步的極大值，但永遠也無法達到;第三，這是線性標準化方法.不會破壞原始指標的數據分布特征，能保留原始指標的大量信息;第四，容易實現，借助計算機編程，可以非常方便地進行處理。

下面對動態最大均值逼近標準化方法中，每循環一次均值就會增加進行證明。進行二次標準化前，需要增加均值：

本文選擇主成分分析與TOPSIS兩種比較常用的非線性評價方法為例來進行研究，之所以選擇兩種評價方法，是為了提高研究的穩健性，避免單一評價方法研究可能產生的偏倚。此外，主成分分析一般不要給指標賦權.是不加權非線性評價方法的代表，TOPSIS評價方法可以加權，是加權非線性評價方法的代表。當然，本文重點研究評價指標數據的權重特性.為了減少來自評價賦權的影響，TOPSIS評價也不進行賦權，即均不考慮設計權重問題。

2.4研究數據

本文以JCR2016數學期刊為例，選取8個評價指標為例來進行說明，分別是：總被引頻次、影響因子、他引影響因子、影響因子百分位、5年影響因子、特征因子、論文影響分值、即年指標。JCR2016數學期刊共有期刊310種.刪除了部分數據缺失期刊，最后還有294種期刊，指標標準化后數據的描述統計如表1所示。

從標準化后指標均值相差很大，最大的是影響因子百分位47.073，最小的是總被引頻次7.252。從Jaque-Bera正態分布檢驗看.所有指標均不服從正態分布。所以選擇JCR2016數學期刊來研究評價指標的權重特性具有代表性，是比較好的樣本。

3

實證結果

3.1線性評價中數據權重特點

首先對表1中的除了影響因子百分位外的其他7個指標.采用動態最大均值逼近標準化方法進行處理，以消除自然權重的影響，經標準化后，數據的描述統計量如表2所示。

影響因子百分位因其均值最大無需做消除自然權重處理，除該指標外，其余所有指標的極大值均超過100，但小于101，即在最大許可閾值范圍內。離散系數也有所減小，但是偏度和峰度變化不大，偏度和峰度值也非常接近.正態分布檢驗結果相同，均沒有通過正態分布。說明動態最大均值逼近標準化方法能夠消除自然權重，降低指標數據波動程度，但并沒有改變指標數據分布。

為了分析消除自然權重后評價結果的差異，假設采取等權重法進行線性加權匯總，結果如表3所示，由于篇幅所限，本文僅公布消除自然權重后前30種期刊的評價結果對比。消除自然權重后，所有期刊評價值的均值為47.07.即原來標準化后的最大均值，要比消除自然權重前的評價均值17.30大。從評價結果排序看，消除自然權重前后排序相差較大，說明自然權重對線性評價結果影響較大，可見如果不考慮自然權重問題，評價結果相差很大，造成較大的評價系統誤差。

3.2主成分分析消除自然權重前后比較

首先采用原始標準化數據進行主成分分析評價，其KMO檢驗值為0.816，Bartlett檢驗值為3507.662，相伴概率為0.000，說明適合進行主成分分析。第一主成分方差貢獻率為67.82%，第二主成分方差貢獻率為16.86，合計84.68%，采用方差貢獻率加權匯總，得到評價值，然后以評價值為因變量.評價指標為自變量，采用偏最小二乘法進行回歸，結果如表4所示。

類似地，采用消除自然權重后的評價指標進行主成分評價，其KMO檢驗值為0.862，Bartlett檢驗值為3328.847，相伴概率為0.000，說明適合進行主成分分析。第一主成分方差貢獻率為67.20%，第二主成分方差貢獻率為16.99，合計84.19%。以上各參數和消除自然權重前比較接近，說明消除自然權重對這些參數影響不大。繼續采用方差貢獻率加權匯總，得到評價值，然后以評價值為因變量.評價指標為自變量，采用偏最小二成法進行回歸，結果如表5所示。

由于無論消除自然權重與否，均采用兩個主成分進行分析，因此偏最小二乘法的回歸系數取潛在主成分數量為2的結果.將其歸一化處理后得到消除自然權重前后的實際權重.并進行比較.結果如表6所示。

無論自然權重是否消除，主成分分析的實際權重結果基本類似，8個指標權重絕對變化平均值為1.014%，排序也基本相同，只是消除自然權重后總被引頻次與影響因子百分位的排序有微小變化。這充分說明，決定主成分分析實際權重的是數據分布，而自然權重消除與否對其影響不大。

需要說明的是，消除自然權重后由于實際權重畢竟發生了微小的變化.因此對評價結果排序肯定會產生一定的影響，限于篇幅不一一公布了。

3.3 TOPSIS消除自然權重前后的比較

同樣首先將原始指標標準化后采用TOPSIS法進行評價，然后將評價結果作為因變量，評價指標作為自變量，采用偏最小二乘法進行回歸，結果如表7所示。

同樣消除自然權重后采用TOPSIS法進行評價，然后將評價結果作為因變量.評價指標作為自變量，采用偏最小二乘法進行回歸，結果如表8所示。

同樣取潛在因子為2的偏最小二乘法回歸結果進行實際權重的比較分析，結果如表9所示。無論是否消除自然權重.TOPSIS相同指標的實際權重大小雖然有所差別，8個指標絕對權重變化6.131%.但是消除自然權重前后權重大小排序的次序相同，同樣說明決定TOPSIS實際權重的是數據分布，而不是自然權重。

需要說明的是，消除自然權重后由于實際權重畢竟發生了較大變化，因此對評價結果排序肯定會產生影響，限于篇幅不一一公布了。

3.4主成分分析與TOPSIS實際權重的比較

為了比較不同評價方法對實際權重的影響，將消除自然權重后主成分分析與TOPSIS的實際權重結果進行橫向比較，結果如表10所示。在都消除自然權重后，主成分分析與TOPSIS相同指標的實際權重還有差異，8個指標平均權重變化為14.166%.這是非線性評價方法不同帶來的影響。至于兩者權重大小排序也比較接近.這難以從理論上加以證明，有待進一步研究。

4結論與討論

4.1科技評價指標具有隱含權重特性

在科技評價中，由于標準化以后不同指標的均值不等，導致評價指標數據天生就具有自然權重，自然權重是可以測度和消除的。此外不同指標由于數據分布不同也具有數據分布權重，它不可以測度。自然權重與數據分布權重一起.對評價產生隱含的影響，可能會導致評價結果偏離管理需求，產生誤差。此外，實際權重也是一種隱含權重，它是非線性評價中各指標重要性的真實體現，實際權重受設計權重、自然權重、數據分布權重的綜合影響。

4.2動態最大均值標準化方法能夠消除自然權重

本文提出的動態最大均值標準化方法通過多次標準化逼近的原理，使得標準化后指標的均值相等，極大值控制在允許的閾值范圍內。由于是一種線性變換，因此不會改變原指標的數據分布，可以保留原始數據中蘊含的大量信息.同時降低了評價指標的離散系數，因此是一種較好的消除自然權重的方法。

4.3自然權重影響線性評價結果

在線性加權匯總評價中，由于自然權重的存在，它會影響評價結果.并且標準化后評價指標的均值相差越大，它對評價結果的影響越大，必須進行消除，以提高評價的精確性。數據分布對線性評價沒有影響，因為評價時不存在非線性運算。

4.4數據分布權重對非線性評價影響較大

本文通過主成分分析和TOPSIS評價的實際權重比較表明，數據分布權重是影響非線性評價實際權重的主要因素，自然權重對非線性評價的實際權重影響較小。不同非線性評價方法也會影響實際權重，至于具體的影響特征.可以根據本文的方法進行進一步的研究。

4.5數據分布權重對評價方法的選擇具有深遠的影響

在消除自然權重后，決定非線性評價結果的主要是數據分布權重和評價方法.數據分布權重一般是不宜消除的，因為會破壞原始指標中的大量信息，在這種情況下，如果某種評價方法的實際權重中，由于數據分布的影響，導致不同指標的權重相差較大，此時就要冷靜分析是否應該選取這種評價方法，要看權重大小是否符合管理實際，是否符合評價目的。而線性評價方法在消除自然權重后，反而沒有相關問題，從這個角度，線性評價方法更為合理。

4.6設計權重與實際權重力求一致是選擇評價方法的重要依據

設計權重體現了評價目的和管理要求，而實際權重是檢驗具體評價是否達到設計權重的重要手段。由于數據分布權重對線性評價方法沒有影響，在消除自然權重后，線性評價的設計權重和實際權重完全一致，從這個角度，線性評價方法具有天然的優勢。