多屬性學術評價方法的質量診斷問題研究

關鍵詞：學術評價；多屬性評價；質量診斷；指標體系；復合評價；組合評價

多屬性學術評價方法在評價實務中占據十分重要的地位。目前政府組織的多數相關評價以及第三方進行的有影響力的學術評價均采用基于指標體系的多屬性學術評價方法。如國家級人才評價、教育部組織的學科評價、主流的大學評價、學術期刊評價等。實際上，多屬性學術評價方法已經成為我國的學術評價默認方法，盡管不同評價方法的技術細節相差較大。

不同多屬性學術評價方法結果各不相同，所以對評價方法進行質量診斷非常重要。質量診斷早期以產品質量、工序質量為主，將其理論與方法移植到多屬性學術評價中同樣具有較大的現實意義。多屬性學術評價方法也稱為指標體系學術評價方法，從方法層面涉及的內容較多，包括權重賦值、標準化方法、評價方法等，均屬于方法范疇。如果多屬性學術評價方法選擇錯誤、應用不合理，會影響評價結果質量，嚴重時會導致評價失敗，浪費大量的人力、物力和財力。此外，學術評價往往具有較大的社會影響，如果不注重評價方法的科學性、合理性，評價結果就沒有公信力。

開展多屬性學術評價方法質量診斷具有重要意義。在理論上，目前尚缺乏將質量控制與質量診斷理論應用到學術評價的系統性研究，且該領域的研究尚處于萌芽期。開展相關研究有利于完善科學計量學、信息計量學、文獻計量學、知識計量學、替代計量學等理論，同日寸豐富多元統計的質量診斷理論與方法。在實踐上，有利于優化學術評價方法，提高學術評價的科學性與評價結果的準確性，從而提高學術評價的公信力。

1文獻綜述

質量診斷與質量控制理論最早主要應用于工業生產、產品制造等物化領域，后來慢慢應用到管理工作中。質量管理大師Juran J將質量保證活動概括為3類，即質量計劃，質量控制和質量改進。趙姝淳提出，需要對高校教育質量目標和計劃實施過程進行診斷，找到問題和原因，以保證教育質量。王亞盛總結了EFQM質量管理體系的理念與原則，并應用在高職院校教學質量診斷中。

關于質量診斷方法，許多集中在產品生產技術層面，只有極少數研究涉及多屬性評價的質量控制問題。Montgomery D指出，多元統計的質量控制問題非常重要，如果不考慮過程變量之間的關系，用一元統計控制圖對多質量特性的過程進行監控，很大可能會失效。耿修林分析了基于主成分分析的多元質量控制圖的構造，并結合企業數據進行了案例分析。宋華明等應用集成學習方法和控制圖來解決多元統計過程控制中的質量診斷問題。

目前，多屬性學術評價方法的質量診斷問題剛剛起步，缺乏全面系統的深入研究。關于工序質量控制的方法和技術為多屬性學術評價方法的質量診斷提供了一定的分析思路，但缺乏研究。多元統計的質量診斷問題主要集中在基礎研究，而學術評價是應用基礎研究，所以僅從基礎研究層面討論是嚴重不夠的。因此，本文在對多屬性學術評價方法進行分類的基礎上，分析評價方法對評價結果的影響機制，建立質量診斷分析框架和質量診斷評估體系，對其中的一些特殊問題進行討論，試圖建構一套學術評價方法質量診斷的理論框架，提出工作路徑。

2多屬性學術評價方法對評價結果的影響機制研究

2.1多屬性學術評價方法分類

多屬性學術評價方法包括狹義的評價方法與廣義的評價方法。狹義的評價方法主要是指標歸集匯總方法，廣義的學術評價方法還包括賦權方法。本文討論以狹義的評價方法為主，兼顧權重賦值。評價方法分類體系如圖1所示。

根據評價工作的主、客觀性可以分為主觀評價方法與客觀評價方法。主觀評價方法是在評價中包含了人為因素，比如專家賦權。客觀評價方法是指整個評價全部由客觀數據決定，人工只負責計算，但實際上，嚴格意義上講并沒有完全客觀的評價方法，因為客觀評價方法的選取也是人為的，盡管評價方法是客觀的。

根據評價結果與評價指標的關系以及評價方法的種類，可以分為線性評價方法、非線性評價方法、組合評價方法。線性評價方法是對評價指標進行加權匯總得到評價結果，如線性加權匯總方法：非線性評價方法是基于一定的數學模型進行評價，評價結果與評價指標之間是非線性關系，如DEA效率分析、TOPSIS、主成分分析等。無論是線性評價方法還是非線性評價方法，都是一種單一的評價方法，復合評價方法是將數種單一評價方法整合為一種評價方法：組合評價方法是將數種單一評價方法的評價結果根據一定的方法進行組合，得到評價結果，是一種相對復雜的評價方法。

2.2多屬性評價方法對評價結果的影響

多屬性評價方法大致分為指標選取、數據標準化、權重賦值、方法選取、計算分析，最后得到評價結果。從狹義的評價方法角度，某種具體的方法對應唯一的評價結果，選擇的評價方法不同，評價結果也不相同，所以評價方法發揮著重要的作用。從廣義的評價方法角度，權重賦值方法不同，評價方法選取不同，評價結果不同，是權重賦值方法與評價方法共同決定評價結果，如圖2所示。

影響評價結果的不僅僅是評價方法，還有數據質量、標準化方法等，因此對評價結果的分析要全面系統，不能簡單只從評價方法角度尋找原因。

2.3多屬性學術評價方法診斷的必要性

由于評價方法對多屬性學術評價結果的影響很大，如果方法選擇錯誤、方法誤用，就會導致評價結果錯誤，從而降低了多屬性學術評價的科學性與公信力。實際上，多屬性學術評價方法質量診斷問題較少得到關注，而評價方法眾多，評價者許多對評價方法的技術細節了解不夠，已經成為多屬性學術評價質量的重大隱含問題，所以加強多屬性學術評價方法的質量診斷研究，將這項工作列為常規的工作程序，成為迫在眉睫的任務。

3多屬性學術評價方法的質量診斷

3.1學術評價方法質量診斷框架

多屬性學術評價方法質量診斷框架如圖3所示。包括初次診斷與二次診斷兩個步驟，初次診斷主要包括方法適用性、方法自身技術；二次診斷包括評價結果統計特征、評價結果合理性、權重合理性等。

實際上，許多權重賦值或評價方法在具體應用時尚有一些技術細節，還有一些可變的選項，比如因子分析中的矩陣旋轉方法就有多種，因此并非權重賦值與評價方法確定，評價結果就唯一了。

3.2初次評價方法診斷

3.2.1方法適用性診斷

方法適用性診斷就是對某種評價方法的特點和應用場景的適用性進行診斷。這種診斷其實是非常困難的，比如線性加權匯總方法總體上強調不同指標之間是互補的，可以無限替代，在學術評價中，如果科研質量指標是非常關鍵的，不能簡單用其他指標替代，或者只能部分替代，此時就不能采用線性加權匯總方法，用乘法合成會更好。因子分析評價適用于評價指標高度相關的場合，比如在科技評價中，如果采用科技投入、科技產出和成果轉化3個一級指標進行評價，但由于某種原因評價對象的成果轉化工作普遍不好，那么成果轉化與科技投入、科技產出之間的相關度就不高，此時就不適宜采用因子分析法進行評價。

3.2.2方法自身技術

包括方法應用檢驗、方法正確性檢驗、最新優化方法應用檢驗3個部分。

第一，方法應用檢驗。一些評價方法，有應用的前置條件或合適性檢驗，比如對于主成分與因子分析，需要進行KMO檢驗與Bartlett檢驗，看看是否符合方法應用的前置條件。對于層次分析法AHP，需要進行排序一致性CR檢驗，看賦權邏輯是否能自圓其說。目前大多數多屬性評價方法，并沒有相關檢驗方法。

第二，方法正確性檢驗。此檢驗是看方法應用是否正確，有無錯誤。一些多屬性評價方法比較復雜，技術要求高，模型龐大。比如DEA效率分析，其模型有上千個，如果用于學術評價，一定要根據評價實際選取相應的模型，并設置好相應參數。在具體軟件操作時，一定要充分了解并注意設置好各種選項，確保軟件運行結果正確。

第三，最新優化方法應用檢驗。學術評價方法是在不斷發展的，一定要注意最新成果的應用。任何評價方法都不是盡善盡美的，總在不斷優化中。要關注所選學術評價方法的最優成果，看看該方法的不足和弱點是什么？現有優化方案解決了哪些問題？這些改進對現有評價有沒有啟示？這樣可以確保評價方法的先進性，也便于改進傳統方法的問題。當然如果一些優化和改進對學術評價影響不大，則輕易不要采用，畢竟尊重權威的方法還是有意義的。

3.3二次評價方法診斷

3.3.1權重合理性診斷

權重合理性診斷是從廣義的多屬性評價方法角度出發的。權重與評價指標是對應的，權重的合理性也是一種主觀診斷方法。不管任何多屬性評價方法，如果權重不合理，比如不符合國家政策導向，不符合評價目的，不符合管理需求，那說明權重賦值本身就值得商榷。權重的本質就是指標的重要性，而這種重要性具有很強的主觀能動性，不是任何客觀評價方法可以左右的。

權重診斷路徑如圖4所示。對于線性多屬性評價方法，不管其賦權方法如何，總有權重，那么可以直接進行權重合理性診斷。對于非線性評價方法，又區分為需要賦權和不需要賦權兩種情況，對于需要賦權的非線性評價方法，也是可以直接進行權重診斷的。

非線性評價方法的賦權包括無需賦權和需要賦權兩種。對于無需賦權的非線性評價方法，可以采用模擬權重進行賦權。模擬權重由俞立平等首次提出，其基本原理是將評價結果作為因變量，評價指標作為自變量進行回歸，再將回歸系數進行歸一化處理。其中，要考慮指標眾多導致的多重共線性問題，可以采用嶺回歸、偏最小二乘回歸、主成分回歸等手段。由于模擬權重計算是在評價結果獲取以后，所以將權重診斷放在二次診斷環節。

對于需要賦權的非線性評價方法，權重僅是一種中間手段，而模擬權重是最終指標重要性的反映，所以更能說明問題。實際上對于需要賦權的非線性評價方法，存在兩輪權重檢驗，一是原來的權重檢驗，二是模擬權重檢驗。以加權TOPSIS評價法為例，這是一種非線性賦權評價方法，評價權重僅僅是一種中間結果，最終反映指標重要性的是模擬權重，其合理性更加重要。

3.3.2評價結果的統計特征診斷

評價結果的統計特征診斷包括評價結果的數據分布和區分度兩個方面，主要體現評價結果是否滿足實際學術評價的統計需求。

第一，評價結果的數據分布。研究希望評價結果能夠服從正態分布，盡管學術評價指標尤其是文獻計量指標并不服從正態分布，但采用多屬性評價方法，尤其是非線性評價方法，會改善這種情況。評價結果越接近正態分布，一般認為這種情況展示性越好。可采用Jaque-Bera檢驗值確定。JB統計量如式（1）所示：

第二，評價結果的區分度。可采用離散系數來進行相應測度，離散系數越大，說明評價結果的區分度越好。

3.3.3評價結果的合理性診斷

包括排序合理性診斷與評價結果相關性診斷兩個方面。評價結果的排序合理診斷主要看評價結果的排序是否符合人們的預期，比如通常情況下，清華大學與北京大學的科研總體水平應該排在全國高校的前兩位，如果某種評價結果將這兩所高校的排名排在前兩名之外，一般來說一定存在評價問題。評價結果相關性診斷主要看評價結果與其他可比評價結果或相關指標的相關系數是否符合預期，比如基于中國知網數據進行學術期刊評價，可以將評價結果與中國知網的CI指數進行回歸，一般相關系數不宜低于0.70。

需要特別注意的是，評價結果的影響因素眾多，不單是評價方法導致，如圖5所示。指標數據質量、標準化方法、權重賦值方法、評價方法選擇與應用等均會影響評價結果。所以一定要排除其他環節可能存在的問題，在保證其他環節沒有問題的情況下，那么評價結果異常的原因就可以集中到評價方法上。

3.4評價方法診斷指標體系

為了便于給多屬性評價方法的診斷進行打分，建立如表1的診斷指標體系。指標體系建立框架從方法選擇、方法檢驗、權重、評價結果等方面綜合體現，即圖3的框架。根據相關一級指標和二級指標進行打分，最后根據權重進行加權匯總，就得到評價方法的總體診斷得分。各診斷指標的權重通過專家會議法確定，邀請了情報學、統計學、管理科學領域的7名專家進行了3輪賦權，最終權重結果得到了公認。指標打分采取百分制。如果評價總分低于70，一般說明評價方法診斷效果較低，需要慎重處理。

3.5評價方法診斷結果的處理方式

多屬性評價方法診斷，一定是面向現有評價方法的，如果經過上述流程的所有診斷，就能確定評價方法存在的問題。對于線性評價方法，由于其相對簡單，因此重點是圍繞權重設置進行優化。對于非線性評價方法，要針對權重設置與評價方法進行全方位檢查與優化，然后再重新進行評價方法診斷。經過數輪處理，如果還是無法通過評價方法檢驗，那么就要更換評價方法，重新評價，并重新進行評價方法檢驗，如圖6所示。

4討論

4.1復合評價與組合評價方法診斷問題

復合評價方法是將幾種單一的多屬性評價方法進行一定的再創作，變成一種評價方法，再進行評價。如采用熵權TOPSIS評價學術期刊，就是將熵權法與TOPSIS法結合，在賦權時采用熵權法，再采用加權TOPSIS進行評價。

組合評價方法是采用幾種單一的評價方法分別進行評價，然后將評價結果按照一定的方法進行組合，最后得到評價結果。比如同時采用熵權法、主成分分析、TOPSIS、CRITIC進行學術期刊評價，得到4種評價結果，然后再采用Borda法進行組合，得到評價結果。

復合評價與組合評價的共性包括3點：第一是評價流程完備，畢竟是多屬性評價方法，其評價流程大同小異；第二是評價方法多種，至少兩種多屬性評價方法參與評價起步，多則數種，但組合評價方法用到的單一多屬性評價方法會更多：第三是評價結果復雜，畢竟是數種方法的結果。

此外，對于組合評價方法而言，組合方法眾多，如果將單一多屬性評價方法的評價結果作為評價指標，那么所有的多屬性評價方法都可以用來作為組合方法，所以組合方法選擇缺乏唯一性，評價結果就更復雜，如圖7所示。

基于以上情況，不建議采用組合評價方法，并且要慎重采用復合評價方法。復合評價方法相對而言單一多屬性評價方法少一點，評價方法診斷盡管復雜，也相對容易一點。

4.2純客觀評價方法的結果合理性診斷問題

純客觀評價方法的結果合理性問題其實在學術界經過了長期的討論，但迄今尚未達成共識。純客觀評價方法就是完全依賴客觀數據進行評價的方法，包括權重賦值客觀、評價方法客觀等。相對主觀評價方法而言，特別是主觀權重賦值不具有唯一性，導致評價結果并非唯一的，純客觀評價方法至少在這一點上具有唯一性和科學性。

評價是一個價值與倫理問題，而非純技術問題。學術評價工作畢竟是一項管理工作，評價的本質也是主觀的，這就導致純客觀評價方法本身就不具有管理與評價基礎。所以對于純客觀評價方法而言，有必要進行主客觀診斷，如圖8所示。也就是說，對于純客觀評價方法而言，既要進行主觀診斷方法為主的權重合理性和評價結果合理性診斷，也要進行客觀診斷方法為主的方法合適性、方法自身技術、結果統計特征診斷。

5研究結論

5.1必須重視評價方法診斷并將其納入評價日常工作

學術評價方法以指標體系多屬性評價為主，廣義的評價方法包括權重賦值方法與結果計算方法，對評價結果影響巨大。如何分離出數據處理、標準化、權重賦值、評價方法各部分的影響本身也比較復雜，如果不進行系統的評價方法診斷很難找出評價方法存在的問題，從而影響評價質量，而目前學術評價方法診斷的研究總體上尚處于起步階段。在這樣的背景下，重視學術評價方法的質量診斷，研究其理論與方法，并將其融人日常評價工作至關重要。

5.2應建立主客觀相結合的評價方法診斷路徑

從客觀角度，評價方法診斷包括方法適用性、方法正確性、評價結果統計特征；從主觀角度，診斷方法包括評價權重或模擬權重的合理性、評價結果的合理性。可采用評價方法診斷指標體系對多屬性學術評價方法進行打分，如果分值低于0.8，在無法優化評價方法的情況下就要選擇更換評價方法。這里需要強調一下主觀診斷的重要性，畢竟評價的本質含義是“對人對事物的看法”，天生具有主觀特性，而權重的本質含義是“重要性”，也是主觀的，因此對任何評價方法進行主觀診斷，不僅是可行的，也是必須的。

5.3建議取消組合評價慎用復合評價

組合評價與復合評價涉及的評價方法眾多，評價結果復雜，并且組合評價方法的組合方法眾多，因此對于組合評價，很難進行有效的評價方法診斷，對于復合評價，評價方法診斷也容易失效，所以對于這兩類評價方法的應用要客觀對待，建議一般情況下不宜采用組合評價方法進行學術評價，對于復合評價方法，也要慎重選取。

5.4注重加強主觀評價方法的規范性

主觀評價方法的技術性相對較弱，權重賦值是其關鍵環節，其他包括標準化方法以及加權匯總方法等。在評價方法診斷時，一定要重視同行評議專家遴選的廣泛性、代表性和規范性，在權重賦值時一定要注意賦值方法與賦權流程的規范性和嚴謹性，以努力保證主觀評價方法的穩定性。

5.5將評價方法診斷思想前移到評價過程中有利于提高評價質量

在學術評價中，如果在評價結果初步完成時進行評價方法診斷，固然有利于反思評價，找出問題，優化評價方法，但如果一開始就將相關思想融人到評價工作的各環節中，有助于改進學術評價各環節的質量，同時減少后期評價方法診斷的工作量，對于整個評價工作質量提高更是大有裨益。