學術評價:理想與現實之間的優化選擇

摘要：開展人文社科學術成果評價是對人們探索真理過程的再認識，但在評價目標的理想完美性與現實可行性之間必然要進行一種優化選擇。基于這一基本思路，在進行人文社科論文指標體系優化設置的過程中，應當遵循“體現學術共同體的共識性認知”、“同行評議為主，文獻計量為補充”、“堅持質量為本的評估導向”三項基本原則，不斷完善評估指標體系的設置，改進實施策略，尋求較為科學可行的評估方式和手段，以獲取更為客觀、可用的評估結果，為人文社會科學的科研管理與學術研究提供有價值的參考依據。

關鍵詞：人文社科；論文評估；指標體系；同行評議

中圖分類號：G311 文獻標識碼：Ａ 文章編號：１００３－８５４Ｘ（２０11）11－０124－０6

學術成果評估工作能夠為科研管理和學術研究提供有價值的參考依據，對促進科學進步和社會發展具有重要意義。但要獲取較為客觀、可用的評估結果，就需構建一套較為科學、可行的評估指標體系。對于人文社會科學論文而言，由于類型多樣、價值顯現周期較長、轉化應用方式模糊等原因，加之評估者的認知能力與技術發展的局限，其評估指標體系的構建和實施工作難度更大。雖然學術界關于人文社科論文評估指標體系的探討，對填補理論和實踐方面的空白起到了積極的推動作用，但指標體系的設置和實施仍然存在一些不足。本文擬深入探討我國人文社科論文評估指標體系的完善和實施問題。

一、評估指標體系現狀：理想與現實的矛盾

當前我國人文社科論文評估指標體系處于“政出多門、標準不一、事故易發的階段”①。如表1所示，各類指標均存在某些方面的不足和缺陷，或不能有效反映論文質量、或可操作性較差、或不符合人文社科研究規律等等。此外，有些指標體系評估標準模糊、指標邏輯關系不清、權重設置不合理，指標體系的實施細則或不夠細化或復雜繁瑣，這些問題均影響了評估結果的準確性和公正性，甚至導致了評估的實際效果偏離評估目標的“異化”現象②，阻礙了人文社會科學的發展。

面對困境，有些學者提出了人文社科論文“不可評”、“不可測”的悲觀論調。的確，人文社科論文的質量評估難以得到“精確”的結果，但經驗表明，依據評估指標體系是可以大致判斷成果的“質量等級”的。既然人文社會科學需要按科學學術規范進行研究，就必然要遵循科學研究的規律，從而也一定存在科學的方法來評估它的研究成果。問題在于我們如何找到人文社會科學研究的本質規律，并依照規律逐步改進和完善評估成果的方法和體系。不可否認，當前我國人文社科論文評估指標體系的確需要進一步完善，現有指標體系存在的種種不足，是可以通過有效手段進行改進的。只是我們對現有評估指標體系的缺陷仍未形成充分認知，缺乏行之有效的改進策略。

為此，必須充分關注指標體系所面臨的理想與現實的矛盾。理想的人文社科論文評估指標體系的關鍵要素包括：指標設置科學、權重分配合理、實施程序公正、操作便捷可行等；然而在現實中，對人文社科論文評估標準、手段、方法、路徑等方面的認識還存在分歧，指標體系的構建還面臨完備性與可行性、及時性與延遲性、精細化與高效率等一系列矛盾，難以面面俱到。所以，苛求“完美的”評估指標體系是不切實際的。我們必須在堅持人文社科論文“有必要評估”、“可以評估”的基礎上，在“理想完美性”與“現實可行性”之間做出優化選擇。

二、評估指標體系設置的優化

（一）評估指標體系設置優化的基本原則

基于“理想與現實之間優化選擇”的基本思路，我們認為，人文社科論文指標體系的優化設置應遵循以下原則：

1． 體現學術共同體的“共識性”認知

人們總是希望論文評估盡可能“客觀”，然而，評估是主體對客體進行判斷的行為，帶有天然的“主觀性”，即使通過文獻計量進行評估，也需以主體在引用和計量中進行的主觀判斷為基礎，所以評估不可能“完全客觀”。在學科建制化背景下，對人文社科論文進行“客觀”評估，在本質上是指基于一定事實認定之上的學術共同體的“共識性”價值判斷，而非某一研究者的個人主觀判斷 ⑦。因此，完善人文社科論文評估指標體系的首要問題，是以學術共同體所認可的“共識性”指標為評估的基本標準和原則，并在這些“共識性”認知的基礎上，深入分析人文社科論文評估涉及的變量因素，對當前人文社科論文評估指標體系進行綜合分析與完善，降低評估指標的片面性。

2． 同行評議為主，文獻計量為補充

文獻計量和同行評議是現階段學術成果評估的兩種主要方法。然而，單獨采用任何一種方法都有其局限性。由于引用動機難以準確描述和統計，僅用文獻計量評估容易導致“重量輕質”、“重刊不重文”等問題；同行評議的主要不足則是評估主體的主觀隨意性較難控制。與自然科學研究相比，人文社會科學研究具有更強的“小科學”特征 ⑧，比如自由化和個性化等 ⑨，成果轉化利用的時間、范圍、方式都比較模糊 ⑩，所以同行評議方法更符合人文社會科學的研究規律。隨著我國人文社科領域學術引證規范程度的逐步提高，以及CSSCI、CNKI等引文數據庫的日益完善，將引證指標用于評估人文社科論文的條件也初步具備。因此，兩種方法相結合的綜合評估漸成為當前學術界的共識，采用“同行評議為主，文獻計量為補充”思路，通過相互補充和彼此限制來完善人文社科論文評估指標體系，更符合當前評估實踐的現狀和需求。

3． 堅持“質量為本”的評估導向

量化評估在當前的學術成果評估中占主導地位。但過于強調量化評估已導致學術成果的“數量激增”與“高水平成果稀缺”的尷尬反差。改善這一狀況當務之急是倡導“質量為本”的導向，克服單純以成果數量評估學術水平的弊端 ?輥?輯?訛。所以，應當著重對人文社科論文的內容質量進行評估，形成以直接反映質量的定性指標為主、以間接反映質量的定量指標為輔助和補充的指標體系。ISO8402－1994《質量術語》中將質量定義為“反映實體滿足明確或隱含需要的能力的特征及特征總和”。人文社會科學論文質量即是滿足學術需要和社會需要的能力屬性，比如創新性、價值性、重要性等，所提煉的評估指標應充分體現這些屬性。

（二）優化后的評估指標體系設置

在遵循上述三個基本原則的基礎上，圍繞我國人文社科論文評估指標體系存在的問題，我們通過文獻調研、問卷調研和專家論證，對現有人文社科學術論文評估指標進行了匯集、梳理、分析和歸納，理順指標之間的邏輯性，優化組合各類指標；通過實證試驗，確定合適的指標數量和層級，明確界定指標的內涵和數據獲取途徑，提高指標體系的可操作性；改進指標權重分配，體現指標重要性的顯著差異，提高權重分配科學性。最終我們遴選出9個指標，構成一套優化的人文社科學術論文質量評估指標體系，如表2所示。

表2 人文社科論文評估指標體系?輥?輰?訛

1． 同行評議指標的優化

在堅持學術共同體“共識性”認知的前提下，我們遴選同行評議主客觀指標時注意了以下幾點：（1）必要性：評估論文質量必不可少。（2）有效性：能有效反映論文質量。（3）邏輯性：與其他指標不交叉或重疊，其他指標不可替代。（4）可操作性：指標內涵清晰、易于評估把握。（5）廣泛適用性：可用于評估各類型和學科人文社科論文。

表2中所示的6個同行評議指標均得到大部分學者的認可。在研究過程中，其它一些評估指標未采納。比如，學術價值指標，內涵過于含混，且與學術創新程度、論證完備程度兩個指標明顯重疊；成熟度、系統性、可靠性、規范性、先進性、充分性、完備性等指標，隸屬于論證完備程度；研究內容意義、前沿性、唯一性、新穎度等指標，與學術創新程度存在交叉；作用強度、影響力度、效益性、生命強度、影響廣度等，內涵較為模糊、不易把握，且與社會價值指標交叉；資料性、理論性、綜合性、專門性、可讀性等指標，難以有效反映論文內容質量。

對指標的名稱和內涵進行準確界定是十分必要的。比如，學術創新程度指標是為凸顯論文在學術方面的創新，除了基本的理論、觀點、方法、論據等方面的創新內容外，特別界定了“對已有成果做出新的總結概括”是綜述文章學術創新的重要體現；論證完備程度指標是為強調論證過程對人文社科論文的重要性，包含研究方法科學性、論據可靠與充分性、邏輯嚴密規范性等內容；社會價值指標不僅包含對于解決經濟、社會問題的支持作用，還包括對思想道德文化的促進作用，以適應人文學科和基礎理論類論文的評估；難易程度指標包括資料搜集處理難度和論題本身復雜程度兩項內容。

需要指出的是，把課題立項和發表載體列為人文社科論文同行評議的輔助指標，雖然存在一定爭議，但是這兩個指標體現了課題立項評審人員和期刊選文評審人員對論文的評價意見，有利于以較低的成本拓展評估主體范圍，得到更為可靠的評估結果。

2． 文獻計量指標的優化

在遴選文獻計量指標時，我們注意了以下幾點：（1）可統計：可針對單篇論文進行統計；（2）有效性：能有效地反映論文質量；（3）邏輯性：與其他指標不交叉或重疊，其他指標不可替代；（4）易獲取：評估所需的文獻計量數據便于獲取。

根據“同行評議為主，文獻計量為補充”的思路，文獻計量指標僅著重選取少數關鍵指標。經過對國內外現有主要文獻計量評估體系指標的分析，我們最終確定了最能反映論文質量的3個文獻計量指標（參見表2）。Web下載頻次是指論文發表后一段時間內，被網絡下載的總頻次，在論文普遍上網的情況下，有利于反映論文質量。為防止人為增加下載頻次，相同IP在24小時內下載同一篇論文只計作1次；被轉載次數是指論文發表后，被《新華文摘》、中國人民大學《復印報刊資料》、《中國社會科學文摘》、《高等學校文科學術文摘》轉載的總次數。被轉載實際上表示論文質量得到了同行的再次認可；被他引頻次是指論文發表后一段時間內，被他人引用的總頻次。施引論文的所有作者與被引論文的所有作者不重疊時算作“他引”。被引頻次是當前國內外各類文獻計量評估指標體系的核心指標，被他引的頻次往往比自引頻次更能夠體現論文的質量。其它指標因體現的內容與論文評估關聯度較小沒有采納。比如，影響因子指標更適用于評估期刊，H指數、G指數指標更適用于評估作者，擴散因子、被引廣度、半衰期、即年指數等指標若用于評估單篇論文，數據量小、區分度不大、統計規律不強。

3． 評估指標權重賦值的改進

當前各類人文社科論文評估指標體系往往設置單一的、固定的指標權重分配方案。然而，通過文獻研究和問卷調查分析，我們發現各類人文社科論文雖然可采用通用指標，但不同學科、體裁的論文在指標權重設置方面存在明顯差異。比如，根據層次分析法問卷調查結果，社會價值指標權重在心理學和體育學學科中約占6個同行評議指標的27%，但在藝術學和理論經濟學學科中僅占約15%。綜述文章的學術創新程度指標權重比研究論文低10%以上。因此，權重分配應在體現“同行評議主觀指標為主，客觀指標為輔，文獻計量為補充”的前提下，通過分層、分類設置權重來提高指標體系權重分配的科學性。

我們對評估指標的權重分配采用了層次分析法、問卷調查和專家論證法，將指標權重共分為三層（參見表2）：

第一層權重通過多輪專家論證，將同行評議指標和文獻計量指標的權重比例確定為0.7∶0.3。

第二層權重通過層次分析法調查和統計分析，確定同行評議指標中主要指標、輔助指標、文獻計量指標的權重為0.595∶0.105∶0.3。

第三層權重分為兩類：一是對6個同行評議指標的權重賦值，根據論文學科和體裁差異，依托評估軟件設置多套權重分配方案?輥?輱?訛。二是對3個文獻計量指標的權重賦值。通過實證測算和專家論證，Web下載頻次、被轉載次數和被他引頻次的權重比例確定為0.06∶0.09∶0.15。

三、評估指標體系實施策略的改進

要獲得較為科學合理的評估結果，不僅要完善評估指標體系的設置，指標體系的實施策略同樣不可忽視。通過新技術手段的采用，有針對性地減少指標體系的缺陷，是提高指標體系的科學性和可行性的重要路徑。根據對《復印報刊資料》（2010年度）1.4萬篇轉載論文的實證評估和研究，本文對指標體系實施中遇到的關鍵問題進行了總結，并試圖提出解決策略。

（一）跨學科論文的分類評估問題

按學科進行分類評估、同類比較是當前學術界普遍認可的、實踐中常用的方案。然而，在應用這一方案時，跨學科論文的學科歸屬至關重要。跨學科論文一般是指論文的研究對象、方法等涉及一個以上的一級學科。卜衛等認為應在開展同行評議之前先對論文所跨學科的百分比進行判斷，比如經濟學70%、管理學30%，之后分學科進行評估，再按百分比計算評估結果?輥?輲?訛，然而這一方式存在較大主觀隨意性；也有學者認為應按作者的學科背景確定所評論文的所屬學科，但作者的學科背景本身也難以準確界定，更何況還存在作者跨學科發文的情形。

通過實證研究，我們將跨學科論文分為兩類:一是圍繞某一主要學科的理論、方法或問題開展研究，但借鑒了其他學科方法和理論，此類論文應在主要學科中進行評估，形成唯一的評估結果；另一類論文同時涉及一個以上學科的理論、方法或問題，學科歸屬不明晰，應同時在不同學科中進行獨立評估，形成多個評估結果，以便滿足多種評估需求。這樣的分類模式既有利于體現跨學科論文的特性，又保證了評估的可操作性。

（二）同行評議評分量表的選擇與改進

同行評議的評分量表用于幫助評委量化論文質量在其心目中的位置。在同行評議實施過程中，選擇合適的評分量表有助于評委對評估結果進行確切地“量化表達”，否則評估將事倍功半。

常用的“5分”、“10分”量表，在實踐中評委往往因分級過少而強行做出選擇，造成評估信息丟失，比如評委有可能需要表示4.8分，但只能被迫選取4分或5分。“100分”量表的分級過多，超出了評委的可控范圍，尤其在大規模評估論文時，對質量相近的論文的評估易出現判斷失誤。此外，無論采用哪種量表，大部分評委往往習慣性地將分數固定在更小的區間，比如用“10分量表評分時，評委的評分可能集中在“6-9分”，導致評分結果區分度過小。

因此，在選擇同行評議評分量表時，要求量表能充分地幫助評委量化論文質量在其心目中的位置，使評分結果既有合適的區分度，又不扭曲評委的評估意愿。心理學家西蒙（H.A.Simon）在1974年指出，人的實際工作記憶廣度只有4或5個信息單位，評委在量化評估結果時也遵循這一規律。根據實證研究結果，“嵌套式量表”是較好的選擇，比如兩個“5分量表”嵌套形成的“21分量表”?輥?輳?訛，要求評委先判斷論文水平處于五個基本等級中的哪一級（1分表示“極差”，6分表示“較差”，11分表示“一般”，16分表示“較好”，21分表示“極好”），再左右微調確定論文的最終得分，有利于更準確地量化評估結果。此外，還可通過軟件或實施細則引導評委將論文的評分分布在不同的分數區間，確保論文評分的區分度。

（三）大規模評估活動的程序優化

在采用指標體系大規模評估論文時，對評估的效率、準確性、便捷性、低廉性和評估結果的可比性提出了更大挑戰，因此需要更為科學的評估程序。

一般來講，人文社科論文能夠較容易地區分出“好文”和“差文”，但在評估實踐中，人們希望進一步區分“好文”的優質程度，進一步區分“差文”等級的需求則相對較小。因此“差文粗評、好文精評”的分步篩選流程有利于提高評估效率。首先，篩選出“差文”由1-2個評委進行“粗評”即形成最終結果，再組織多位評委對“好文”進行多輪“精評”，形成更為準確的評估結果。還可通過評估流程的細化分工可進一步提高評估效率，比如分別設置專人負責論文分類、“差文”篩選、各類論文同行評議、分數核算等不同評估環節。

評估主體的專業化程度，是影響評估客觀公正的重要因素，在同行評議中尤為如此。學術界普遍認為，對人文社科學術論文的評估，評委的知識背景和結構與論文研究內容越是接近，對論文評估的效果就越好，因此在遴選評委時應盡量遵循“小同行”原則，并對評委進行培訓，使之完全理解指標的含義、評估標準、評估流程和評估規則等。將看似不合理或異常的評估結果反饋給評委進行重新審視，也有利于改進評估結果、提高評委的評估能力。

（四）評估結果的矯正與合成

在計算評估結果時，有兩個環節對評估結果的公正性至關重要。第一，論文的同行評議評估結果受到評估主觀性的影響，容易出現不同評委尺度松緊不一的情況，若采用原始評分的平均數作為最終結果，則會降低評估結果的公正性和相互可比性。若通過統計手段對不同評委的評估結果進行矯正，比如程淑等提出的“除以平均值、乘以系數”的方法，使論文的評分都轉換為“相對值”后再取平均數?輥?輴?訛，則有利于改進這一狀況。第二，本文所遴選的指標的量綱不同：6個同行評議指標均可采用相同量表，比如“21分量表”，但3個文獻計量指標的評分，則為[0，∞）區間內的整數。因此，在計算單篇論文最終得分時，首先須統一量綱，才能對各指標得分進行加權求和。統一量綱俗稱“歸一化”，可采用“論文某個指標得分/同類論文該指標得分的最大值（或平均值）”等公式實現。

（五）智能化評估軟件的開發與應用

同行評議和文獻計量過程涉及大量復雜的分類、計算和控制等問題，以往的研究雖早已發現評估活動中的這些問題，但由于技術條件的限制無法使之得到有效解決。在現階段，若依托數據挖掘、語義網等技術開發“智能化的評估軟件”，不但有助于總結評估問題的發生規律，還有助于這些問題的解決，從而推動評估實踐的進步。第一，依托智能化評估軟件，可及時發現和矯正評委的不合理或異常評估行為，比如評估分數區間過小可能表示評委需要提高分數的區分度，分數過于集中在少數分數上，可能表示評委的評估較為草率，若一篇論文某個指標得分明顯低于其它指標得分，可能表示誤操作等等；第二，利用智能化評估軟件可對評估數據的關聯性和差異性進行挖掘計算，比如在海量數據中識別出論文某些指標得分相關度較高或差異較大，為評估理論方法的深入研究和學科、作者、機構、期刊的發展態勢提供依據；第三，通過智能化軟件可對論文及其評估數據進行詳細地分類標引、評估結果的合成計算和歸一化，有助于提高評估的準確性和效率。

（六）評估指標和權重的靈活配置

科研管理等實踐要求多樣化的評估時間點，有時需要論文形成后即刻進行評估，有時則要求論文發表1年或幾年后進行評估。因此，一個科學實用的評估指標體系需具備靈活配置指標及權重的特性，以滿足不同時間、不同目的的評估實踐需求。

本文中提出的學術創新程度、論證完備程度、社會價值、難易程度等4個主要指標，在論文形成后可隨時通過同行評議形成評估數據；發表載體的數據，在論文正式發表后可獲取；論文的Web下載頻次和被轉載次數的數據，通常在論文發表1年才能形成有效數據；被引頻次等文獻計量指標，至少需要3年的累積數據才具有說服力。因此在開展評估時，應根據實際需要對這些指標進行“動態組合”。比如，若在論文發表后1年左右的進行評估，可只選擇已產生有效數據的指標，暫不采用需至少3年才能獲取有效評估數據的被他引頻次指標，并按比例重新計算權重。

此外，雖然當前大部分學術論文可通過網絡訪問全文，但個別不上網的論文，其Web下載頻次指標的評估數據則無法獲取，個別期刊拒絕論文被轉載，其論文被轉載次數也無法獲取，這時可去掉該指標，并將該指標權重按比例分配到其它指標。

四、結語

基于學術共同體的共識性認知和“理想與現實的優化選擇”的基本思想，我們提出了4個同行評議主觀指標、2個同行評議客觀指標和3個文獻計量指標，作為評估人文社科論文的通用指標。通過分層、分類設置多套權重賦值方案來體現不同體裁和學科論文的差異性，這是對我國當前人文社科論文評估指標體系設置的進一步完善。同時，本文通過實證研究總結了指標體系實施過程中的關鍵問題和解決策略，也有利于改進指標體系的實施效果。但評估指標的適用性、評估過程的科學性、評委組成的公正性、評估結果的可驗證性、尚無法徹底解決的評委主觀隨意性、特殊論文（比如政治敏感性論文）的評估等諸多問題，仍需要進行深入研究。

注釋：

① 倪潤安：《中國人文社會科學學術成果評價體系建立的困境與出路——當前研究狀況的總結與思考》，《社會科學管理與評論》2004年第2期。

② 高軍、遲爽：《我國學術評價制度的異化研究》，《高校教育管理》2008年第3期。

③?輥?輲?訛?輥?輴?訛 卜衛、周海宏、劉曉紅：《社會科學成果價值評估》，社會科學文獻出版社1999年版，第101-170、119、147-148頁。

④ 唐德章、夏元林：《社會科學研究成果定量評估方法初探》，《社會科學研究》1989年第1期。

⑤ 沙似鵬、鄭禮、郭才伯、張毅：《人文—社會科學研究成果評價指標體系初探》，《上海高教研究》1994年第1期。

⑥ 葉蓬：《人文社會科學研究成果評估指標體系分析》，《探求》2001年第1期。

⑦ 劉大椿：《中國人文社會科學評估問題之審視》，《重慶大學學報（社會科學版）》2009年第1期。

⑧ 這里的“小科學”特征主要是指：人文社科研究從選題到創新，很多時候遵循“自由研究”原則，研究成果“很難預測”，研究方法中“思辨”的成分較多。從這個角度講，“標尺型”的文獻計量方法不太適合人文社會科學，對成果進行直接、全面、靈活審視的同行評議方法則更符合人文社會科學的研究規律。

⑨ 朱少強：《論科學建制背景下的人文社會科學研究評價》，《評估與管理》2008年第12期。

⑩ 虞文、周亞霆：《基于因素分析的社科成果轉化評價指標淺探》，《科學學與科學技術管理》2006年第3期。

?輥?輯?訛 鄭文濤：《關于哲學社會科學評價的若干思考》，《社會管理科學與評論》2008年第2期。

?輥?輰?訛?輥?輱?訛 中國人民大學人文社科學術成果評價研究中心：《人文社會科學論文質量評估指標體系實施方案》2010年12月，第9-12頁、11頁。

?輥?輳?訛 程淑、桂林、冀航：《主觀評分的歸一化算法及誤差分析》，《高等函授學報(自然科學版)》2007年第10期。

作者簡介：高自龍，男，1965年生，山東諸城人，中國人民大學書報資料中心總編輯、編審，北京，100872；楊紅艷，女，1981年生，內蒙古通遼人，博士，中國人民大學人文社會科學學術成果評價研究中心助理研究員，北京，100872。

（責任編輯 胡 靜）