文獻計量法在科研管理性評估中的作用辨析

(廣東海洋大學圖書館，廣東 湛江 524088)

科研評估作為科研管理的重要手段之一，擔負著管理、監督和引導科研活動、維護根本科學主旨和原則的使命。科研評估的結果具有較強的導向性，通常作為政府制定科技規劃和配置科研資源的重要依據，直接影響科學研究未來的發展、經濟社會的發展以及研究人員的積極性。同行評議和文獻計量是科研評估中運用最廣泛的兩種方法，分別從內容屬性和外部屬性兩個角度對科學研究進行評估。因評估角度各有側重，評估方法各有利弊，同行評議和文獻計量在科研評估中的作用孰優孰劣，學界一直存在爭議。近年來，我國科研評估實踐中文獻計量指標及方法運用失當，導致重數量、輕質量評估失衡現象的發生，文獻計量一度遭遇是否還有存在必要的質疑。本文擬從科研評估性質分類的角度，探討學術性評估和管理性評估的特點及其方法契合，辨析文獻計量法在管理性評估中的獨特作用，揭示文獻計量法應用于科研管理性評估的現存問題并提出對策與建議。

1 科研評估的性質分類及其方法契合

分類評估是當今科研評估改革的共識，在評估實踐中理清評估的分類邏輯并進行契合方法的選擇是改革的關鍵。從科研評估涉及的依據、指標、過程和結論形式等方面去分析，可以看到科研評估存在著性質上的差別。按照評估性質的不同，科研評估可以分為學術性評估和管理性評估。學術性評估主要是針對某一項具體的研究項目的內容屬性所做的評估，得出關于這一項目的學術質量或學術價值的分析與判斷。管理性評估則是對某一范圍內的一批研究項目的外部屬性(如論文數量、引用量等)所做的定量評估，以從中探尋科學活動的規律。

學術性評估具有小樣本的特點，屬于針對單一研究成果的微觀評估。這類評估較多采用同行評議方法，利用同行評審專家的學科背景和專業修養對成果的學術水準和科學價值進行獨立評估。由于學術性評估在小范圍內進行，規模不大，所需專家數量不多，評估行為相對較易控制。與之相比，管理性評估則具有大樣本的特點，通常適用于宏觀層面的評估。隨著評估范圍的擴大、評估項目數量的增加、評估涉及學科領域的增多，同行評審專家可以發揮的作用越來越小，這為以定量評估為特征的文獻計量方法在管理性評估中的運用贏得了存在的合理性。尤其是在科研成果按指數增長的今天，要想從國家、地區、機構等宏觀層面了解科學活動的產出效率和發展規律，文獻計量無疑是管理性評估最契合的方法選擇。

2 文獻計量法在科研管理性評估中的作用辨析

從以上科研評估的性質分類及契合方法選擇的分析視角來看，學界由來已久的、關于同行評議與文獻計量的優劣之爭是立足于科研評估的微觀層面，即從學術性評估層面開展的爭論。不可否認，采用同行評議對單一研究成果的學術性評估更符合科學研究的本質規定性，與學術共同體追求自治的目標相一致，但對于學科種類和研究項目繁多、時間范圍和地域范圍寬泛、規模巨大的管理性評估而言，文獻計量的評估結果無疑更具有說服力。

文獻計量法作為科學學中定量分析研究的有力工具，可以解釋許多分布機制相似的科學研究現象，可以從宏觀層面對科學系統的運行機制以及科學活動的產出和過程進行評估和觀測。管理性評估與科技決策密切相連，國家對科學研究的投入力度逐漸加大，對投入效益的評估日益重視，對學術共同體之外的第三方評估需求越來越多，這為文獻計量方法在管理性評估中的作用發揮提供了現實土壤。文獻計量對大量科研數據進行的分析與評估，是立足于學術共同體之外對科研工作的一種宏觀審視，可以讓管理者有一個量的判斷、多一些思維空間、多一個觀察的視角。從這個角度看，文獻計量方法在科研管理性評估中所起的作用非同行評議或其他方法所能夠替代。

文獻計量學自情報學、數學和統計學三門學科交叉融合而來。作為一門交叉學科，文獻計量學具有與生俱來的學科兼容性和延展性，容易與相關學科及其方法相互共生、有效融合，最終為拓展文獻計量在管理性評估中的應用領域提供理論和方法基礎。在近幾年的評估實踐中，文獻計量不斷突破傳統方法的局限，有效融合新技術或方法，較好地適應了管理性評估升級的需求。比如，在數據統計和分析階段，與定標比超方法結合進行科研競爭力評估，通過橫向比較尋找區域和研究機構間的優勢與差距，最終為科研決策提供參考。在科學合作研究評估中，引入社會網絡分析法，能夠挖掘出傳統文獻計量法所不能發現的各種合作關系。在數據分析結果呈現方面，結合知識圖譜、雷達圖等數據可視化技術，用圖形、圖像、動畫等方式直觀呈現數據分析結果。實踐表明，文獻計量學的這種明顯的多學科知識結構特征，能夠不斷地實現理論和方法上的自我改進和創新，從容應對管理性評估工作的新需求和新挑戰。

3 利用文獻計量法開展管理性評估的現存問題

3.1 評估實施主體不確定

利用文獻計量法進行科研管理性評估的活動雖然已經普遍開展，但科研管理部門對評估實施主體進行遴選并形成制度的不多。從當前的評估實踐來看，多由圖書館主動為科研管理部門提供科研評估服務，科研管理部門較少對評估實施主體進行遴選與評估能力判斷。誠然，圖書館員開展此類工作有其得天獨厚的優勢，他們掌握文獻計量知識，擁有信息和數據的搜集與分析能力，積累通過文獻計量應用研究開展信息服務的豐富經驗，主動服務科研管理部門的意愿強烈。但是這種合作關系如果不以制度的形式加以明確，僅靠圖書館單方面主動服務，評估過程中難免存在問題，比如：圖書館員對科研管理部門的評估需求和評估意圖識別不充分；在評估方案的確定、評估指標體系的構建等環節中，科研管理部門的參與度不高；評估工作沒有定期開展，評估缺乏規劃性和連續性；圖書館員對各類項目成果材料難于判斷、對各個學科特點難以把握；評估過程缺乏監控等。可以說，沒有嚴格的制度約束，就沒有人對評估的效果和結果承擔責任，從而導致評估的權威性與嚴肅性受到影響。

3.2 評估結果的實際作用未得到發揮

科研評估工作能否持續開展并真正取得實效，評估結果的有效運用極為關鍵。從目前管理性評估實踐來看，缺乏評估結果應用的研究及其對促進科學研究發展作用的專門討論。部分管理性評估工作為了評估而評估，評估僅限于得出評估結論，對評估中發現的問題和得出的建議沒有真正重視和運用，沒有真正將評估結論與科研管理結合起來，以切實發揮評估工作價值導向、衡量績效、支撐決策的作用。此外，管理性評估結果及其運用情況不夠公開透明，學界對相關情況的知情權實現不充分，導致評估的實效性、公信力以及學界對此的滿意度大打折扣。

3.3 缺乏科研資源投入與成果產出關系的評估

科學研究也是一個生態系統，科研產出的數量與規模除了受研究能力和水平影響外，經費、人力等主要科研資源的投入也會直接影響科研的產出。在當前各類科研指標的文獻計量分析中，只注重對科研成果即科研產出進行統計分析，缺乏對科研資源投入與成果產出關系的分析，這顯然有失偏頗。管理性評估在某種程度上被視為是對科研實力的評估，只有在考量科研資源對成果產出貢獻度的前提下，進行科研產出能力和水平的比較分析，評估結果才更為客觀、合理。如何將科研資源的投入與成果產出關系作為指標納入評估體系，彌補評估現有的缺陷，是管理性評估有待解決的問題。

3.4 評估指標體系欠合理

從當前的評估實踐來看，評估指標設置不合理、甚至誤用的問題是直接導致管理性評估結果難以獲得學術共同體廣泛認同的主要原因。評估指標存在的主要問題有：1)規模指標偏多，人均指標、比例指標等相對指標偏少。規模指標反映的是某個時間范圍內的絕對數值，如發表論文總數等。規模指標的單一運用被指存在負面導向，如引導被評估對象走規模擴張之路，不利于培養被評估對象的質量發展意識。2)缺乏表征行進狀態的指標。現有評估中多采用靜態數值指標，無法表征科研產出的行進狀態，即成果產出隨著時間變化的速度。3)缺乏內容層面的分析指標。目前，管理性評估對科研發展態勢的分析大多基于文獻外部特征數據的統計視角，缺乏對文獻內容的揭示指標。基于文獻數量的分析有助于科研管理者從宏觀層面把握科學系統的運行機制，但對于研究人員來說，他們更希望獲得基于文獻內容的分析結果(如關鍵詞統計等)，以從內容文本的信息統計中找出學科的發展規律和內在聯系，為其研究工作提供參考。

3.5 評估數據的數量和質量存在不足

評估工作普遍遇到的困難是數據失準和來源不充分，這些問題影響了評估的客觀性和科學性。目前，評估所采用的數據主要源自中外文檢索系統，這種單一的數據來源方式導致了評估數據存在局限性。中外文檢索系統以收錄學術論文為主，而論文只是眾多學術成果類型中的一種，忽視非論文形式的成果產出類型顯然無法如實反映科學研究活動實際。電子出版、開放獲取等網絡出版模式日趨成熟，但這一部分數據尚未納入評估的數據來源，也令數據的完整性受到質疑。不同檢索系統收錄的來源期刊在數量和學科歸屬劃分上存在差異，導致從不同系統中獲得的評估數據不一致，難以進行數據歸并。來源數據存在的問題影響了評估結果的客觀性和準確性。

4 利用文獻計量法開展管理性評估的建議

4.1 明確評估實施主體，逐漸規范評估組織工作

從評估組織看，評估工作要逐漸走向評估過程的程序化、規范化和公開化。科研管理部門應對評估實施主體及其評估能力進行遴選和識別，確定相對固定的評估實施主體及其職責。把評估工作作為目標管理的一部分，將其作為制定戰略規劃的有機整體，加強對評估目的、實施程序和監督程序等方面的研究，以制度形式加以確定，使評估工作落到實處，避免空泛、流于表面。提升評估過程的透明度，公開評估數據、方法與過程，以便于學界對評估工作進行檢驗和質疑。

4.2 開展評估結果應用研究，切實發揮評估作用

科研管理性評估是科技管理的重要手段和工具，開展評估結果應用研究，重視發揮管理性評估的作用，可以為科研管理部門提供改進的方向與路徑。管理性評估結果的用途具有多樣性。從科研管理部門的角度來看，評估結果有助于他們從宏觀層面了解科研整體發展態勢，為制定科研戰略規劃、政策分析、樹立標桿、分配資源和經費、進行項目和質量監控、績效問責等提供依據。對于研究機構而言，評估結果有助于促進研究機構之間的競爭，提高科研整體水平，這是科研管理部門所樂見的，同時還有利于研究機構客觀評價自身在行業內或區域內的位置。從研究人員的角度來看，評估結果有助于他們了解所屬學科領域的整體發展水平，是下一步確定研究方向的重要參考。同時，向被評估對象和學界公開評估結果，開展評估結果的應用研究，讓評估工作的效用得到最大程度的發揮。

4.3 量化科研資源投入對成果產出的影響，提升評估的公正性

量化科研資源投入對成果產出的影響有其現實難度。有學者將論文數量等指標根據科研人員數量或經費投入數量等進行標準化，得出描述生產率的相關指標，再進行后續的分析比較。有學者提出通過大樣本分析或專家主觀評定給出每項科研資源投入在成果產出上的貢獻度值。將被評估對象具有的各項科研資源投入貢獻度值作為前置條件計算出在該條件滿足下的成果產出概率。一般地，前置條件滿足量越多，其成果產出概率值越高。上述科研資源投入參照系的分析，是進行科研資源投入與成果產出關系評估的有益嘗試。如何在評估中增加科研資源投入貢獻度和成果產出概率的計量，盡可能公正合理地開展評估，需要學者們持續關注并尋找合理解決方案。

4.4 加強對評估指標的研究，合理設置評估指標體系

隨著文獻計量學理論和方法研究的逐步推進，越來越多的新指標被創建并引入評估實踐。我們需要用一種關聯的視角、結構的視角和發展的視角來對新舊指標進行綜合，盡可能采用國際通用的指標，設置系統的、合理的評估指標體系。針對上文提出的評估指標存在的問題，有以下解決思路：1)從規模指標向人均指標和比例指標等相對指標轉變，對于一些不適合直接比對的數據，計算其人均數值或比例數值，采用數量與占比相結合的方式來進行比對，為原來不能直接比較的兩個絕對數值找到可以比較的基礎，從而使評估結論更為客觀、合理，減少評估中的規模導向。2)增加表征行進狀態的指標，通過計算不同時間段成果產出數量的變化，找出成果產出隨著時間推移的效率或速度。3)增加基于內容層面的分析，可以對科學研究未來的發展趨勢進行預測和規劃，進而推動和引導科學研究朝著一定方向發展。

4.5 拓寬來源數據范圍，提高來源數據質量

系統、準確地采集原始數據是評估的基礎，來源數據越完備，評估結論越可靠。評估人員要制定一套來源數據的標準和規范，為來源數據的采集和使用提供依據。拓寬數據來源范圍，重視學術專著、統計報告、專利、標準等非論文形式的成果以及通過網絡傳播和擴散的研究成果。重視數據清洗和歸并工作，將人工判別方式與借助數據清洗工具相結合，以確保來源數據的可靠性和準確性。建立國內外學科間的映射關系，盡可能降低學科歸屬的誤差。有條件的區域或機構還可以根據評估的個性化需求，逐步建立起內部共享科研成果數據平臺，確保來源數據的質量和完整性。

5 結 語

科研評估是促進并引導科學研究發展的重要管理手段。在大數據時代背景下，科研管理信息化手段不斷豐富，中外文數字資源的使用趨于便利，加之文獻計量方法自身的同步發展，促使管理性評估的量化趨勢日益顯化。文獻計量方法固然有其自身的局限性和片面性，但無疑也是管理性評估最契合的方法選擇。加強對管理性評估本身的研究，努力發現和發揮文獻計量方法的優勢和積極作用，不斷規范與完善評估組織工作，促使評估工作回歸其科學之本真，將會是未來科研管理改革無法回避的研究課題。