文獻計量在科研評估中的問題與校正探討

董岳珂

(上海對外經貿大學圖書館，上海 201620)

·業務研究·

文獻計量在科研評估中的問題與校正探討

董岳珂

(上海對外經貿大學圖書館，上海 201620)

基于文獻計量在成果產出源、成果統計和個人影響力方面評測存在的問題，通過引入數學方法，情報搜索以及比值計算來校正文獻計量在科研評估中的片面性、局限性以及數據統計上的不公正。將前置條件、評測背景等因素納入評測范疇，使文獻計量在科研評估中更公平、公允并切合實際的反映出評估對象的科研實力。

文獻計量；科研評估；學術影響力

科研評估的量化評測是大數據時代發展的必然趨勢。文獻計量已成為科研評估量化評測的重要組成部分。文獻作為科研產出的主要成果或實體除承載的科研成果外，還包括了重要的科研產出要素，即人或所屬機構。同時，文獻的相互引用或相互關聯從一定意義上描述了學科之間的相互影響或相互作用。通過對文獻各個組成要素的計量或統計客觀反應了科研的整體發展趨勢以及所具有的影響力效應。

文獻計量現已成為科研評估的主要方法和手段。隨著大數據時代的到來，運用文獻計量法更能從量上體現科研成果的產出情況。目前圖書館常用的科研產出檢索數據庫包括：SCI、SSCI、SCOPUS等。科研評估離不開科學的分析，僅單憑絕對的科研產出數據無法定位一所高校在相對的環境中的科研實力。

為了科學實現文獻計量的公允性，需要考慮到科研產出的前置條件來公正評測機構或個人的產出成果，通過運用數理統計、情報搜索等方法對前置條件下的產出評測進行校正處理，希冀在評測文獻、作者或某個機構的科研產出或影響力方面將更加公平、公允。

1 文獻計量在科研評估中存在的問題

各權威檢索平臺的數據析出并未具備一定意義上的準確性，這些問題的產生來自于數據的起始著錄，在數據來源這一項的標注中缺乏對機構的詳細描述，而且在成果歸類上，外文檢索平臺對文獻的學科歸屬劃定與國內的標準劃分存在某些方面的不一致。檢索平臺在對文獻本身的揭示、關聯方面實現了很多技術上的突破，然在對文獻產出源的描述中缺乏系統性、統一性的描述規范或標準，導致在對成果出處的統計中存在一些問題。而且數據庫對字段的著錄也存在一些顯著性的錯誤。譬如由于機構更名會使一些學術成果無法檢出。如Scopus數據庫中，并未對更名后的上海對外經貿大學名稱進行機構標引，導致該校更名后的學術成果無法通過機構名檢索獲取。類似數據原始著錄方面的問題在各個權威檢索平臺中已是屢見不鮮。

從文獻計量的角度來看，由于數據庫起始著錄存在的問題，導致科研成果在數據統計中存在諸多弊端，除字段著錄錯誤或字段缺省外，成果產出源描述的單一性，如僅有作者姓名和所屬單位的描述，對于作者的詳細描述存在數據不完善、數據滯后、數據描述標準不統一等問題，如上所述問題將導致通過文獻計量無法評測成果產出源對成果產出的貢獻程度，無法準確定位科研實力的構成因素。

1.1 計量科研成果產出源及影響力存在的問題

1.1.1 計量科研成果產出源存在的問題

1)科研成果與院系無法對應

對于高校一定時間內科研成果的統計，數據的主要獲取方式還是使用檢索平臺。而數據庫對成果的標引項中一般僅有作者所屬機構的一級機構標注，部分數據并未精確到作者機構的二級機構，譬如學院或院系等等。這樣就很難通過檢索準確獲取本機構各個二級機構(院系)的科研產出情況。例如檢索清華同方平臺發現在對同一位作者的成果收集中，部分文獻的詳細頁面著錄有作者所屬機構的二級機構，如×××大學×××學院。部分文獻僅有一級機構的描述，未有詳盡的二級機構描述，如僅有×××大學。且詳盡的作者著錄頁面也僅有作者所屬一級機構的描述，未有所屬二級機構的描述。這樣從某種程度上造成了二級教研機構成果統計的困難和數據的不完整。很多情況下，在高校或者科研院所，學科建設是以院系為單位進行的。科研成果的產出情況應該從院系層面進行揭示，這樣對高校的學科評估以及學科建設才更有借鑒價值[1]。

2) 國內外學科對應關系的不明確

科研評估中高校還是比較注重外文成果的產生情況，外文成果在一定程度上更能表征高校在國際上的科研實力。對于外文成果的獲取均來自于外文數據庫，譬如常用的WOS平臺數據庫，以及SCOPUS、EI等。但這些數據庫的學科劃分與國內學科之間的對應關系并不精確，一些成果的學科歸屬就會存在誤差。例如在對一位從事金融市場研究的作者成果收集中發現SSCI平臺將其外文成果歸為“數學”大類下的“統計及概率學”，中國知網將其中文成果歸為“經濟學”下的“金融管理”。兩個學科之間的跨度還是很大的，中外文文獻分類的角度還是存在一定的差異性。基于國外數據庫的檢索平臺來進行科研評估，還是需要慎重考慮到數據庫的學科劃分與高校自身學科的統一性或一致性。如何能夠在國內外學科間建立更為精準的映射，將成為加強科研評估的準確性和說服力、增強校際間橫向可比性的重要因素之一[2]。

3)科研成果選擇的局限性

科研成果的主要數據來源于作者公開發表的學術成果，包括期刊論文、學位論文等。2017年“中國好大學排名”中僅以期刊論文和綜述作為評判依據，其它文獻類型如會議論文并未納入評價體系。同時，中外文數據庫收錄的學術成果資源也主要以期刊論文為主。若僅從期刊論文的產出定奪科研水平還是存在一些片面性的。教研機構的學術專著、專利標準、國家級及省部級課題項目的承擔等，都可以成為科研評估的主要依據。但從文獻計量的角度來講，非數據庫收錄的資源在統計中需要更多的人工干預，并在一定層面降低了精確度。若從全方位統計科研機構的科研產出成果，需要投入大量的時間和人力。

大數據時代，科研評估中其核心部分主要來自于成果發表的多維統計，人工干預及主觀判斷的部分在不斷縮減，即重大項目的承擔、重要國際會議的參與、以及無法量化的科研產出的統計與計算因其自身呈現的不規范性，從嚴格意義上來講很難納入標準統計范疇。然而對科研貢獻度的普遍認可，并不僅僅包括公開發表的科研成果，其它不規則數據形式的科研實力表征也應通過合理的計量給予一個數字上的科學詮釋[3]。

1.1.2 計量科研成果影響力存在的問題

期刊影響因子是核心期刊評測的主要指標，期刊影響因子是以一定時間內期刊中所有文章的被引量與期刊內發表文章量的比值得出的。期刊影響因子計算的是一個均值，即篇均被引的次數。期刊影響因子表征的是期刊本身的篇均被引次數，并不代表單篇文章的影響力。科研機構在評測作者成果影響力時，往往以是否出自于核心期刊來進行評定，倘若這篇文章并沒有達到該刊影響因子的數值，是否也認定該篇文章具有與該刊中達到或超過其影響因子數值的文章具有同等程度的影響力？例如，2017年9月4日通過清華同方數據庫檢索到刊載在《圖書館論壇》2014年9月的兩篇論文，其被引量具有顯著差異，題名為“英美高校科學數據管理與共享政策的調查分析”被引量為11次，題名為“一號多刊”出版亂象下的采編工作——以國家圖書館期刊采編工作為例”被引量為0次。據清華同方平臺統計顯示《圖書館論壇》的綜合影響因子為1.35(2016版)，可見被引量為0次的論文顯然沒有達到該刊影響因子的水平。從目前來看，對文章的評定都是基于期刊的級別，鑒于此，文章出自于哪本刊的重要性高于該篇文章自身的影響力。以期刊整體的被引情況來定奪單篇文章的影響力，在某種程度上是走量化的程序，加大評測的統一化管理，其說服力還有待深究。

文章被引量的統計與學科歸屬也存在密切關系，通常而言，生物醫藥類的文章被引量要大于人文社會科學類的文章。這也是由學科自身的研究發展性質所決定，從宏觀層面來看，生物醫藥類的科研數據可成為不同文章研究內容的參考源。人文社會科學的研究在某種程度上對客觀數據的實證借鑒并不擅長。僅就單一文章被引量來考證其影響力，脫離文章的學科背景也是不符合實際情況的。

文章的被引不僅包括本學科內的文章引用，也可能是其它學科對本學科的引用，譬如計算機方面的文章也會被情報學方面的文章所引用。圖書館學方面的文章也會被教育學方面的文章所應用，從以上普遍存在的學科之間交叉引用來看，若某學科的文章被引量高，并不一定表明該學科在自身發展中取得了豐碩的成果，或具有相關研究層面的優勢或潛質。亦或是學科自身的交叉性所導致的引用范圍的不斷擴散。

1.2 科研成果評測的單一性問題

科學研究成果是在一定的科研環境中，包括物質條件和智力條件，依據當前研究儲備通過可操作途徑完成智力資源到研究成果的轉化。科研評估從一定層面上實現對成果數量和質量上的評測，同時也是文獻計量學在科研評估中的主要應用。科學研究是一個有機生態圈，僅從研究成果定位科學研究的實力或成效并不具有合理的參考價值。科研評估不可忽視對科研產出源的考慮，即哪些因素對科研成果的產出是至關重要的，重要程度如何權衡。

1.2.1 缺乏科研產出源的量化評估

科研產出源是與科研成果產出直接相關的重要因素。這些重要要素包括成果產出機構所從事的學科研究；機構所處的地域位置；國家或行政機關的政策資金支持；成果產出人的學歷、職稱等級；學科背景；研究時間；海外學習經歷等等。客觀上來講，構成科研產出的各項有利因素都可以納入科研產出源的范疇。各項科研產出源對科研成果的貢獻程度很難從量上進行定奪，且當前的科研評估的重點是放在對成果的統計與評測上，對于科研成果是如何產出的，在怎樣的條件下產生的并未納入評估的范疇。科研成果在數量上的差距除科研實力上的差距所導致外，科研產出源的各項因素也是導致科研成果數量上差距的客觀原因。科研評估是從一定層面對科研實力的評測，只有在合理掌握科研產出源對科研成果的貢獻度基礎上，才能從本質上把握科研實力上的優勢和劣勢所在，從而定位科研實力提升的突破點。

科研產出源頭來自于高級人才以及多元的學科專業等。學科覆蓋的全面性和高級人才的高密集度都與科研的高產出量是正相關的。如何在科研評估中將科研產出源與科研產出量結合起來考慮，并從計量的角度統計在一定規模的產出源下有多少數量的科研產出成果分布是更科學的一種科研評估校正。

1.2.2 缺乏計量數據的多維比較

科研產出數據的分析多以文獻構成要素展開計量角度。譬如通過檢索平臺獲取某年的成果數量、某人的歷年成果產出數量、某學科的歷年成果產出數量、某學科的歷年成果被引數量等等。這些數據表征了被評測對象科研成果的靜態數量，但并不能揭示該評測對象在科研方面的行進狀態，其進步或倒退的程度有多少，也不能揭示在同類對象對比中科研的相對實力或影響力。如何將科研數據置于一定的環境中去考究，如何使科研數據體現出一定層面的現實意義才是科研評估不可獲取的情報素材。

2 從情報搜索層面探討文獻計量的校正

數據庫檢索平臺在成果的數量統計上是具有優越性的，但在成果出處方面的描述還存在一些問題。 為使對成果的出處統計更詳實準確，且學科對應和機構對應更貼近于機構的實際情況，需要運用數據庫檢索平臺以外的途徑獲取情報數據支撐。

2.1 計量科研成果產出源的校正分析

科研教學機構的官方網站是獲取情報資源的主要渠道。通過登錄機構官網獲取各級教研機構所屬人員的情報信息，依據人員名稱的一致性。將檢索平臺獲取的該機構的某人員的科研成果對應到機構官網的各級教研機構的所屬人員，從而實現科研成果與教研分屬機構的直接對應，再有依據官網獲取的人員學科研究情報信息，可以對應到檢索平臺文獻所屬學科，建立檢索平臺學科與官網情報獲取人員學科之間的映射關系。考慮到機構官網情報資源獲取的非順暢性，在某種程度獲取各個分屬教研機構的人員教研信息還是存在一定困難的。徜若需要完善通過外文數據庫檢索獲取的成果資源，建立文獻與包含教研信息的機構人員之間的映射關系還是很有必要的。

例如在收集本校各學院教師的成果時，首先登陸本校官網，進入各個二級教研機構的師資頁面，將各個二級機構的所屬教師姓名、研究方向、職稱、學歷、科研成果等項逐一列出，然后利用數據庫平臺，通過本校名稱與作者姓名兩項，檢索獲取該位作者的科研成果。最終實現各個二級教研機構科研成果的完整統計。

除通過數據庫檢索平臺獲取機構的科研成果之外，通過情報搜索，譬如機構官網可以獲取到對科研成果其它方面的描述，包括承擔的國家、省部級重大項目；精品課程的建設；國際性學術會議的承辦；專利標準的授予權等等。可以將情報獲取的科研成果信息歸于個人或分屬教研機構，充實完善科研評估中的遺漏或僅以數據庫檢索獲取成果的不完善性。做到百分百科研成果收集無遺漏是一種理想狀態，只有在原有的基礎上通過合理的情報獲取途徑來不斷完善科研成果的收集。

2.2 計量科研成果影響力的校正分析

考察學科或個人的影響力，引文分析是主要的數據評估方法。因各個學科的引用偏好不一樣，各個學科的縱向引用應從歷年的數據中計算出一個基數，學科間的影響力對比應基于基數去考察。譬如各個學科的半衰期的數值是不一樣的，同理各個學科的被引量也可以通過大樣本統計計算得出一個數值，在評測學科影響力時將該被引量基數作為評測依據來弱化學科自身引用偏好所導致的數量上的巨大差異。另外，個人影響力的評測需要考慮個人的職業年齡、所屬學科等等，可以通過不同學科、不同職稱、不同學位的人員分別考察其被引情況，從而體現對個人科研能力評測的公平性。

學科評估中，交叉學科的被引量從普遍意義上來講要高于單一學科。學科的引文分析囊括了學科內與學科間的引用關系。在統計出的被引總量中，計算出學科內與學科外之間的被引比例。通過學科內外的引文分析可以明確本學科的發展趨勢，也從某種程度上認識到學科與其它學科之間的關聯性。在通過引文分析考察學科影響力方面需要對學科的交叉性建立客觀認識，僅通過引文分析單一定奪學科的影響程度存在片面性，學科的交叉性是需要慎重考慮的因素。

3 從數理統計層面探討文獻計量的校正

在眾多數字資源的檢索輸出中，分析的單元都是基于文獻的。通過對文獻各項要素的著錄形成了分析的不同維面。大數據思維使越來越多的受眾考慮這些數據產生的結果而很少考慮到這些數據是如何產生的。越來越多的人士依賴檢索系統來評價科研上的進展態勢，而甚少思考這些數據的產生是否基于標準的、完整的、統一的數據計量。

3.1 科研產出源的校正評測

在目前的各類科研成果倉儲中，一般意義上來講產出源的描述缺乏細致性、規范性、準確性。僅就成果出處機構的著錄都會出現明顯的錯誤，而科研評估不僅僅只是成果的評測，各類科研產出源的優勢條件也應納入評測體系，例如，被評測對象的職稱、學歷、學科背景等。從目前檢索平臺的數據構成來看，由于數據提供的不完善性，實難完成整個科研生態體系的計量統計，為了彌補在文獻計量方面無法避免的傾向與錯誤，很有必要引入一些科學的方法來合理的校正單一成果統計上存在的弊端。

考慮到科研產出源的非規范化，以及計量上的困難，可以通過條件概率的數理統計進行弱化。將科研產出源分為軟資源和硬資源，軟資源包括人才、學科、博碩點等支撐科研產出的軟環境，硬資源包括資金、機構級別、地域等支撐科研產出的硬環境。通過大樣本統計或者專家主觀評測給定每項科研產出源在科研產出上的貢獻度數值。將被評測對象具備的各項科研產出源貢獻度數值作為前置條件計算出在該條件滿足下的科研產出概率。通常情況下，前置條件滿足量越多，其科研產出的概率值越高，相反前置條件極少具備，其科研產出的概率值較低[4]。

另外，通過檢索平臺獲取被評測對象的科研成果，將檢索獲取的被評測機構的科研產出量與起先計算出的概率數值進行對比分析，來客觀的評定被評測對象的科研產出實力。首先設定被對比的目標機構，通常情況下與被評測機構具有同質性。利用比值比較被評測對象與對標機構科研產出的概率，將概率比值與檢索平臺獲取的科研成果的數量比值進行對比，若概率比值小于成果數量比值，則說明與對標機構相比，被評測對象在相對少的科研產出源下產出了更多的科研成果。既被評測對象在科研產出實力上與對標機構相比具有優勢。相反，若概率比值大于成果數量比值，則說明與對標機構相比，被評測機構在相對多的科研產出源下產出的科研成果相對少于對標機構，既被評測對象在實際科研產出實力上與對標機構相比處于劣勢。通過引入科研產出源參照系的分析，會使科研實力的評測更接近于實際和合理性[5]。

設定兩個財經類高校進行對比分析，財經高校A具有較多的高級人才、博碩點專業分布，承擔重大課題研究項目等，在科研產出源上比財經高校B具有更多的資源優勢，經合理量化后評測財經高校A的科研產出概率為90%，財經高校B的科研產出概率為20%。通過檢索平臺獲取到財經高校A的科研產出成果為850條，財經類高校B的科研產出成果為200條，通過財經高校A與財經高校B的比值對比，概率比值為9/2，成果產出量比值為8.5/2，既概率比值大于成果產出量比值，說明與財經高校B對比下，財經高校A在相對多的科研產出源下，并沒有產出相對多的科研成果。

在實際的科研產出源貢獻度和科研產出概率計算上還是存在很多不可確定的因素，難于實現數量上的駕馭。為了實現科研評測的公允性，著實需要全面探討科研計量方面的諸多因素。

3.2 相對環境中比較科研成果

3.2.1 數據產出的縱向對比

對于機構或個人的科研評估往往是基于絕對數值的，即一定時間限度內某一學科下的成果產出量。絕對數值只是表明了科研的最終狀態，而并未能明確科研產出的效率或速度。在考察某個時間段內機構的科研情況，除一般獲取的成果數據之外，更需以同樣的方式獲取以往的科研數據，通過不同時間段的成果產出對比計算，明確科研產出量隨著時間推移的增進速率。在考察學科的科研情況時，除一般獲取的成果數據外，也需要獲取該學科下各個研究方向的成果產出情況，通過不同研究方向的產出成果量對比分析，明確學科研究的傾向性。在評價學者的科研實力時，除獲取其所產出的科研成果外，更需根據該學者的職業生涯，肩負的科研任務，自身的職業發展情況來分時間、分學科的評測其科研產出情況，據此判斷其科研產出潛質或貢獻度。縱向評測的關鍵是不可忽略歷史的存在，評測一個機構、學科、學者的科研發展態勢，需要基于一個歷史的測評點，通過對比分析和計算，來科學定位其發展所達到的程度以及所具有的潛質。

3.2.2 數據產出的橫向對比

機構或個人的科研評估不僅需要與自身的發展進行對比，更需要預設同質機構或個人進行對比，通過同類對比，可以客觀認識到相對于同類機構或個人科研狀況是處于強勢或弱勢。若科研產出量不及同類機構或個人，則被評測的對象暫處于科研發展的弱勢。若科研產出量高于同類高校或個人，則被評測的對象暫處于科研發展的強勢。在通過橫向對比評測機構的科研情況時，挑選對標機構在師資職稱、機構級別、博碩點、學科分布等方面要與評測機構的實際情況基本一致，這樣通過同質機構的對比分析，數值上的差距與科研實力上的差距才會在某種程度上趨于吻合。個人科研情況的評測也需要與同質個人進行比較，對標對象在職業年齡、職稱、學科研究方向等方面要與評測個人的實際情況基本相符，通過對比分析明確在同等境況下的個人產出實力。

確定對標評測模板，所有同質機構或個人通過與對標模板的比較，來確定自身在整個科研評測環境中的位置也是橫向對比的一種客觀評測方法。例如將某個學科某個時間段的被引次數作為該學科影響力的評測指標，通過不同機構相同學科與評測指標的對比，來客觀定位不同機構該學科的影響力差異。

4 結 語

文獻計量方法本身是大數據時代活躍的運用手段。將該方法運用到科研評估更能從客觀層面反應科研成果的水準。然而在運用此方法前，需要對學科性質、科研產出源、機構的組成等建立科學的認識，不能脫離實際去考察計量數據，本文通過數學方法、情報搜索以及比值計算等將一些科研評估中的前置因素或前提條件納入評測體系。希望通過更加公平的參照系來具有前提的評判機構、個人或學科的實際科研貢獻度。相信隨著文獻計量方法的不斷校正，我們將越來越接近于科學評價的本來面目[6]。

[1]趙飛,艾春艷,李峰,等.院系與學科角度相結合的高校科研評估探析[J].大學圖書館學報,2016，(1):76-82.

[2]趙飛，艾春艷，游越，等.基于文獻計量開展高校科研評估的探索與思考 ——以北京大學科研競爭力評估為例[J].大學圖書館學報,2014,(1):97-101.

[3]許海云,劉春江,雷炳旭,等.學科交叉的測度、可視化研究及應用——一個情報學文獻計量研究案例[J].圖書情報工作,2014,58(12):95-101.

[4]Jasleen Kaur,Emilio Ferrara,Filippo Menczer,Alessandro Flammini,Filippo Radicchi.Quality versus quantity in scientific impact[J].Journal of Informetrics.2015,(9):800-808.

[5]Péter Jacso.Pragmatic issues in calculating and comparing the quantity and quality of research through rating and ranking of researchers based on peer reviews and bibliometric indicators from Web of Science,Scopus and Google Scholar[J].Online Information Review.2010,34(6):972-982.

[6]宋麗萍,王建芳,王樹義.科學評價視角下F1000、Mendeley與傳統文獻計量指標的比較[J].中國圖書館學報,2014,40(4):48-54.

TheProblemsandCorrectionofBibliometricinScientificResearchEvaluation

Dong Yueke

(Library,Shanghai University of International Business and Economics,Shanghai,201620,China)

Based on bibliometric,considring the assessment problems exists in the source of research achievements,achievements statistics and personal influence,the paper used mathematical method,information search and ratio calculation to correct one-sidedness,limitations and in statistics.The precondition,the evaluation background and other factors were included in the evaluation category,so that the bibliometric was more fair,and realistic in the research evaluation and reflected the scientific research strength of the evaluation object.

bibliometric;research assessment;academic influence

10.3969/j.issn.1008-0821.2018.01.018

G250.2

A

1008-0821(2018)01-0127-04

2017-08-23

董岳珂(1977-)，女，館員，研究方向：信息素養教育。

郭沫含)