基于文獻引證關系的人文社會科學論文評價

□任全娥 郝若揚

1 引言

在發表科學論文或著作時，作者往往采用尾注或腳注等形式列出其“參考文獻”或“引用書目”。這樣就形成了科學文獻之間的引證與被引證的關系。引證文獻是科學文獻的基本屬性之一，科學文獻的相互引證關系是引文分析的主要依據。所謂引文分析（Citation Analysis），就是利用各種數學及統計學的方法和比較、歸納、抽象、概括等邏輯方法，對科學期刊、論文、著者等各種分析對象的引證與被引證現象進行分析，以便揭示其數量特征和內在規律的一種文獻計量分析方法［1］。這一方法可以反映出一篇論文、一名科學家、一種科學期刊在科學發展過程中所起的作用；反映出科學論文之間、科學家之間、科學期刊之間、科學專業之間的相互聯系與區別。因此，引文分析方法在科研評價及知識關聯分析中得到了廣泛的重視和應用。實踐證明，這種方法可以有效地應用于許多領域，正在發揮著越來越大的作用。

文獻計量學引文分析法在成功應用于測評許多自然科學研究之后，又被逐漸擴展到測評社會科學與人文科學的研究。然而，由于學科的特殊性與發展規律的差異，為評價自然科學研究成果而發展起來的文獻計量評價方法，如果不經過審慎研究與反復測試，是不宜在大多數社會科學與人文科學中使用的。

2 文獻計量方法之于人文社會科學評價的特殊性

與自然科學相比，人文社會科學研究人員在知識生產和引文行為上存在著很大的區別，將文獻計量方法用于人文社會科學評價時需考慮其學科特殊性。

首先，人文社會科學研究具有明顯的地域性。許多自然科學家是面向國際公眾的科學家，但人文科學與社會科學領域的相當一部分產出主要是面向國家或者區域的主題，它們通常出現在區域或國家的期刊、專著或者研究報告中。所以從一個國家的人文科學或者社會科學研究中獲得的結果對于另外一個國家的研究人員不一定十分有用。這當然并不意味著社會科學與人文科學研究將天然永遠地受國家或地域的限制，但是這種傾向往往比大多數其他學科都要顯著。

其次，人文社會科學學者在期刊發表文章相對較少，而以書籍或研究報告形式出現的成果較多。人文社會科學的研究產出與參考文獻，大都是以著作與研究報告為主，期刊論文的比例只是很少的一部分，而且學科內部的差異性也很大。但近年來，由于越來越多的期刊引文數據在評價中發揮作用，大部分社會科學與人文科學學者也越來越頻繁地在期刊（特別是被湯森路透Web of Science收錄的期刊）發表文章，這一跡象在中國高校表現較為明顯。

再次，人文社會科學與自然科學有著不同的理論發展步伐。與許多硬科學相比，大部分人文社會科學看起來有理論發展緩慢的特點。而且，在人文社會科學內部各學科之間也會有很大的不同。這可以由不同學科引文類型的結構與特征反映出來，比如人文社會科學期刊論文的半衰期比較長，舊文獻的引文率較高，而且往往比自然科學領域的參考文獻量要少。我們常見的現象是，在物理和化學中，本科教材中重要的理論和范例都有共識，而在社會學教材中存在的共識很少，多半是隨著社會需要而研究現實問題，針對某一專題提出自己的觀點與看法，并且當前的各種熱門話題都有可能被探討。很顯然，在人文社會科學領域，既定的知識核心很小，研究前沿相對很大。

3 人文社會科學論文評價體系設計思路

科學文獻之間的互相引用，形成了學術交流中的“無形學院”，反映了科學知識轉移的自然狀態，同時也為文獻計量中的引證關系分析提供了便利條件。2001年美國德雷塞爾大學教授懷特（Howard D.White）在其論文Authors as Citers over Time中，把“一位作者所引用過的所有作者的集合”稱為“引用認同”（citation identity）［2］。第二年，美國印第安納大學教授Blaise Cronin與Debora Shaw在專業期刊《科學計量學》（Scientometrics）上發表論文，將“共同引用一位作者的所有作者的集合”稱為“引證圖像”（citation image）［3］。從某種 程度上 來說，引用認同和引證圖像是兩個相反的概念。引用認同從作者引用的角度進行分析，而引證圖像則從作者被引用的角度進行描述，二者是引用與被引用的關系。

3.1 “引用認同”評價方法

社會科學研究不便如自然科學那樣通過重復實驗來檢驗研究成果的科學性，只能從作者在研究過程中對已有知識的閱讀與吸收程度，來考察其研究的嚴謹性、新穎性與科學性。這些研究路徑一般會在研究成果的參考文獻（這里是廣義的參考文獻，包括文中腳注）中反映出來。由于同行專家對相關領域的最新研究前沿及有影響的論著較為熟悉，參考文獻對該領域重要文獻的覆蓋情況及吸收程度，基本上可以作為專家主觀判斷的直接依據。

假設學術交流與知識傳播流程是一個閉環結構。在這個閉環結構里，引用認同是作者引用的文獻集合，它反映了作者的研究路徑；而這又可以為專家和編輯提供評價論文內容創新的依據；經過審核的優秀論文可以作為經典論文進入數據庫，以供作者寫作時進行閱讀、吸收、參考；其參考文獻又會形成新一輪的引用認同文獻與作者集合。如此循環往復，周而復始，不斷促進學術交流與新成果的產生，也不斷豐富引用認同與經典論文數據庫。論文作者的引用認同，體現了作者對研究領域信息源的熟悉程度、對文獻甄選閱讀與知識吸收能力，基本描畫出作者的研究路徑，從一個側面反映出成果的文獻覆蓋程度與知識含量。一定程度上，如果引用認同的是高質量論著與杰出作者，說明其研究是站在高起點上進行的；如果引用認同的大多是陳舊過時的劣質論著，說明作者的研究視野狹窄，成果質量也不會太高。圖1展示了引用認同在整個學術交流循環中所處的位置。

圖1 引用認同學術交流循環圖

在傳統的知識生產過程中，作者根據自己平時的閱讀積累與生活閱歷，厘清知識流變，闡述自己觀點，不斷豐富人類的知識寶庫，成為后人反復誦讀、參閱的學術經典。隨著學科建制的形成及科研工作的職業化，大量的科研人員與論著不斷產生。面對海量的文獻信息，作者需要從中甄別出可供參閱的有用文獻，編輯需要審核來稿參考文獻的真實性，評審專家需要評價論著的創新性。此時，由基本參考文獻與學科領域核心作者共同組成的知識點地圖（數據庫）就成為一個很有用的參考工具。圖2則是引用認同在知識生產中的作用流程圖，涉及到作者、編輯、專家、論文、參考文獻、知識點地圖等要素。

這里的知識點地圖（數據庫），是通過大量作者的引用認同而形成的文獻與作者集合，并在此基礎上經過專家評審而篩選出的知識創新點及作者布局圖。專家與編輯在評閱一篇論著時，需要同時借助引用認同與知識地圖，來評價論著的科學性與創新性。也就是說，編輯在編發一篇論著時，假設作者已經參閱了基本參考文獻，發表才是合法的；專家在評審一篇論著時，假設作者已經找到了知識點地圖的最前沿，并以此為起點，在知識地圖上貢獻出新的知識點。人文社會科學的研究無法像自然科學那樣重復驗證，因此其科研成果的科學性檢驗只能借助其參考信息源來查閱成果的形成路徑，以此判斷論點是否言之有據。如果研究論據與信息源是真實可靠的，研究方法是科學的，基本上可以認為該成果是科學的。從某種意義上，參考信息源的可靠性程度，決定著研究成果的科學性程度。

圖2 引用認同在知識生產中的作用流程圖

由于引用認同是通過參考文獻反映出來，而參考文獻是學術論著的必要組成部分，是與研究成果的正文內容同時產生與傳播的，因此該評價方法不受評價時限及引文數據庫的影響。在自發做學問的年代，可以不必借助任何信息工具，只要提供學術成果本身（包括正文和參考文獻），學者個人就可以完成上述的知識生產與評價過程。同樣，在學科建制已經很成熟的信息技術時代，某些人文社會科學領域仍然可以由領域專家借助知識點地圖（數據庫）來完成成果評價。此時，參考文獻就與正文一起成為領域專家評價的客觀依據。引用認同從作者研究路徑的角度，為同行評議提供了最為可靠、可行、方便的參考信息，這對于引文行為較為復雜、引文周期長短不一的人文社會科學成果來說，不失為一種更為合理與可操作的評價方法。而且，引用認同比引證圖像更能反映直觀、全面、客觀與方便的評價信息，適應了人們習慣于通過成果本身進行即時評價（相對于引文分析的延時評價而言）的習慣。這里的引用認同評價，主要功能在于充分挖掘與發揮專家的定性判斷優勢，而此時的文獻信息系統平臺，就為專家展示出一個全景式的學術交流狀態信息。

在提供學術交流信息呈現服務方面，目前國內做得較好的是中國知網（簡稱CNKI）數據庫［4］與萬方數據知識服務平臺。檢索系統把每一篇文獻的參考文獻、引證文獻、同被引文獻、相似文獻、相關博文等都放在同一檢索頁面展示出來，用戶一看便知該文的研究背景、探索過程、學術影響，以及與其他文獻、作者或機構的知識關系。在論文評價方面，CNKI與萬方數據平臺為我們提供了方便快捷的數字化產品，每檢索出一篇論文，系統就可以顯示出該文的所有相關文獻篇目列表，而且可以鏈接到論文全文。作為微觀層面的成果評價，具體某一篇學術論文的評價更需要全面與精細，如此才會使評價結果相對客觀。評價時，不僅要從被引文獻審查論文的學術影響與價值，還要從參考文獻查尋其研究路徑與知識寬度。在全方位對文獻信息展示方面，CNKI與萬方數據平臺以各自不同的風格為我們提供了引用認同評價方法的信息工具。萬方數據服務平臺還提供每篇論文的“添加到引用通知”功能，隨時監測論文的動態被引情況，同時在線展示論文的相關檢索詞、相關專家、相關機構列表及知識鏈接。CNKI與萬方數據服務平臺相比，在成果評價功能方面還有些不足，比如萬方數據服務平臺提供了論文的非期刊參考文獻的題錄信息，而CNKI在參考文獻與施引文獻中均沒有顯示出期刊論文之外的其他類型參考文獻。另外，由于這些數據庫產品中的信息加工還局限在語法信息層面，沒有深層次的基于語義信息的知識挖掘，不便直接進行創新性評價與科學性評價，因此當其作為評價信息源時還需要學科領域的專家通過綜合分析提取相關知識點。

圖3 湯森路透Web of Science引文數據庫檢索結果截圖［5］

國外湯森路透公司的 Web of Science（簡稱WoS）引文數據庫在信息展示全面性與知識挖掘深度方面，也很有特色。該引文數據庫來源文獻也是以期刊論文為主，但是在每一篇檢出論文的參考文獻中都可以展現出所有類型的文獻，并非只有期刊論文參考文獻。與CNKI類似，WoS引文數據庫在施引文獻列表中也沒有顯示出被期刊論文之外的其他文獻的引用情況，只在檢索頁面上注明是在WoS中被引用的次數。此外，WoS引文數據庫還通過“引證關系圖”與“績效趨勢”等技術實現了深層次的知識挖掘，為同行評議提供了更為深入系統的信息集成平臺。具體檢索結果網頁截圖如圖3所示。

總體而言，無論引文數據庫的結構與功能如何完善，整個知識生產與評價過程都離不開同行專家的參與和定性判斷，并且需要通過同行評議做出最后的綜合評價。另一方面，也正是由于借助了數據庫提供的文獻引用認同評價信息，才使同行評議結果在較高的信息集成水平上更具權威性。

隨著情報學研究的深入與信息資源管理技術的進一步智能化，上文所述的知識點地圖操作系統應該不難實現。另外，除了技術層面的支持，還需要從制度層面加以規范與約束，從作者、編輯、專家到讀者，都應嚴格遵守基本參考文獻制度，才會實現圖1所示的良性學術交流循環。

3.2 “引證圖像”評價方法

引證圖像主要從論文被引用的角度評價對其他作者產生的學術影響。論文被引用次數是國際通用的文獻計量評價指標，它對引文數據庫的依賴非常明顯。目前，在國內外已經形成了引文分析經典理論及成熟運作的引文數據庫，國外引文數據庫如湯森路透的WoS與愛斯唯爾的Scopus等，國內引文數據庫如中國社會科學院的“中國人文社會科學引文數據庫”（簡稱CHSSCD）與南京大學的“中文社會科學引文索引”（簡稱CSSCI）等。

本文從論文被引用的視角設計出核心論文、高被引論文與經典論文的評價方法。所謂核心論文，是指進入某一學科核心區的論文，即被這一學科的來源文獻引用次數較多的論文。所謂高被引論文，是指被所有學科（包括自然科學與社會科學）的來源文獻引用次數較多的論文。所謂經典論文，是指既是某一學科的核心論文，同時又在所有學科中是高被引論文的高貢獻率論文。經典論文不但在本學科具有很強的影響力，而且還在其他學科中產生廣泛的影響。

論文被引證是文獻計量學研究的主要內容，也是評價學術影響的國際通用指標，該指標反映了研究成果對其他作者產生的影響及發揮的學術價值。但是，由于論文被引是一個延時性間接評價指標，評價時段的選取是否科學，被引數據的獲取是否全面，都會影響到評價結果的客觀性。因此，無論是國際上的三大引文數據庫SCI、SSCI、A＆HCI，還是國內的引文數據庫，由檢索功能衍生出的評價功能，在學界一直是褒貶不一，對其產生的一些負面社會影響也是非議頗多（主要在人文社會科學領域）。其實，責任并非全在引文數據庫，應該是使用者過分夸大了數據庫的評價功能，沒有客觀認識到被引指標的局限性。要想充分發揮引文數據庫的評價功能，就要遵循文獻計量學原理及學術交流規律，在全面熟悉數據庫的收錄范圍與數據結構的前提下，設計科學合理的指標體系，并將評價結果的使用限制在有限范圍內。因此，成果的被引評價是一種受限于引文數據庫的有限評價，明確這一點對評價者與被評價者都很必要，否則很容易出現事與愿違的評價結果。

如前文所述，通過文獻引證關系評價人文社會科學論文時，需要充分考慮人文社會科學的學科特殊性及引文數據庫中存在的障礙性因素。因此，針對數據庫收錄范圍、評價時間段的選擇、出版物形式的多樣性這些問題，我們擬采用自建的人文社會科學引文數據庫，通過文獻計量方法與技術手段逐項排除與解決。

（1）數據庫收錄范圍問題

人文社會科學研究需要更多地面對本國的實際問題，對引文數據庫的收錄范圍與局限性要有充分的認識。如果盲目選用國外引文數據庫來評價中國的人文社會科學研究，必然會引起我國學術“被西化”的誤導。因此，我國需要全力加強中國人文社會科學引文數據庫建設，選用本國的引文數據庫來評價我們的中文學術論文。中國社會科學院自主研發的人文社會引文數據庫，將會在我們后續的人文社會科學成果評價研究中，更加完善并發揮作用。

（2）評價時間段的選擇問題

由于文獻引文與科學交流中普遍存在著“睡美人”現象，人文社會科學評價尤其需要歷史評價與延時評價。影響因子（IF）是美國科學信息研究所（ISI）的期刊引證報告（JCR）中的一項數據，即某期刊前兩年發表的論文在統計當年的被引用總次數除以該期刊在前兩年內發表的論文總數。但是，由于人文社會科學中各學科文獻的被引周期差異很大，如果簡單借鑒自然科學的做法，“一刀切”地將評價時段（時間窗口）確定為2年，或者為5年（近幾年，CCSI、A＆HCI及CSSCI等國內外引文數據庫都將引文指標的統計窗口延長為5年）的話，就不太符合人文社會科學結構復雜的學科特點。這樣做的評價結果對某些學科（如歷史學）必然會有失公允，從而影響到引文分析法對人文社會科學評價的有效性。因此，本文采用自行研制的人文社會科學引文數據庫的數據，分別統計各學科的平均引文半衰期，測試出各學科領域的最佳評價時段。

表1 各學科引文的平均半衰期

從表1可以看出，考古學、歷史學、文學的引文半衰期均在10年以上。考慮到評價的功能之一是引導與激勵，而激勵既要適度又要適時才能達到預期效果。所謂適時激勵，就是管理者在適當的時機使用能為對象所感知從而引導其朝著某個特定方向或為完成某個目標而采取行動的驅動力和緊張狀態。適時激勵需要選擇適當的時機，過早的激勵會使員工感到激勵的獲得并不需要付出多么艱苦的努力，因而容易使員工產生“激勵輕視癥”和“激勵麻痹癥”；遲到的激勵則會因為員工不能及時感知激勵的存在，難以滿足其預期的目標要求而產生防衛性行為和抵觸情緒，從而給工作造成損失。雖然遲到的激勵并不代表不激勵，但其間由于員工防衛性行為和抵觸情緒造成的損失已既成事實，無法挽回，其結果有時甚至比不激勵行為更糟糕［6］。因此，對于部分引文半衰期較長的學科，引文評價的延時性與激勵的時效性之間需要有個平衡，二者的時間交點就是評價的最佳時間。

（3）出版物形式的多樣性問題

圖4 復合層次論文評價概念圖

對于人文社會科學出版物及引文形式的多樣性問題，我們采用自主研發的引文數據庫測算出各學科引文類型及其所占比例。如表2所示（僅顯示部分數據）。

表2 各學科引文類型及其所占比例（按降序排列）

從表2可以看出，馬克思主義、哲學、宗教等學科論文參考文獻中，著作出版物所占比例最高，而心理學、統計學、人口學、管理學等學科論文參考文獻中，占比例最高的是期刊論文，但也很少過半，僅是在57.35%、45.26%、41.59%、44.04%之間分布。這一數字說明，著作是人文社會科學的主要出版物形式，如果僅從被期刊論文引用來評價人文社會科學成果，難免以偏概全。此時，需要認真研究人文社會科學中各學科的學術交流與文獻特點，通過時間限制、空間限制與階段限制來設計評價指標體系，實現文獻計量方法的“有限評價”功能，使其與社會評價、同行評議等評價方法一起參與學術評價活動。

3.3 復合層次評價方法

綜合考慮社會評價、同行評議、文獻計量各因素，我們設計出復合層次論文評價概念圖。具體如圖4所示。

圖4中箭頭所指的方向，指的是評價指標項的增加及評價因素的復雜性遞增趨勢，并非指向各級論文的產生流程。不同級別論文之間的關系也并非嚴格的遞進關系，其概念內涵存在著部分重復與交叉。核心論文、高被引論文與經典論文三者都是從論文的被引情況評價其學術影響。優秀論文在被引的基礎上增加了發表期刊與轉載情況，屬于綜合性客觀指標評價。獲獎論文的評選涉及的因素最為復雜，不僅有論文質量因素，還會有利益平衡因素，評價結果在很大程度上受到評價目標與評價主體的影響。正因為此，本文設計出獲獎論文的參評資格，即獲獎論文必須是優秀論文，是經歷過綜合性客觀指標篩選出的論文（對于個別數據表現異常的優秀論文可以申請單獨評審）。這樣，就在一定程度上限制了獲獎論文評選中的人為干擾因素，使獲獎論文在保證質量的前提下實現利益分配與協調。

從論文評價指標的性質來看，核心論文、高被引論文、經典論文屬于用文獻計量指標評價出的高質量論文；優秀論文屬于用間接指標（包括文獻計量指標）評價出的高質量論文；獲獎論文則屬于用復雜性指標評價出的高質量論文。這里的復雜性指標，是借用復雜性科學的理論，因為論文評獎不僅是學術問題，還是社會問題，對于研究處理復雜社會關系與人類行為的社會科學來說，很難用線性的或簡單化的思維方式與傳統模型，而應強調人類認識的自組織性、多樣性、非線性、整體性、不確定性特征。但是，從論文的質量與學術水平來講，三種方法評價出的高質量論文并非有嚴格的高下之分，它們之間是一種互相影響、緊密關聯的齒輪關系，見圖5。

圖5 不同論文之間的關系齒輪圖

4 結論與展望

人文社會科學研究的復雜性與特殊性，決定了對該領域的評價與管理不能簡單借用自然科學的做法，需要細致而審慎地運用文獻計量指標，正確地處理與社會評價和同行評議之間的關系。人文社會科學研究論文評價的進一步研究，還需要從以下幾個方面深入有效地開展。

（1）期刊的影響力評價不是預測每篇文章實際引用影響的良好指標，還需要設計出針對單篇論文的評價指標體系。而且，社會科學論文需要增加比自然科學論文更多的限制條件，如地域分布、引文年限、文獻類型等方面。

（2）引文評價需要更多地依賴于引文數據庫的地域及語種覆蓋范圍，因此要合理使用外文引文數據庫，加強中國社會科學引文數據庫建設，贏得中文的世界話語權。與此同時，國際與國內引文數據庫的智能組合與對接也很重要。目前，中國科學院的中國科學引文數據庫已通過多種方式與湯森路透和Google等機構合作，進行引文數據的信息資源整合；中國社會科學院的中國人文社會科學引文數據庫也應順勢而為，積極把中國社會科學的豐富成果融入到世界交流平臺，使世界了解中國，使中國融入世界。

（3）未來的科學研究評價應該是文獻計量和同行評審之間的有機結合。同行評審方式需要參考文獻計量分析的結果，同行委員會也可以根據文獻引證分析結果做出初始的判斷。實質上，從發表論文到引用論文，文獻計量指標已經從另一個角度折射出同行評審與專家推薦的過程與結果。

（4）對于社會科學研究成果，基于使用的評價指標不僅限于被引用，還應有網絡瀏覽與下載指標，以及被政策吸收、社會反響等社會價值指標，這些指標分別反映了研究成果在科學信息交流的不同階段被使用的情況。這就需要將考察視域從收集作者信息拓展到收集用戶信息，從引用文獻拓展到閱覽并采納文獻，從考察作者單位拓展到用戶的賬戶名稱，從引用次數拓展到網絡影響及社會受益范圍，等等。

1 邱均平等.信息計量學.武漢：武漢大學出版社，2007：317

2 White HD.Authors as citers over time.Journal of the American Society for Information Science and Technology，2001，52（2）：87－108

3 Cronin B.，Shaw D.Identity－creators and image－makers：Using citation analysis and thick description to put authors in their place.Scientometrics，2002，54（1）：31－49

4 清華同方中國知網.［2011－12－06］.http：／／epub.edu.cnki.net／grid2008／detail.aspx？QueryID＝4＆CurRec＝1

5 湯森路透引文數據庫.［2011－12－6］.http：／／apps.webofknowledge.com／full＿record.do？product＝WOS＆search＿mode＝ GeneralSearch＆qid ＝ 7＆SID ＝ 4CCONLje3G4lphLa ＠gN＆page＝1＆doc＝2

6 羅明祥.適時激勵是企業管理的有效方法.科技進步與對策，2002，（7）：111－112