中國科研成果評價的反思

劉鋼

(中國社會科學院哲學研究所，北京 100732)

一、引言

中國科學的進步與中國在世界上的崛起有著密不可分的關系，越來越多的中國科學家在國際主流科學雜志上發表科學論文。 另一方面，SCI等影響因子在科技評估中廣泛甚至過分地應用，成為畢業、招聘、晉升、資源分配及個人的主要依據。一些大學、研究單位也拼命追求高影響因子論文，而不顧論文本身的意義和對人類社會的貢獻。 于是，在科學論文上剽竊、做假的事件呈上升趨勢。 而科學論文的弄虛做假，越是在高影響因子雜志上，越是在有名望的單位發生，其破壞性就越大，影響越深遠，甚至影響一個國家一個民族的聲譽。因此，倡導科學道德教育是一項長期艱巨而重要的任務。

在當下中國對于人才的渴求非常大、需要大量博士的情況下，對他們進入高校的“門檻”也越來越高。這體現在幾個方面，尤其與其科研能力有很大的關系，下面讓我們看一下哈工大材料學院材料物理與化學教師科研方面的要求：

1)主要科研方向為納米功能材料合成與表征。

2)博士期間作為第一和第二作者發表論文被SCI(Science Citation Index)收錄文章數量>10篇，影響因子累加和>40，影響因子>3的文章數量不少于5篇，單篇SCI 他引次數>15次。

3)作為項目主持人或主要研究人員，參與過國家自然科學基金項目、國家863項目、國家973項目、科技部支撐計劃項目等國家級項目一項以上。

4)有較好的學術報告演講能力[1]。

我們不去評價哈工大這條招聘啟事的其他方面，僅僅就其第二條關于SCI的要求發表一點看法。強調SCI有它的合理成分，因為國外的源期刊(相對于國內的核心期刊)均被SCI收錄，因此一旦被SCI收錄，研究人員的成就便會大大得到重視。可是，就是這套SCI系統在我國科研評價系統中被濫用了。可以說高校對SCI的要求已經到了一個極端的程度。這邊出現了哈工大那種令人“匪夷所思”招聘要求。我認為這對我國科技發展是有相當的負面作用的。在此我們僅僅以SCI為例來討論相應的負面影響，而對EI之類的則沒有納入考察的對象。

二、SCI的問世所引發的后果

其次，我們要弄清楚SCI究竟是什么東西，為什么讓我國科研管理部門對此如此重視呢？目前科學引文索引(Science Citation Index)(簡稱SCI)，是國際媒體巨頭Thomson-Reuters公司麾下非常有影響的文獻檢索系統。該系統向全世界各國圖書館和大學出售使用權限。這為Thomson-Reuters公司帶來的巨額收入。那么SCI的前身是什么？它又是如何成為Thomson-Reuters公司的“搖錢樹”呢？這個問題還要從SCI及其創始人加菲爾德(Eugene Garfield)的工作說起。加菲爾德畢業于美國哥倫比亞大學，1949年獲圖書館學碩士，1954年獲賓大結構語言學博士。1955年他在著名刊物《科學》(Science)上撰文，提出“引文索引”(citation index)的設想，希望能提供一種文獻計量學的工具來幫助科學家識別感興趣的文獻[2]。

加菲爾德的設想由1958年諾貝爾醫學獎得主萊德伯格(Joshua Lederberg)促成，美國國立衛生院(NIH，National Institute of Health)決定資助加菲爾德的《遺傳學引文索引》(Genetics Citation Index)。但后來由于1961年版的《遺傳學引文索引》還包括其他學科文獻的索引，NIH和美國國家科學基金會(NSF)不愿意出版。所以SCI從一開始便存在著分類混亂等缺陷。與此同時，很有商業頭腦的加菲爾德，于1960年創辦了科學情報研究所(Institute for Scientific Information)，盡管叫做研究所(Institute)，其實是一家私人公司。它于1964年開始出版SCI。這就是最早的印刷版本的SCI。而加菲爾德也成為SCI之父。這便是《科學引文索引》(Science Citation Index或SCI)的前身。

SCI是一部世界著名的期刊文獻檢索工具。后來于1992年被世界上的最大傳媒集團Thomason-Reuters收購，其出版形式包括印刷版期刊和光盤版及聯機數據庫，現在還發行了互聯網上Web版數據庫。Thomason-Reuters每年發布一個簡稱為JRC(Journal Rating Citation)的年度報告，對全世界各國的刊物進行評價，從而得出所收錄刊物的影響因子(Impact Factor，簡稱IF)[3]。

加菲爾德想不到的是，從他的引文分析這一概念的問世到SCI的出版，在引文分析領域產生了始料未及的結果(unintended consequences)，其應用范圍不斷被擴大和延伸，不但被廣泛用于評價科學研究的影響(impact)和質量(quality)，而且用于確立科學家的學術重要性(intellectual influence)或在學術界的聲譽(academic reputation)。

眾所周知，引文衡量的究竟是科學研究的影響還是質量？這是一個頗有爭議的問題。加菲爾德和他的同事謝爾(Irving Sher)曾將那些公認的做出過高質量工作的科學家的論文的平均引文數，與那些尚未取得這種認可的科學家的論文的平均引文數做過比較，結果發現，1962 年和1963年的諾貝爾物理、化學、生理或醫學獎得主在獲獎之前的論文引文數大大超過其他科學家。這便是用引文分析預測諾貝爾科學獎得主之濫觴[4]。

SCI是因應引文分析(citation analysis)的需要而出現的。引文分析就是統計一篇論文發表后被多少其他論文引用。對一份期刊在某一年發表的全部論文的引用數，決定該期刊的影響因子。影響因子是一個統計值，所以，討論個別論文的影響因子是沒有意義的，也不能根據科學家發表論文的期刊的影響因子大小來決定科學家工作的重要與否。當然，影響因子高的期刊，在科學共同體內有影響，科學家都想法設法到那里去發表論文，從而不但提高自己的影響，也進一步推升期刊的影響因子。這就是IF能夠提升刊物質量使之成為所謂的“核心期刊”，繼而吸引科學家將優秀的工作在那些核心期刊上發表，以提升自己在學界的影響力。這就是SCI及其IF對科學界的正面影響。

既然引文分析和IF成為各類學術排行榜的一個重要指標，那么，美國國家研究理事會(National Research Council)在衡量美國大學博士專業質量或聲譽時，就用它作為所在系的教授的研究質量指標之一。科學社會學家科爾(Jonathan R.Cole)曾任哥大教務長多年，審核過400多例終身教職的案例，據他回憶，其中三分之一案例提供了引文數。但他們其實并不清楚引文數究竟衡量的是什么。

不難看出，SCI系統不過就是一套“提供一種文獻計量學的工具來幫助科學家識別感興趣的文獻”的工具而已。該系統于1992年以后由南京大學率先引入教師業績評價，自此SCI便在中國各個大學甚至科研部門成為一種強大的“機器”。是我國科研管理部門衡量一個科研人員的尺度，進而成為“進入門檻”。

三、科學評價與引文分析的關系

盡管對如何使用SCI莫衷一是，引文分析的許多合理的方面也備受懷疑，不信由您，這個現在用來決定科學家和學術機構的命運的產品，最初是由科學社會學家、說得更確切是由科爾引入科學評價的。1981年，芝加哥大學出版社出版了他的專著《科學的社會分層》(Social Stratification in Science)，就是基于他們對美國物理學家的論文的引文分析之上的[5]。

事情要回溯到1957年，默頓(Robert K.Merton)以“科學發現的優先權”為題，在美國社會學會年會上作會長演講[6]。默頓1938年以《17世紀英格蘭的科學、技術與社會》[7]的論文從哈佛大學獲得社會學博士，其后雖然也發表過“科學與社會次序”、“民主次序下的科學技術”等論文，但在其后的十多年間，他沒有再作這個題目。此次演講標志著他再次將科學作為一種社會體制來研究。

從1965年秋季開始的十多年間,NSF支持默頓在哥大社會學系開設科學社會學研究生課程。第一批學生包括后來以研究科學為主要對象的社會學家科爾兄弟。科爾兄弟的興趣在于：科學家的知名度(visibility)是由什么決定的？在確定知名度方面，科學出版的數量和質量哪個更重要？

耶魯大學的科學史家普萊斯(Derek J.de Price)的《小科學，大科學》在考察科學的發展時，選擇了一系列指標來衡量科學的產出和各學科領域的知識增長率[8]。他假設，科學增長符合“邏輯增長曲線”；科學文獻中的很大一部分是由一小部分科學家所貢獻，從而引入了科學家群體的引文和大樣本等指標。顯然，普萊斯是將這些指標作為“因變量”來解釋科學增長的。普萊斯在《小科學，大科學》曾有如下的論述:在同一主題中,半數的論文為一群高生產能力作者所撰,這一作者集合的數量上約等于全部作者總數的平方根，這便是著名的普萊斯定律。

而科爾則更對科學家的學術生涯、創造力和所受到的社會承認等社會學問題感興趣，尤其想弄明白科學的創造力為什么會有差異，科學上的獎勵是否主要由質量來確定的。也就是說，他們試圖將科學產出看作“解釋變量”。就在他尋找解釋創造力差異的穩定指標時，他們了解到，加菲爾德已經編成了1961年和1964年兩年的SCI。于是，他們把SCI拿來做重要的研究工具。盡管加菲爾德是哥大畢業生，而且哥大的科學社會學家們在SCI剛問世時使用SCI的數據，無形中是支持SCI、為SCI做廣告，但是，他向科爾兄弟提供數據，卻從來沒有免費過。

科爾兄弟收集了在1959—1963年間授予2個博士學位以上的86個美國大學物理系的物理學家的名單，一共2079人，并從《美國科學名人錄》收集這些物理學家的學術生平，從《科學索引》(ScienceAbstract，不是SCI)找出他們的文章數，從SCI收集他們的論文的引文數。隨后，科爾兄弟根據這些物理學家的年齡、所在學校、產出和獎勵等分層，隨機挑選出120名物理學家。最后，科爾兄弟向2079名物理學家發問卷，向他們了解是否熟悉這120名物理學家的工作或者聽說過他們的名字。

科爾試圖用這些物理學家所在系的知名度、科學創造力的水平、研究的質量、是否獲得過特殊榮譽、年齡和其他有可能導致科學家獲得承認的變量之間的關系，來解釋這120名物理學家得到承認的差異。他們指出，僅僅用論文數來衡量科學產出會產生誤導，因為這么做忽視了論文“質量”這個關鍵變量，他們第一次提出用科學家論文的引文數來衡量其研究的質量和影響。所以，從科學社會學的角度看，科學評價與引文分析有關系。

四、SCI在中國的濫用

SCI本來是一個檢索的工具，由于知識生產越來越多，對其檢索也越來越繁瑣，因而才出現了SCI這些檢索工具。它們為文獻、圖書、期刊等二線工作人員創造了便利。這是他們的工作領域，從某種意義說，SCI與一線的科研人員沒有過多的直接關系。這些檢索工具都是后驗的，其基礎是建立在已有的知識生產的結果上的。如果它們本身脫離了原始論文，它們是沒有價值的。換句話說，他屬于一種二階的知識體系。

可是，這套檢索系統進入中國之后，其原來的功能卻被扭曲了。這就不得不令人感到痛心。有人曾好心和以現實性的角度向青年學子提出建議，認為國內畢業或國外回來的博士有相當一部分還是選擇高校、科研院所工作，例如進入高校(985)進人的標準一看論文，二看畢業學校。這雖然不合理，但也是沒辦法的辦法。

天才畢竟是極少數，所以進人的標準只能根據你被SCI所檢索的論文數量和你所畢業的學校。總結一下高校進人的分類標準基本上是這樣的(僅對剛畢業的博士，成熟人才就另當別論了)：

第一類：SCI文章多且影響因子高，畢業學校為名校，比如本科到博士都是名校畢業，高校豈有不接收你的道理。

第二類：文章少但有高影響因子的SCI(如一區的雜志)，畢業學校也不錯，高校基本上接收。

第三類：有幾篇SCI文章，畢業學校也不錯，高校一般會考慮要你。

第四類：有幾篇SCI，但畢業學校一般，比如本科非985 或211畢業，高校基本不考慮。

那么青年教師以后提職稱主要的衡量標準是什么？看看各大學人事處制定的評職稱標準就知道，最重要的還是這幾條：一是SCI文章，二是獲獎級別，三是主持項目的級別。

最后結論：在目前的國情和評價標準下，在你成為某個領域的“權威”之前，SCI還是最重要的指標之一。年輕的博士還是要更加努力地去多發SCI文章，在多發的基礎上盡量提高影響因子。

難道還看不出來，這種對SCI的誤解和實際工作中的誤用，還不是對我國科研的負面影響嗎？無論是加菲爾德編撰SCI、還是科爾兄弟運用SCI來衡量科學家工作的質量和影響，他們關注的都是引文(citation)。而中國僅僅強調 SCI論文，即在SCI收入的期刊上發表的論文與SCI有關系。

根據SCI論文來獎勵科學家、根據 SCI論文多少來為學術機構排名，都不是SCI的本意。

SCI的創新之處在于引文數，論文數只有在計算影響因子時才有用。而引文數又是一個統計值，即使用于科學工作的評價，它也不是無遠弗屆的，有其局限性。

在中國，是SCI論文、不是SCI成了“解釋變量”，決定了科學家能否得到晉升和獎勵、研究生能否獲得學位等。因而，有的一線科研人員對自己工作不能靜下心來，卻往往想著如何在SCI收錄的刊物上發表文章，從而形成本末倒置的關系。從事過科研工作的人都知道，一個人一生可以寫許多文章，但真正有價值的卻不多。我國在這方面所下的功夫太大了，也就難免出現偏差。尤其是對于科技管理部門，從管理的便捷性出發，看一個科研人員的水平就是看他有多少被SCI收錄的論文數。從某種意義講，這種片面的、不從整體上考察科研人員的做法也是對我國科研事業的一個負面的影響。

SCI論文在中國充其量類似于普賴斯研究中的“因變量”，而導致中國SCI論文數急劇增長的“解釋變量”不僅包括研究開發經費的增長、研究生的擴招，還包括對SCI論文的“崇拜”，正是這最后一個因素，導致中國科學論文增長而研究質量并沒有隨之而水漲船高。盡管數量的擴張有可能最終帶來質量的上升，但是，由于評價工作沒有注重質量，質量是否會提高還是未知數。

筆者看來，中國科學界的當務之急，不僅在于重新認識SCI在科學評價中的作用，而且有必要進行仔細的經驗研究，弄清楚中國科學的質量和影響，從而找準在世界科學界的真正地位。

五、一點反思

科爾兄弟選用每個物理學家引用最高的3篇論文的引文數，以此為質量指標。由于物理學的貢獻往往不是由一篇論文所決定的，他們使用一年內發表的論文數。引文數經過加權才有意義，即給引用以前發表的論文的引文數以較大的權重。在比較不同時期的工作時，他們對引文數做標準化處理。他們還剔除了自引。

科爾兄弟特別提到，即使在同一個領域，引文數的多少也不見得能說明科學家工作的影響大小和質量高低。限于篇幅，我們這里援引基本都是美國的例子。這里雖然引述的是美國的例子，可是這種情況也正在改變。不久前，《自然》雜志就對過度依賴影響因子的現象作出了反思[9]。

可是，中美兩國現行的科學創新評價體系有所不同，長期以來美國已形成了相對獨立的兩套科研創新評價子系統，一是學術界以論文同行評議為主的評價子體系，二是企業界以生產力轉化為主的評價子體系。這兩套子系統雖在界內相對獨立，又在整體上相輔相成，一定程度彌補了相互的不足。所以，美國的科研創新評價體系，實際上是在企業界和學術界實行了互相補充的雙軌制。這種雙軌制，的確有其優越之處和合理之處。不難看出，美國之所以能夠成為科技強國，其最終成果并非完全在理論上，更多的是落實在技術層面上，從而推動了整個科技體系的發展[10]。不可否認，我國科研創新的這種雙軌評價體系目前還處于胚胎發育階段，還很不成熟。在今后的一段時間內，我們的當務之急，是建立和完善這種能相互補充調節的雙軌創新評價系統。

最后，我想從信息哲學角度談一點思考。科學論文和引文索引是兩套全然不同的體系，它們之間的關系是虛與實的關系；是對象語言和元語言之間的關系。科學論文是實質性的，而引文索引是描述性的，屬于元語言(metalanguange)層面的數據。如果沒有人為的賦值，這些“元數據”(meta data)沒有任何意義。SCI就是些元數據的內容。如果這些虛的層面的元語言與對象語言不能形成一一對應關系，或者單靠元語言來分析某項成果是否具有價值本身就是錯誤的。根據研究，信息是在虛的層面運作的，而其本質就是以虛控實[11]。

所以我們認為，不要唯那些“虛”的東西用作我們的科技管理工作的指南。而是應該從現實需要對科研人員進行管理和招聘。

參考文獻：

[1] 哈工大材料學院材料物理與化學教師招聘啟事[OL].http://today.hit.edu.cn/articles/2010/06-21/0610101461.htm.

[2] Garfield E.Citation indexes for science:a new dimension in documentation through association of ideas[J].Science,(1955)122(3159):108-11.

[3] Chernyi A I.The ISI web knowledge,a modern system support for the scientific research:a review [J].Scientific and Technical Information Processing,2009,Vol.36,No.6,202.

[4] Garfield E.Recollections of Irving H.Sher 1924—1996:Polymath/information scientist extraordinaire [J].Journal of the American Society for Information Science and Technology,Volume 52 Issue 14.32.

[5] Cole,Jonathan R.Social stratification in science[M].Univ.of Chicago,March 1981,91.

[6] Merton,Robert K.Priorities in science discovery:a chapter in the sociology of science[J].American Sociological Review,Volume 22,Number 6,1957:26.

[7] 默頓.17世紀英格蘭的科學、技術與社會[M].范岱年等譯.北京:商務印書館，2007:47.

[8] Price，Derek J.de.Little science,big science[M].New York:Columbia University Press，1963,72.

[9]《自然雜志》承諾增加廣受詬病的影響因子的透明度[OL].http://www.nature.com/news/transparency-promised-for-vilified-impact-factor-1.15642.

[10] 郭磊.千人計劃和集團式造假——“千人計劃”成功實施的關鍵 [OL].http://www.sciencenet.cn/m/user_content.aspx?id=226976.

[11] 劉鋼.信息哲學探源[M].北京:金城出版社，2007:141.