去“唯論文”背景下自然科學類學術論文的評價策略

楊 輝,劉 飛,陸 雁,黎貞崇

（廣西科學院,廣西 南寧 530007）

0 引言

改革開放以來，我國對科技創新的投入逐年增長，隨著國家科技投入不斷加大，科技項目隨之海量增加。為了快速、有效、精準評價科技項目和科技人才，以論文、職稱、學歷、獎項等因素對被評價對象進行評價，成為我國科技評價的主要做法。在學術論文的評價方面，高校及科研院所在人才評價、職稱評審、崗位聘任、年終績效評價、創新平臺評價等行為中，將論文是否為SCI收錄、是否為核心期刊作為學術論文水平的評價標準，甚至根據SCI的分區賦予不同的分值，將學術論文的水平強行通過期刊級別進行學術水平的評價。我國部分研究機構更是建立自身的學術期刊評價庫，以論文發表在期刊庫中相關期刊作為評價的標準。單純利用評價期刊的指標來評價學術論文是不恰當的[1]。這種越演越烈的評價方式，無形中成為科技創新的指揮棒，嚴重影響了科技成果的產出，形成了“科研與產業脫節”的不良局面，嚴重影響著我國科技創新的質量。為規范我國科技評價和人才評價行為，教育部、科技部印發《關于規范高等學校SCI論文相關指標使用 樹立正確評價導向的若干意見的通知》[2]，但該文件的出臺并未能有效改變“唯論文”的導向，高校院所僅僅避免直接提及論文的說法，最終評價仍以學術論文為指標。凡事要破必須立，要破除“唯論文”的行為，必須深入研究現有評價學術論文的做法、存在問題和弊端，在此基礎上提出新的評價方法。國內外學者對學術論文的評價有較多研究[3-7]，朱曉民等提出了教育碩士專業學位論文質量評價指標體系的構建[8]，王艷波等提出了基于Altmetric與傳統文獻計量指標的學術論文影響力評價方法[9]，但主要研究社會科學學術論文的影響力。白如江等羅列了引用指標分析方法、基于網絡分析方法、同行評議方法、替代計量學方法、基于論文內容評價方法、綜合評價方法等評價方法[10]，杜杏葉提出了基于智能化評價的研究視角，運用人工智能的相關理論與方法，構建學術論文評價框架[11]。由于學術論文涉及學科面大，并未見學者系統地提出自然科學類學術論文的評價策略。本文首先從現有學術論文的評價方法入手，分析學術論文評價現狀，探討學術論文評價原則，提出了自然科學學術論文的評價策略，供科技管理者作參考。

1 學術論文評價現狀

在人才評價、職稱評審、年終績效評價、創新平臺評價中，受限于評價時間短、專家專業有限、評價標準缺失等因素，高校、科研院所和科技管理部門很難對自然科學類學術論文質量和水平的高低進行直接的客觀評價，多數選擇以期刊級別評價學術論文、以被引次數評價學術論文，并不加以分類地評價論文，以下逐一論述。

1.1 以期刊評論文

由于學術論文的發表有難易之分，而且學術期刊級別和影響因子越高相對退稿率越高、越難發表。在學術論文難以直接評價的情況下，以學術論文所發表的期刊級別和影響因子作為評價標準，相對而言較為直觀、容易操作。殊不知，核心期刊推出的初衷僅僅是為采納期刊而作出的文獻分析結果，并未對單篇論文作評價。單純以期刊評價論文將產生如下隱患：一是期刊質量并未代表學術論文的質量。一本期刊有質量高的學術論文也有質量低的學術論文，SCI數據庫收錄的1900～2005年的論文有一半為零引用論文[12]，將同一期刊的學術論文同質看待，顯然有失公平。二是學術論文分綜述、研究和短文通報類，這三類學術論文的學術水平不具可比性，單純地將三類學術論文同質比較，也有失公平。三是部分期刊推行欄目組稿，屬重點組稿方向的學術論文相對容易錄用，未被該期刊錄用的學術論文并不代表質量比被錄用論文的差。四是期刊評價也有欠科學之處，將SCI收錄期刊、核心期刊等作為衡量顯然不合理，國內有不少學術期刊的論文質量和水平要比部分SCI收錄的期刊高。上述原因可見，以期刊評論文的行為顯然是不夠科學。

1.2 以引用評論文

為了區分同類同質學術期刊的學術論文質量和水平高低，評價部門提出了學術論文被引用次數的評價方法。張靜認為影響引用的因素很多，不能把引用作為唯一指標[13]。本文認為“以引用評論文”的評價方法也是欠合理的，原因如下：一是與不同學科的被引率相關，生物、化學類學科的論文相對被引率大，數學類的學術論文被引率相對較低。二是學術論文的類型不同，被引率也是不同的，綜述類和方法類學術論文被引率較高，研究類論文被引率較低。被引數量與時間也有較大關系，以發表后5年的引用作為評價較為合理[12]。三是被引的原因千差萬別，有的引用其方法、有的引用其結果、有的引用其意義和用途，但引用其方法顯然比其他引用有著較高的學術質量。四是惡意引用和偏好現象的加劇，使被引數量水分較大，是否開放獲取方式也影響著引用的數量。部分學者為了提升學術論文的引用量，利用其地位影響力增加論文的引用。一些學者偏好引用對期刊有利的學術論文，與其觀點相左的學術論文不予引用。綜上所述，以引用評論文，也偏離了學術論文評價的科學性，顯然也是不合理的。

1.3 無差異評論文

無差異地評論文指的是，不加分類地將不同學科、不同類型的學術論文，統一用同一標準進行評價。自然科學學術論文涉及的學科多，而各學科的活躍程度不一，其期刊的分布也不一。熱門學科的期刊由于得到較多的資助和出版費的支持，實行開放獲取，其每年的出版量巨大，引用數也多。反之，冷門學科的期刊由于得到資助和出版費少，不能實行開放獲取的方式，每年的出版量少，引用量也相對少。但學術論文的質量不能以同等標準進行評價。再者，基礎研究類與應用研究類也不宜以一個標準評價。基礎研究類的學術論文不易突破，其產出少。基礎研究類學術論文獲得突破后，其理論成果被他人接受和運用也需要一個時間過程，很難有高的關注度和引用率，用同一標準評價很難區別學術論文的水平。

2 學術論文評價原則

從學術論文評價的現狀可以看出，簡單地以期刊、以引用量、無差異評論文顯然缺乏科學性，并帶來許多負面影響。優化和完善評價方法要避免這些問題，可借鑒期刊出版中的同行評議方法，讓“專業的人做專業的事”，將學術論文的評價任務賦予同行評議專家。開展同行評議時，必須同時建立和規范學術論文的評價標準，堅持不同學科的學術論文進行分類評價的原則。

2.1 堅持同行評議

期刊的稿件評審通常采取“三審制”的原則：責任編輯負責初稿環節，主要側重于稿件規范性、創新性和科學性的初步審查。同行評議專家負責同行評議環節，主要采用“雙盲審”的方式對稿件進行專業性評議。當第一個同行專家未能給出明確判斷或作者意見與同行專家意見有較大分歧時，需再送第二個同行專家審核；當兩個同行專家的意見分歧較大時，再請新的同行專家審核，直到同行專家的評議符合公平、公正、中肯、詳盡的要求后，方才進入終審環節。主編負責稿件的終審環節，在責任編輯審查和同行評議的基礎上，結合期刊的重點報道方向和稿件的創新度，予以采用或給予改投其他刊物的結論。學術期刊執行“三審制”的質量決定了期刊的辦刊質量。同樣，開展人才評價、職稱評審、年終績效評價和創新平臺評價，可采取期刊同行專家評議的方法，實現“專業的人做專業的事”。管理部門的工作人員負責初審環節，同行專家負責專業評議環節，大評委負責終評環節，更好地實現同行評議的科學性和可靠性。

2.2 規范評價標準

同行評議是重點，規范評價標準是關鍵。優化和完善學術論文評價標準必須考慮到標準的全面性、長期性和動態性。標準的全面性是指：學術論文的評價要考慮全面的、多維的和動態的，不能僅以期刊的分區、影響因子、被引量、被下載量等指標，要從社會關注度、影響力與產業的密切度等多維的角度設置。標準的長期性是指：學術論文的評價體系要保持長期穩定，以支持需要長時間積累的重大科技成果的產出，以更好地促進我國基礎研究獲得突破性的標志性成果。標準的動態性是指：學術論文的評價標準還應該是動態調整的，要及時根據學術論文評價活動中出現的問題及時動態調整和優化，確保標準的科學性。

2.3 堅持分類評價

分類評價主要解決不同學科、不同類別學術論文的同質比較問題。從學科設置來講，共有理工農醫等15大類，每一學科的論文千差萬別。同樣是理學學科，其二級學科之間也千差萬別，無法也不可能進行比較。從不同類別來講，學術論文也分為綜述或述評類、學術研究類和成果通報類的論文，綜述類的學術論文的學術貢獻主要體現在對學科發展的判斷力和洞察力，其學術貢獻不大。學術研究類學術論文的學術貢獻主要通過研究提出學術觀點，其學術貢獻相對較大。成果通報類的學術論文是為了方便快捷的報道最新成果，以簡短的消息宣傳自己的研究成果，學術貢獻相對較弱，應以后期詳實發表的研究論文為評價母體。可見，學術論文必須堅持分類評價的原則。

3 學術論文的評價策略

現行學術論文評價方法在較長一段時間內對我國科技發展發揮了一定的作用。但隨著經濟發展對技術的熱切需求，對科技創新管理也提出了前所未有的挑戰，現行的學術論文評價制度和體系與現實有較多不相適應的地方，需要不斷加以發展、完善和優化。學術論文的評價涉及面大，需要從體系建設進行優化和完善，不但要根據管理的需要完善相關政策、建立分類評價標準，建立同行評價體系和信用體系，還要建立全社會參與監督的科技誠信環境，才能提出科學的自然科學類學術論文的科技評價體系。科技論文評價體系的構建必須要克服學科差異性的影響，要引入更多的新技術，要從論文自身內容出發，全面地展現論文的影響力、創新性、學科貢獻等各個方面[14]。

3.1 不斷完善科技誠信的相關政策

政策是學術論文發展的指揮棒，完善與學術論文科技誠信的相關政策，調整學術論文的發展方向，才能形成良好的學術論文誠信環境。要修改完善人才評價、職稱評審、項目評審、創新平臺評價等相關評價活動對學術論文的管理規定，細化學術論文的評價標準和方法，提出科學、合理的政策措施。在修改完善人才、項目、平臺的評價體系時，要從評價標準、評價方法、評價專家、信用體系等全方位進行通盤考慮，對其科學研究方向、功能和目的進行有效引導，使科技創新有效服務于國家科技創新需求。同時，要準確把握學科的發展趨勢，引導科研人員加強基礎研究和關鍵核心技術的突破。

3.2 建立分類評價的學術論文評價標準

學術論文的評價科學與否的關鍵在于評價標準的科學與否。優化和完善學術論文的評價標準首先要建立分類評價體系，針對不同類型學科門類的特點，堅持目標導向、分類實施，制定分類評價、多元化的評價標準，完善分類評價指標體系。其次是建立多維和全面的評價體系。眾所周知，科技活動是立體的、生動的和多維度的，單純從學術論文本身很難多角度地評價學術論文。必須充分依靠科技報告制度，全面地、深入地評價學術論文的科學性、創新性和全面性。還要從學術品質和學術影響2個方面評價學術論文，以雙向匿名同行評議判斷學術品質，以計量分析判斷學術影響，綜合學術品質和學術影響合成學術評價的建議[15]。再者是要建立長期穩定的評價標準，后期的優化不能否前期的規定。諸如北京大學圖書館提出的中文核心期刊評價和中國科學技術信息研究院提出的科技核心期刊評價，從初期的若干個考評指標，優化到如今的二十多項指標，從未否定原先提出的指標，僅僅是根據出現的BUG，不斷地提出新的指標進行完善。同樣，學術論文評價標準的主要指標要保持長期穩定，以利于基礎研究的穩定積累，利于催生“十年磨一劍”的重大成果。最后是要建立動態調整機制。隨著社會的發展和問題的積累，也將出現新的問題和困難，評價標準要根據新的問題不斷完善評價標準，實現評價標準與實際管理相適應。

3.3 建立同行評價的科技誠信評價體系

國家自然科學基金項目評審、中文核心期刊的評審、SCI收錄的分類等施行同行評議的方式，其公正性獲得了學術界較高的認可度，學術論文的評價可借鑒期刊界同行評議的優良方法。建立同行評價的科技誠信體系首先要建立動態調整的同行專家庫，設立嚴格的入庫標準和遴選規范，確保活躍在科研一線、有較強評價能力、有一定管理能力的專家入選專家庫。同時要及時更新專家的科技行為和評審行為，為動態調整同行專家做參考。其次要建立科學的評議環節，可參考期刊的做法建立學術論文的“三審制”。通過“三審制”杜絕熟人評審，同時也要對有爭議的評審結果進行復議評審，確保所有的評議符合公平、公正、中肯、詳盡的要求。通過“三審制”，將高質量的學術論文遴選出來。再者建立同行評價專家的信用評價制度。參考金融界個人征信系統的做法，同行專家評價信用系統將在學術界產生威懾力。信用系統要收集專家參加學術研究以來所有關于科技報告制度要求的資料，準確記錄其所有的科研行為。信用系統還要詳細記錄專家的評審行為。建立信用系統后，還應定期對專家信用進行通報，對違反信用的行為，堅持執行“黑名單”制度。

3.4 建立論文作者的科技誠信信用體系

隨著我國科技創新管理由粗放型進入精細管理型，建立論文作者（科研人員）的科技誠信系統逐漸被我國學者所接受。首先，作者的信用體系不但要詳細記錄國內期刊的投稿行為，而且要詳細記錄國外期刊的投稿行為。國內外期刊的投稿行為要詳細記錄其學術不端的信息、同行評議意見、修改行為信息、出版后公眾反映的信息等，全過程記錄論文作者的相關信息，為人才評價、項目評審、平臺評審、績效統計提供多方位的信息。再者，作者的信用體系不但要詳細記錄期刊學術論文的投稿行為，而且要詳細記錄畢業論文的撰寫行為。畢業論文是作者學術研究系統的代表作，將全面記錄作者知識的系統性，有助于對其期刊論文的評價。通過兩者的比較也可以考察兩者的吻合性和相關性。再者，作者的信用體系不但要詳細記錄學術論文的投稿行為，而且要詳細記錄參與科研過程的科技報告資料。科技報告制度是我國對科研提出的規范性管理的要求，是全面記錄科研活動的管理措施。科技報告有助于分析期刊論文與科研活動的相關性，也有利于分析作者與科研活動的相關性，有利杜絕違規掛名行為的發生。最后，要建立責任終身制的追究制度。對被認定為學術不端行為者，追究違規責任，將其列入黑名單，并將學術不端行為反饋給相關單位，追回相應的名譽和獎勵，同時給予相應的批評和處罰，讓失信者得不償失，確保評審的嚴肅性和權威性。

3.5 建立全社會參與監督的科技誠信環境

良好的科技誠信環境有助于我國科技創新活動的良性發展。要建立全社會參與監督的科技誠信環境，首先要建立同行專家評審行為和評審結果的公示制度，將評審行為和評審結果在一定范圍內公開，增加公眾的參與度，對作者也將起到威懾作用，使學術論文的評價過程和結果得到公眾監督，結果經得起時間的考驗。再者，建立作者信用信息公開制度。將作者的科技報告、投稿行為和結果在一定的范圍內公開，增加對公眾的曝光度，最大程度實現公眾監督，減少違規現象的發生。再者，建立評價標準公開征集意見制度。及時將評價標準在一定范圍內公開，及時了解和征集公眾的意見和建議，及時對標準進行調整和完善，從而確保標準的科學、公平和公正。總之，通過建立全社會參與的科技誠信環境，有助于在同行專家與論文作者之間樹立良好的道德風尚，不斷營造“個個守規則、人人樹正氣”風清氣正的科研創新環境，從而杜絕浮夸風、劣幣驅逐良幣的現象，確保學術論文評價的公平公正，促進我國科技創新活動繁榮昌盛。

4 結束語

我國現行的自然科學類學術論文評價標準在很長一段時期內促進了我國科技創新事業的發展，但隨著科技進步和社會發展以及科研精細管理的要求，需要對現行的評價體系進行完善和優化。文章僅僅站在科研院所科技管理的角度提出評價策略，在操作層面和管理層面實現的可能性未能進行深入分析。科技誠信的建立是一個復雜的系統工程，需要各方努力。隨著社會治理活動科學性的提升，我國的科技誠信，特別是學術論文評價的公正性，一定會得到較大提升，也將有效促進我國科技創新活動的深入推進。