學術論文質量的大眾評價探索

王旖旎+鄭彥寧

〔摘要〕現有的學術論文評價方法主要采用發文期刊的影響因子、發表后的被引用次數等作為評價指標，無法全面展現學術論文的內容價值。文章在系統分析論文評價方法特點與不足的基礎上，以Bates的Berrypicking模型為理論基礎，提出了以學術大眾為主體開展論文質量評價的思路。通過分析大眾評價的可行性，構建出學術論文大眾評價的指標體系，并對論文評級、價值類型、專家意見、大眾評語等大眾指標和權威指標的內涵進行了解釋。

〔關鍵詞〕論文評價；學術論文；質量評價；大眾評價

DOI：10.3969/j.issn.1008-0821.2017.01.004

〔中圖分類號〕G322〔文獻標識碼〕A〔文章編號〕1008-0821（2017）01-0020-05

〔Abstract〕Existing academic papers evaluation methods mainly use the Journal Impact Factor or the number of citations as evaluation index，which can not demonstrate the value of academic papers content in a comprehensive way.Based on a systematic analysis of the characteristics and shortcomings of existing academic papers evaluation，this paper put forward a method of public evaluation by most of scientific researchers，which has a theoretical basis named berrypicking model by Bates.Through the analysis of the feasibility of public evaluation，the structure of index system of the public evaluation of academic papers was discussed，the meaning of specific indexes such as paper rating，the type of papers value，the expert opinions，public comments and other authoritative indexes were explained as well.

〔Key words〕papers evaluation；academic papers；quality evaluation；public evaluation

目前我國對學術論文的評價主要采用文獻計量等方法，從論文被引用次數、期刊影響因子等外部特征指標對論文進行評價，反而缺少對論文深層價值的評價和探討。導致這一現象的原因在于，學術論文是圍繞客觀現象形成的個人主觀論述，隱性知識屬性比較突出，仁者見仁智者見智，難以一概而論。加之論文本身幾乎不存在可直接用于價值評估的量化指標，導致學術論文深層價值的評價工作往往收效甚微。因此，在評價論文價值過程中，更加傾向于使用客觀易行的外部特征。近年來，隨著科學出版由原來單一的紙質出版模式向多渠道、多維度的網絡出版模式轉變，學術用戶間的時空隔閡被打破，學術論文的獲取也變得唾手可得。在這種新環境和新形勢下，學術論文質量評價迎來了新的發展機遇。

1學術論文評價方法

1.1論文評價方法類型

學術論文是科研成果的主要形式之一，是衡量科研人員科研水平、科研項目成果價值、科技期刊總體水平的重要參考。在長期的論文評價實踐中，為了使學術論文評價的結果更為可靠，學術界早已形成一些基本共識：論文評價要重實績而非頭銜；重質量而非數量[1]；減少期刊等級的影響力度[2]；考慮建立平衡不同學科學術評價的指標體系[3]；考慮開放存取環境下的論文評價標準[4]等。根據評價方法和手段的不同，學術論文評價方法及指標可以劃分為“以刊評文”、“以引評文”、“以人評文”、“以網評文”4大類。

在“以刊評文”的方法中，主要采用期刊影響因子（JIF）作為評價指標。期刊影響因子是由美國科學信息研究所（ISI）在20世紀60年代提出的計量工具。多年來，期刊影響因子一直是衡量學術期刊質量的最有效指標[5]。期刊影響因子高意味著期刊所載論文平均質量比較好，其學術價值比較高。

在“以引評文”的方法中，具有代表性的方法及指標有引文分析法[6]、引薦分析法[7]、h指數[8]、g指數[9]等。這類方法指標是基于論文被引情況進行計量的，一般情況下論文的被引量高說明其學術價值得到許多科研人員的認可。

在“以人評文”的方法中，“人”主要是指具體學科領域有所建樹的專家，主要形式有同行評議、專家評審等。比較典型的有F1000（Faculty of 1000 Medicine）同行評議數據庫[10]，該庫通過世界上5 000多位生命醫學領域重要專家的評價和推薦，對該領域學術論文的學術成就進行客觀評估和分類，以便研究者輕松掌握學科研究進展。

在“以網評文”的方法中，典型代表有近十年來興起的Altmetrics計量方法[11]。Altmetrics方法通過獲取社交網絡中有關學術內容的下載量、評論數、轉發數、點贊數、推薦數等數據，分析學術論文及相關內容特定時段的學術影響力。此外，David Shotton[12]以網絡出版環境為背景，提出了一種針對在線出版論文的五星論文評價模型（The Five Stars of Online Journal Articles）。該模型從同行評議水平、開放獲取程度、電子內容完善程度、數據集可用性、元數據機讀性建立了5個評價維度，采取量表方式對各維度進行打分，以此對在線出版論文進行評價。

1.2論文評價方法評析

隨著論文評價活動的開展，這4大類評價方法得到了深入的研究和廣泛的應用。但在學術論文的實際評價過程中，它們在不同程度上仍暴露出一些問題和不足：

1.2.1間接評價揭示深度有限

“以刊評文”、“以引評文”的方法是通過測度論文發表產生的后續影響，來替代對論文內容價值的直接評估。主要采用被引次數、刊載期刊的影響因子等外部特征作為論文價值的表征。這兩種方法是基于數據分析的客觀評價方法，無法反映出一篇論文對其他學者及其論文成果的主觀影響。并且，一旦一篇高質量論文的高被引次數拔高了一本普通期刊的影響因子時，利用影響因子對該期刊其他論文進行質量評價就會失當；當出現為了引用而引用的自引和“同刊互引”現象時，論文的被引次數也無法有效反映出論文的真實水平。

1.2.2評價效果受限于評價主體

“以人評文”的方法是對論文內容的學術成就進行主觀評價的嘗試，但其評價主體僅為特定的專家團體，評價效果受限于參評專家的數量和水平，存在評價過程透明度低、評價結果可操作性大的潛在問題。同時，同行評議也存在“馬太效應”，即年輕學者因知名度不高而很難成為評議專家[13]，可能會出現用老觀念評價新文章、影響學術創新的情況。

1.2.3網絡評價不穩定因素較多

“以網評文”的方法在采用客觀指標進行計量分析的基礎上，將互聯網社交網絡的相關數據以及元數據信息引入到計量分析中，豐富了評價數據的類型和來源。這一方法的進步意義在于：一是它擴大了評價主體的范圍，肯定了數量龐大的互聯網用戶參與到學術論文評價活動中的價值；二是減弱了學術論文從發表到第一次被引用期間的價值遲滯。然而，“以網評文”存在著參與評價的部分互聯網用戶學術素養不高的隱憂，其評論、推薦、轉發、點贊等數據極易受到輿論等外部環境的影響，造成學術論文計量分析結果的波動，無法準確反映出一篇論文的真實價值[14]。

綜上分析，客觀的學術論文評價方法主要采用論文發表期刊的水平、發表后的引用次數等作為指標，無法全面展現學術論文的價值。在主觀的評價方法中，論文評價主體限定不夠合理，或為學界專家精英，范圍過于狹小，或為互聯網用戶，范圍過于寬廣?？傮w而言，目前尚未形成一種完善的、具有普遍意義的論文內容評價方法和體系。

因此，本文提出“大眾評價”的論文評價思路，將評價主體界定為“學術大眾”。“學術大眾”是指來自于各個學科領域的學術研究人員，而非廣義上的社會大眾?？紤]到論文評價所需的專業素養和知識背景，社會大眾對于基礎科學研究和前沿科學探索不一定具備基礎的知識儲備，讓其對學術論文進行評價是不具備可操作性和實際意義的。通常情況下，學術研究人員具備專業的知識結構，對其所處領域研究發展有一定程度的認識，針對學術問題能夠通過學習和思考提出個人的見解，此為學術論文大眾評價的重要前提。在此基礎上，再結合已有的論文評價指標，對網絡化出版環境下論文質量評價的方法和體系進行探索，以期補充和完善現有的學術論文評價方法。

2大眾評價的理論基礎

Marcia J.Bates[15]于1989年提出了“Berrypicking Model”（漿果采摘模型，如圖1），用以描述網絡用戶的信息搜集及獲取行為。Bates指出，在信息搜尋過程中，用戶不同于傳統模型所描述的——遵循單一不變的問題需求進行搜索，而是從某一話題的一個簡單初始特征開始，在與不同的信息接觸過程中受到反饋和啟發而產生新的搜索目的和方向，進而發現一系列有用的信息和證據。在搜索過程中，搜索目的就像待采摘的漿果，分布在不同地方，吸引著用戶的目光，改變著用戶的搜索路徑以及在此過程中可能會觸發的信息事件。Bates提出的Berrypicking模型不同于傳統信息搜尋模型的關鍵在于，它看到了用戶搜索需求的動態變化，重視搜索過程中信息的積累和反饋，以及用戶想法（Thought）對搜索過程的“進化”影響和搜索結果的決定作用。

Berrypicking模型可以用于描述學術研究者的文獻閱讀及論文評價行為。在此模型中，每一篇論文構成一個獨立的單元，論文評價體現在單元聯系的構建過程中。學術研究者在圍繞特定主題查找并閱讀相關文獻時，一般會從一篇具體論文入手，基于閱讀感受形成一定的評價（即Thought），通過參考文獻、引證文獻、相似文獻或相關文獻等路徑，進行下一階段的論文閱讀和價值判斷，最終形成一條獨特的有向知識路徑（如圖2）。在這一路徑中，體現出了不同論文內容價值的關聯關系，包含了多重信息和重要價值：從論文起點到終點記錄著學術研究者論文閱讀收獲的變化；從閱讀過程的遞進關系可以反映出上一篇論文對學術研究者下一篇論文選擇的啟發和作用；串聯前后論文的評價（即Thought）包含了學術研究者與論文內容互動時產生的稍縱即逝的隱性知識——這也正是學術論文內容價值最為本質的體現。

從Berrypicking式的論文評價過程中可以看出，學術研究者進行論文評價是具有可行性和實踐基礎的。首先，論文評價往往基于對論文內容的閱讀，而論文閱讀在學術研究者的學術研究活動中是不可缺少的。學術研究者對于閱讀過的學術論文，通常都會形成一定的價值判斷并得出相應的結論。其次，在學術研究過程中，學術研究者對論文內容價值的評判（即Thought）成為推動學術論文活動進一步發展的主導因素。從這個角度看來，由學術研究者組成的學術大眾進行學術論文評價，在理論上是可以成立的。

3學術論文大眾評價指標體系

3.1大眾評價的應用分析

大眾評價在互聯網社區中得到了廣泛的應用，具有良好的用戶基礎，并形成了比較成熟的評價模式。以“豆瓣讀書”（book.douban.com）為例，豆瓣讀書是目前國內較為成熟、頗具影響力的社會化閱讀平臺，是一個以圖書為中心發展起來的互聯網社區。從大眾評價角度看，豆瓣讀書評價的對象是圖書，主體是廣泛的讀者用戶，采用的評價方式具有主觀性、開放性的特點，具體指標如表1所示。

1）豆瓣評分。在豆瓣讀書中，圖書評價使用的是直觀動態的豆瓣評分。該評分等級從一星到五星，分別代表著該圖書很差、較差、還行、推薦、力薦的五種讀者閱讀評價。系統根據用戶給出的評分計算出圖書的總體評分，并展示出不同等級的評分人數。評分對于圖書本身、作者、出版方、讀者等不同的群體均有較大的影響。

2）圖書標簽。豆瓣讀書以標簽的形式揭示出了用戶對圖書特征的定義。豆瓣圖書的圖書標簽由用戶和系統進行共同標引，標引的標準是多樣的。系統推薦的標簽具有一定引導作用，用戶在此基礎上以圖書的題名、作者等外部特征，或內容題材等內容特征，以及依據用戶需求產生的標簽進行標引。因此，按照圖書不同的標簽可以就對圖書進行分類瀏覽。

3）熱門評論。在豆瓣讀書中，讀者可以就一本書撰寫不超過350字的短評、字數不受限制的長評或針對特定頁或章節不限字數的讀書筆記。公開評論中，被更多用戶認為“有用”的短評及書評會進入“熱門”評論。由此，好的評論會帶動更多用戶參與到圖書的閱讀和評價中，將大眾評價的效果放大。

4）最新評論。豆瓣讀書將用戶的評論按時間順序進行顯示，最新發表的短評、書評會在頁面中有所顯示。大眾評價往往數量極多，為了公正客觀地展示廣大評價者的評語意見，最新評論的方式便成為一種比較合理的選擇。

通過對豆瓣讀書具體評價指標的分析，可以看到：豆瓣讀書立足于用戶大眾對圖書的評價，注重讀者評價意見的反饋，其大眾評價模式體現出公開平等、互動性強、實時性高的特點。同時也印證了，“大眾評價”作為一種開放式、多用戶參與的評價方法，其評價方式的實用效果得到了體現。可以看到，大眾評價能夠在很大程度上激發評價者的自主性和參與積極性，使評價結果具有更高的可信度。因此，本文嘗試將之運用到學術論文的質量評價中。

3.2學術論文大眾評價的特點

3.2.1與豆瓣圖書評價模式的異同

學術論文大眾評價與豆瓣圖書的大眾評價具有一定的相似性和差異性。相似的是，學術論文大眾評價邀請更多的評價主體參與其中，以反映出評價結果的真實性和有效性；與之不同的是，學術論文的大眾評價會對評價主體做出限制，并非所有的社會大眾，而是與學術論文息息相關的學術圈工作者。

3.2.2與傳統論文評價方法的關聯

學術論文的大眾評價與目前所使用的論文評價方法相比，是相互聯系又各有區別的。

首先在形式上。傳統評價方式是權威性、集權式的，評價權利由少數機構和組織持有；“大眾評價”的新意在于評價主體的擴大化、評價方式的開放性——從事學術研究的研究人員對已發表的學術論文質量都有發言權，其個人評價會對總評價構成一定貢獻。

其次在內容上。傳統評價方式多傾向于關注可用于定量分析的數據，對于內容研究持保留態度；“大眾評價”的重點在于定量和定性評價指標的相互結合。

再次在指標上。傳統評價方式通過使用被引用次數、期刊影響因子等外部指標來完善論文評價體系；“大眾評價”則是以論文評分、大眾評價等大眾指標為基礎，輔以現有的權威指標，構建出一個論文評價的綜合體系。

最后在效用上。傳統評價方式主要關注評價論文發表后的學術影響力；“大眾評價”方式的意義在于實現學術論文的學術影響力評價的同時，突出了學術圈對學術論文內容價值大范圍、深層次的思考與討論。

3.3大眾評價指標體系構建

學術論文的大眾評價是在網絡出版的開放形勢下，以學術論文的開放獲取為基礎，將學術大眾作為評價主體，通過現有評價指標與大眾評價指標相結合的方式，實現學術論文內容價值和學術影響力的綜合評價。因此，學術論文大眾評價在現有論文評價方式的基礎上，選取了大眾指標和權威指標兩大類型的評價指標，如表2所示。這兩類指標的交叉使用，可以有效提升評價指標的完整性和全面性，使學術論文質量得到更為鮮明的揭示。

3.3.1大眾指標

大眾指標作為學術論文大眾評價指標體系中的主體，是以學術大眾對一篇論文的評價意見為基礎形成的一系列指標，具體內容包含了論文評級、價值類型、專家意見和大眾評語4個指標。

A1 論文評級。此指標是通過李克特量表（Likert Scale）的方式，對論文的內容價值進行分級評價。對每一篇學術論文的評價可以劃分為A、B、C、D、E 5個等級，其中A表示論文非常有價值、B表示論文比較有價值、C表示論文有一定價值、D表示論文不太有價值、E表示論文沒有價值。學術大眾可以對論文內容進行評級，由此得到一篇論文內容與價值的總體評分。

A2 價值類型。每一篇已發表的論文都有其學術價值，價值類型這一指標正是通過標簽（Tag）的形式，對一篇學術論文的突出成就加以分類標引，揭示出論文內容的深層價值。例如，使用“經典理論”、“研究新方法”、“研究新視角”、“關鍵實證”或“新發現”等標簽，從其理論方法、研究視角、實證過程或研究結論等方面揭示出一篇論文成果的突出價值。

A3 專家意見。意見與評語的指標，主要是采用文字撰寫的形式，將學術研究者對一篇論文內容價值的評價進行轉化輸出，以供進一步的分享和討論。專家意見是指學科領域內有所建樹的專家對一篇論文的評價和具體意見，是以專家的主觀意見形成的定性評價指標，同時也是對量化評分的一種補充。該指標與同行評議的區別在于專家人數并不設上限，符合“專家”資格的學術研究者都可以將其對學術論文的意見作為專家意見進行發布。這部分內容往往具有數量少而內容精的特點，對于論文評價有很高的參考價值。

A4 大眾評語。大眾評語指標是指從事學術研究的廣大工作者對論文價值的直觀感受和評價，同樣以文字形式進行展示。與當前使用的評價方法的主要區別在于，大眾評語的參與不設高門檻，與學術研究相關的學術圈人員均可參與其中。這一指標一般具有數量多、觀點豐富的特點。大眾評語與專家意見相結合，可以使論文內容價值得到更加完整的呈現。

3.3.2權威指標

權威指標是學術論文大眾評價指標體系中的輔助性指標。此類指標主要來源于權威機構發布的學術論文評價相關指標，具有權威性和客觀性，可為大眾評價提供一定的參考價值，增強學術論文大眾評價結果的信度和效度。主要包括被引次數、期刊影響因子、作者h指數、全文下載次數、網頁全文瀏覽次數等具體指標。

4總結

近年來，隨著Web2.0思想影響的進一步加深，學術論文評價愈加趨向于對論文內容主觀價值的探索。綜合分析當前學術論文評價方法的優勢與不足，本文提出了在網絡環境下以學術大眾為主體開展學術論文評價的思路，并說明了學術論文大眾評價采用的論文評級、價值類型、專家意見、大眾評語等具體指標及內涵，以期補充和完善現有的論文評價方法和體系，突出學術大眾在論文評價中的主體作用和參與價值，推動論文質量評價方法的發展。為使學術論文質量的大眾評價更加完善，在后續研究中還需對這一評價方式及其評價指標的可行性和實際評價效果進行探索和實證。

參考文獻

[1]李哲峰，諸平.建立科學評價體系走出“以刊論文”誤區[J].寶雞文理學院學報：自然科學版，2009，29（4）：72-77.

[2]金鐵成.科技論文評價中存在的三大誤區[J].中國科技期刊研究，2004，15（3）：284-286.

[3]郭紅梅，何苗，邢星，等.不同自然科學門類間論文學術影響力多指標綜合評價的合理性研究[J].圖書情報工作，2012，56（22）：62-68.

[4]劉菊紅，黃凱文.開放獲取資源評價模式的研究：基于單篇論文質量評價[J].新世紀圖書館，2015，（5）：91-96.

[5]Donato H.Traditional and alternative metrics：the full story of impact[J].Revista Portuguesa De Pneumologia，2014，20（1）：1-2.

[6]張慧敏.引文分析法的內涵及研究實證[C].第6屆中國科技期刊青年編輯學術研討會暨中國科技期刊的實踐經驗與發展戰略論壇論文集，2006：174-177.

[7]周春雷.引薦分析法：一種新的引文分析法[J].情報學報，2010，29（4）：671-678.

[8]Hirsch J E.An index to quantify an individuals scientific research output[J].Proceedings of the National Academy of Sciences of the United States of America，2005，102（46）：16569-16572.

[9]Egghe L.Theory and practise of the g-index[J].Scientometrics，2006，69（1）：131-152.

[10]陳美倫.一種新的醫學論文學術評價系統——醫學F1000[J].中華醫學圖書情報雜志，2008，17（2）：70-72.

[11]崔宇紅.從文獻計量學到Altmetrics：基于社會網絡的學術影響力評價研究[J].情報理論與實踐，2013，36（12）：17-20.

[12]Shotton D.The Five Stars of Online Journal Articles-an article evaluation framework[J].D-Lib Magazine，2012，18（1/2）.

[13]謝巖巖.F1000同行評議數據庫與SCI引文評價機制的關聯性研究[D].北京：中國科學院研究生院，2010.

[14]毛鴻鵬，張志強.Altmetrics研究綜述[J].圖書與情報，2015，（3）：134-140.

[15]Bates M J.The Design of Browsing and Berrypicking Techniques for the Online Search Interface[J].Online Information Review，1989，13（5）：407-424.

（本文責任編輯：馬卓）