學術論文質量評價向度分析

趙均

關鍵詞：論文質量;學術評價;學術論文;評價向度

課題：國家社會科學基金一般項目“基于大數據分析的學術期刊質量評價體系研究”（17BXW032）

DOI：10.3969/j.issn.2095-0330.2022.02.013

對學術論文質量的評價是學術評價的重要基石。在科研成果鑒定、職稱評審、項目申報等一系列科研管理工作中，學術論文質量評價都占有較大比重。論文學術質量總體評價合理，會有力促進學術共同體的積極性和創造活躍度;反之則會影響到學術資源的合理分配和學術發展的繁榮程度。就是這樣重要的學術論文質量評價，由于其相對微觀和難以把握反而被模糊對待，直至將其轉嫁給學術期刊評價。時下學術期刊評價之所以受到特別關注，就是科研管理機構為了簡化工作程序、減少工作量而“以刊評文”所引發的。也就是說，是學術論文評價的重要帶來了學術期刊評價的受重視。

學術論文質量的評價方式主要分為定性評價和定量評價兩大類。定性評價主要是基于各類定性評價向度的同行專家評議。定量評價是圍繞論文的可采集特征進行的計量統計比較，傳統上的定量評價數據來自論文被摘轉、獲獎、被引用、下載和受基金項目資助等情況;隨著大數據分析方法的出現，新出現了大數據閱讀分析評價、網絡影響力評價等。

一、論文學術質量的定量評價

論文學術質量的定量評價有摘轉向度、獲獎向度、基金支持向度、web下載向度、被引向度、大數據分析向度和網絡影響力評價向度等。

（一）摘轉向度

基于摘轉向度的學術論文評價在被引指標還沒有被普遍使用之前，在科研管理工作中占有重要地位。摘轉向度指標包括摘轉刊物級別、篇目輯覽量、論點摘編量、全文轉摘量等。學術文摘刊物基于論文的學術水平和前沿性進行的篇目輯覽、論點摘編、全文轉摘，目的是選擇優秀論文向讀者推薦閱讀。由于其摘轉指向確切和學術地位相對獨立，被認為是論文學術價值和學術影響的真實反映，受到學術共同體的普遍重視。

影響學術論文被摘轉的因素有論文自身的學術水平、與文摘刊物選文傾向的契合度以及是否符合文摘編輯的期待視野等。摘轉向度被普遍用作學術論文評價的基本條件是絕大多數學術論文有獲得被摘轉的機會，但是二次文摘刊物目前遠未達到覆蓋全部學科研究領域，即使是同一學科領域的文摘刊物群對本領域各個方向的關注度也難以做到均衡。此外，學術文摘刊物編輯的選文水平和主觀傾向也存在較大差異，使得摘轉向度用來跨學術領域評價論文學術水平有著先天的不足。在文摘刊物覆蓋的學科領域內，用摘轉向度來評價論文的學術影響仍舊具備較高的參考價值，依然應該受到重視。以人文社會科學領域為例，《新華文摘》《中國社會科學文摘》和《高等學校文科學術文摘》是權威的學術文摘刊物。對于作者來說，論文被這些文摘刊物摘轉也是學術研究之路上的重要榮譽之一。

（二）獲獎向度

論文獲獎向度的評價指標包括獎項類型、獎項層次、獎項級別、獎項數量等。由于在實際操作中存在著獎項性質、設置取向與論文學術水平的錯位，以及不同類型獎項不好比較等問題。以獲獎向度來評價論文的學術水平，參考的意義大于學術水平評價本身。一方面，各類評獎的獎勵指向是根據各評獎機構本部門的工作目標出發的，存在較大差異，有的評獎取向并不完全依照學術水平，例如統計這些獲獎論文就會發現，應用研究方面的科研成果相比基礎理論研究更容易獲得高等級的獎項;另一方面，由于各類獎項在評獎時的取向不同，在實際工作中存在著不好比較的問題。由不同級別單位頒發的同一類獎項，也不宜簡單地以頒獎單位的行政級別來區分獎勵的等級高低。即便如此，評獎向度在評價論文的學術影響方面還是具備較為重要的參考價值。

（三）基金支持向度

基金支持向度是考察學術論文受到包括國家自然科學基金、國家社會科學基金、國家重點基礎研究發展規劃（“973”規劃）、國家高技術研究發展計劃（“863”計劃）等國家級基金項目和各類省部級基金項目以及重大橫向項目的支持情況。自從原國家科學技術委員會1994年發布的《科技期刊學術類質量要求及其評估標準》把基金項目支持情況以“基金論文比”這一指標來評估學術期刊后，國內幾家重要的學術期刊評價系統隨之相繼把其列入評價指標序列。學術期刊也隨著“指揮棒”對有基金項目支持的論文給予了特別關注，受基金項目支持的學術論文也就身價倍增，獲得了一定程度上的刊發優先權。

基金支持向度的評價指標包括項目類型、項目層次、項目級別等。普遍認為，由于基金項目在申報獲批時已經在研究方向的前沿性、項目主持人的既往科研業績、科研團隊的科研協作能力方面接受過較為嚴格的審核和比較，受到項目資助的論文學術水平理論上應該較一般論文更高。但究其根本，“基金項目論文水平較高”這一推測性的判斷是可能性較大而非必然性的結論。有學者的研究表明，學術論文是否受到基金項目支持與論文學術水平沒有顯著相關，尤其人文社科研究對基金項目支持的依賴度較低，受基金支持的影響度更低。雖然基金項目課題由于具有優質的科研基礎和基金項目資金的加持，理論上應該能夠生產出高水平的科研論文，但這也并不能保證其產出的論文水平就一定不低。有些基金項目論文會因為課題價值發生變化、課題研究的投入程度不足和執筆人的學術素養不夠而導致實際學術水平出人意料。基金支持向度雖然難以考察論文的學術水平，但由于其具備的前沿研究特征、有影響力的主持人帶隊和之后結項時的嚴格考核，這一向度用來考察論文的學術影響依然是有價值的。

（四）web下載向度

隨著數字出版的強勢崛起，通過網絡閱讀科技文獻已經成為研究者的日常行為，而網絡下載、閱讀一般是需要付費的，不是隨意下載的，使得下載本身就含有了對學術論文的認可度。web下載向度的評價目標就是為了考察學術論文在網絡上的學術認可度，其評價指標包括web下載總量和web即年下載量。web下載總量是指被評價論文歷史上被下載的總次數，web即年下載量是指是指被評價論文在本年度被下載的次數。

在當下大部分學術期刊依靠中國知網、萬方數據等平臺發行數字版的背景下，web下載已經成為眾多研究者獲取研究資料的主要途徑。理論上推測，論文被閱讀的次數越多，被關注的程度就越大。由于中國知網、萬方數據等數字出版平臺無法做到監測讀者的閱讀狀態和限制讀者下載之后的私自轉讓，也就無法確定每一篇論文是否被閱讀以及被下載后的閱讀人（次）數。這也使得這一指標用來考量論文的社會認可度是一個估測，而不是精確計量。較多下載量有可能是論文學術水平較高，對讀者的學術研究幫助較多，但也有可能是因為論文的題目或內容摘要比較吸引讀者，在內容上其實并沒有多少可借鑒之處。

論文的社會認可度與學術水平顯然不是一個維度的概念。通過web下載量來測度論文的學術水平缺乏讓人信服的理由。一些研究者曾對web即年下載量與學術水平的相關性開展過研究，結論并不統一，有的認為是低度負相關，也有的認為是低度正相關。這也說明將web即年下載量作為論文學術水平的評價指標是難以成立的，但作為論文學術影響的評價指標仍具有一定的參考意義。

（五）被引向度

被引向度是應用引文分析法來評價學術論文的評價向度，是從歷史回溯的角度表征了被評價論文在學術研究進程中的地位和對其他研究者提供的科研借鑒作用。被引向度指標包括總被引頻次、5年被引次數等。被引向度的主要影響因素有論文自身的學術水平、所屬學科范圍、讀者可獲得性、非正常引用和評價統計源等。

引文分析法本來的目的指向是文獻檢索，引用與被引用關系使得看似孤立成篇、浩如煙海的科技文獻之間有了千絲萬縷的緊密聯系。對文獻之間引用與被引用關系的數量特征分析和離散規律進行的研究，就是引文分析。雖然很早就有學者關注過文獻的引文分析，如1927年美國化學家格羅斯兄弟（P.L.K.Gross & E.M.Gross）基于對化學教育雜志的引文分析，列出了化學教育核心期刊表等。但當時尚處初期的引文分析工作僅是對某一領域的文獻做過統計分析，在理論上還沒有系統總結和提煉。直到20世紀50年代，眾多文獻學家開始對此開展進一步研究，而其中影響最大的要屬美國著名情報學家尤金·加菲爾德（E.Garfield）。加菲爾德起初對引文分析的研究主要集中在作為檢索工具的引文索引的設計和生產，之后又延伸到引文分析用于科學管理、科學史研究等方面，并創辦了美國科學情報研究所（Institute of Scientific Information，簡稱ISI）。ISI專門對被引頻次與同行專家評議的相關關系進行過長時間段的比對研究，為了消減獲獎對學術論文產生的可能影響，SCI統計了1962、1963年諾貝爾物理獎、化學獎、醫學獎的獲獎者在1961年版所發表論文的被引量，然后對此進行引文分析，這些獲獎科學家的篇均被引頻次是2.9，遠遠高于本學科領域的篇均被引頻次1.57。接著反過來驗證，SCI又采集了1961-1975年間被引頻次最高的250位科學家的獲獎情況，其中獲得諾貝爾獎高達42人，入選某個國家科學院院士的高達151人，剩余的其他人也都獲得了其他形式的學術獎勵或承認。這組數據說明了被引行為是一種學術共同體對學術研究水平的承認，也就是說，引用行為和被引論文或專著學術水平存在著比較明顯的正相關關系。基于這一點，引文分析法可以延伸到評價學術期刊，ISI于1963年編制、出版了《科學引文索引》（Science Citation Index，SCI），1973年編制了《社會科學引文索引》（Social Science CitationIndex，SSCI），1978年編制了《藝術與人文科學引文索引》（Arts & Humanities Citation Index，A & HCI）。至此，加菲爾德較為齊備地創建了他的引文索引系統和引文分析理論體系。

在學術期刊評價體系沒有被廣泛使用時，對論文學術水平的鑒定主要依靠專家鑒定。專家鑒定雖然有其直接針對論文內容和研究水平進行具體學術評價的優點，但也由于專家個人學科范圍、學術造詣、評審態度有差別，又容易受到人情關系的影響，再加上評審次數很多、工作量較大，嚴重影響到了工作效率和工作質量。科研管理界急需一種能夠快速、簡便地對科研論文進行初步評價的辦法出現。甚至于有些苦無良策的科研管理機構干脆就按照學術刊物的主辦方行政級別和歸屬層次簡單把學術期刊歸類為國家級、省部級和地市級，在這些刊物上刊發的論文也隨之實現了粗糙的按級別評價。這種簡單評價顯然存在很大問題，但也說明了科研管理界對于學術論文簡便評價的需求有多么迫切。當出現了本來是為圖書館藏服務的核心期刊目錄后，被科研機構迅速而廣泛運用到科研管理中，也就不難理解了。

目前被廣泛使用的論文學術水平評價方式，就是主要通過引文評價來劃分學術期刊等級，再根據學術期刊的等級“以刊評文”，來判定論文的學術水平。我們分析一下，實際上這一系列的程序存在著兩次“錯位”。第一次“錯位”是“以引評刊”，就是以學術期刊所刊發論文的被引用數量來評價學術期刊。引用別人的研究成果是表示論文作者認識到被引用文獻對該研究成果具有一定的影響并重要到需要標注的程度。引用行為本質上是說明該研究成果對其他同行的繼續研究產生了影響，而影響別的研究者這一行為本身并是證明其學術水平的高低以及高低程度。并不是每一項杰出的研究成果都能獲得學界普遍認知，愛因斯坦的相對論就一度受到冷遇;對實踐富有指導意義的論文，很可能難以用學界的引用行為得到表現。此外，由于研究者個體學術研究能力和接受水平區別很大，每次引用行為表達的受影響程度多少不同，引用行為在性質上也有介紹科研背景、資料性說明、論據類描述、批判性指向、非正常引用等差別，以上這些差異很顯然都是無法進行比較的。正因為如此，學界一直以來都對“以引評刊”存有異議。

第二次“錯位”是“以刊評文”，對論文學術水平的評價決定于該論文在何種等級的學術刊物上發表，以學術刊物的評價代替對其刊載的某篇論文的具體學術水平的評價。學術期刊能夠成為核心期刊或來源期刊，是“以引評刊”的結果，也就是來自刊發的大量高被引學術論文作出的貢獻，但學術期刊刊發的每一篇論文對刊物整體被引用的貢獻度差別很大，有些論文甚至沒有什么被引用。有研究者基于Nature的定量分析表明，25%左右的論文貢獻了學術期刊60%以上的影響因子。一些學術水平低的論文發表在高等級學術期刊上，就可以借此獲得和刊發的其他高水平論文相同的學術評價。“以刊評文”把對論文的評價交付到了學術期刊的編輯手中，并不需要學術共同體對此的再評價，弊端是顯而易見的。

引文評價并不完善，也飽受爭議，之所以成為評價論文和期刊學術水平的主流權威指標，是因為從經濟性、科學性、簡便性來綜合考慮是最優的選擇。計算機技術的廣泛應用更使得這種方法的統計簡易性、大樣本可操作性大幅提高。時至今日，引文分析依然是學術期刊評價體系和論文評價系統的主要評價方法。從引用向度的實質來看，被引向度實際上考察的是論文的學術影響，并不是論文的學術水平。目前這種“錯位”使用只是一種權宜之舉。

（六）大數據閱讀分析評價向度

隨著學術文獻在網絡上的廣泛呈現，實施大數據分析來評判論文學術價值也成為可能。大數據閱讀分析評價方法來自閱讀者針對論文水平這種方法首先依托中國知網、萬方數據等海量的學術論文庫，以獲得免費閱讀權等吸引有專業素養的海量讀者在閱讀論文后，按照系統事先設定的各項評價指標進行多方面的定性評分，由系統對評分者的專業可信度、歷史評分偏離度進行糾錯和加權，獲得生成的歸一化數據。實施海量的評價統計用來淹沒個人學術評價的偏離，糾錯和加權用來提高評價的準確性。評價指標的數據是動態更新的，但某一篇論文的評價指標在一定時間段后會越來越趨于穩定。大數據閱讀分析評價向度將論文學術水平評價權交還給學術共同體，交還給廣大讀者，是學術評價權力的回歸本體。實際上，只有在本專業有一定造詣的研究者共同作出的評價才是相對公平、公正的，過去由于大數據分析無法得到實現，才使得評價權力被暫時讓渡給學術期刊、學術文摘期刊和有關項目評獎單位。當大數據分析評價論文學術水平成為普遍以后，引用向度就可以完全回歸到其作為學術影響指標之一的本來身份。

（七）網絡影響力評價向度

基于網絡對學術論文的引證、推送等反響的可被統計特征，出現了一系列企圖通過學術論文的網絡使用來考量其學術影響力的評價方法。其中最有代表性的是Altmetrics指標評價方法。

Altmetrics指標評價方法是由賈森·普里姆（Jason Priem）2010年最早使用，其通過各種學術社交網絡上的科技信息傳播活動的計量來考察學術論文所產生的學術影響。基于學術論文在網絡上各種方式的使用和評價的匯集整理，主要來自于Mendeley、Twitter、Google+、Facebook、Wikipedia、F1000、新聞、視頻、博客、微博等平臺的信息獲取，從中提取知名度、熱點、合作注釋、標簽密度等評價指標數據進行考量。雖然Altmetrics指標評價方法相比傳統評價指標對學術使用有著更為廣泛的考察范圍，但也存在著難以普遍評價學術論文和時滯性的問題。如C.Syamili等學者在根據2010—2015年數據源的研究發現，Altmetrics指標也存在著覆蓋率較低的問題，其中只有15%—24%可以采集到Altmetrics指標數據，即使假以時日會有所增加，但還是難以使用實現Altmetrics指標廣泛應用于學術論文評價。Altmetrics指標的獲取也需要較長時間的指標積累時間，在指標積累時間段內難以使用這種評價方法。

二、學術論文的定性評價

定性評價學術論文是最主觀、最直觀的評價方法。當我們閱讀每一篇學術論文后，都會自然而然產生對其的定性評價。定性評價的指向當然可以是五花八門的，但一般都是基于意識形態向度、學術價值向度和寫作質量向度等評價向度來進行的。

（一）意識形態向度

意識形態向度是對學術論文的政治導向、社會倫理要求等方面的考量。自然科學領域的學術論文較少涉及這一評價向度，但對于人文社科領域的學術論文來講，意識形態向度是評價學術論文的首要標準。對學術論文進行意識形態向度的評價，不是簡單地“上綱上線”，是為了保證學術論文的內容不違背黨的思想、方針、政策，不違背國家的法律法規和相關規定，不違背主管部門的相關要求，不違背社會道德、公序良俗，總的目標是促進社會科學的繁榮與發展。按照意識形態標準評價學術論文，最難把握的是意識形態原則與學術自由的界限。我們倡導學術自由，但也要警惕以“學術自由”為幌子，對黨和國家的意識形態建設產生消極影響的學術論文。我們堅持政治標準，但也不片面擴大政治標準，限制學術研究的爭鳴與探索。由于意識形態向度的重要，在學術論文的意識形態要求上，一般采用一票否決制，如果論文在意識形態向度上有問題，直接取消其參評資格。

（二）學術價值向度

關于論文的價值評價劃分有各種說法，如將論文價值分為學術價值和社會價值的，再將學術價值下分為科學進步價值和學科建設價值，社會價值下分為社會反響和社會效益。評價要首先要考慮可操作性，且不論指標劃分是否合理，如果無法具體實施就會讓這種討論的意義化作烏有。考慮到評價使用實際，我們認為，學術價值向度按照表現狀態不同可以下分為學術水平評價和學術影響評價。學術水平是論文與生俱來的，刊發以后就已經固有的;學術影響是指論文刊發后，對學界、業界甚至國家、社會、世界所產生的延宕性影響，這種影響是與時俱進的。經濟價值和社會價值都是由論文學術水平引發的，都應該從屬于論文的學術影響。論文的學術價值評價相較于意識形態評價，更難以把握和考量，也是論文評價的難點所在。也正是因為如此，學術評價領域一直以來都對論文學術價值給予最高重視，采用了多種辦法期望實現精準化、簡便化。精準和簡便是矛盾的，工作實踐上很難兼顧。目前，我們只能在依托定量指標評價的基礎上來定性考量論文的學術價值。

1. 學術水平評價

學術水平是學術論文的核心價值表達，是直接體現論文撰寫、刊發的意義所系。從論文學術水平評價的歷史流變來追溯，最早的評價方式是單純的專家評議，直到圖書情報界將引文分析法廣泛應用于評價學術刊物后，對論文學術水平的評價的絕大部分轉嫁給學術期刊評價系統，“以刊評文”得以大行其道。

論文學術水平來自整體學術研究價值，具體的評價指向為論文的創新性、科學性、重要性、實用性（可借鑒性）。創新性是指論文是否提出了新思路、新方法、新發現、新認識，科學性是指論文是否符合客觀事實標準，論據充分、論證嚴密、結論客觀，重要性是指選題的重要性和結論的重要性，實用性（可借鑒性）就自然科學論文來說是指是否對實踐有指導意義，就人文社科論文來說是指對同類研究是否有可借鑒性和參考意義。

2. 學術影響評價

論文的學術影響評價包括論文在學科領域中產生的促進作用、對后續學術研究的影響和激活、論文對行業實踐的指導價值和意義、論文相關的研究成果應用所獲得的經濟效益、對社會作出的公益貢獻等。很多評價系統和研究者會把學術影響和社會影響分列，實際上論文的學術影響和社會影響是不可分割的，社會影響是從屬于學術影響而存在的，是學術影響的不可或缺的有機組成部分。論文產生的學術影響包括政治效益、思想文化效益、生態環境效益、經濟發展效益、科技進步效益等。由于論文的學術影響必然會有很長時間的滯后，在實際評價中其評價難度超過學術水平評價。

（三）寫作質量向度

寫作質量向度是考量論文作者通過文字、圖表公式、數字和計量單位、引證來表達學術觀點的能力。寫作質量可以下分為簡明流暢要求、合理必要要求和標準規范要求。簡明流暢要求是指論文的標題是否精煉、內容摘要是否簡明、關鍵詞是否準確、行文是否流暢、文字是否精當、文章結構是否合理等，合理必要要求是指論文中的圖表安排是否合理、公式使用必要準確等，標準規范要求是指引證是否規范、數字和計量單位是使用是否符合標準等。

三、定性評價和定量評價在學術價值評價指向上的向度契合和配合使用

（一）兩類指標的向度契合

從表1可以看出，政治標準向度和寫作質量向度無法通過定量評價進行操作，這也告訴我們，在論文學術質量的評價上，定量評價相較于定性評價還是存在缺失的。對論文學術質量的評價不能完全依靠定量評價，但對其中的學術價值考量，定量評價和定性評價是基本契合、可以互相參照的。

學術水平評價目前可以通過三種方式進行評價，一是邀請少量有學術評鑒能力的專家小范圍內進行主觀上的定性評價，雖然對少量論文的評價來說簡便易行，大量論文就需要付諸人財力的大量消耗，且存在評審專家個人學術水平、評審態度和人情往來因素的干擾;二是“以刊評文”，通過論文刊發期刊是否入選SCI、SSCI、A&HCI、EI、CSSCI、北大核心期刊等序列來進行論文學術水平評價，這也是目前學科研管理界普遍的做法。這種方式最不損耗人財物力，但被引向度是一種有所“錯位”的評價，會與實際情況有一定程度的偏離;三是通過大數據閱讀分析評價系統進行定量評價，這種方式最貼近實際學術水平，但需要有待該數據平臺的建立后才能實施。

學術影響評價是定性評價中最難以評判的，Altmetrics指標評價等網絡影響力評價方法還沒有達到廣泛普遍使用，目前這方面的評價一般還是通過被評價方提供的一些表述來大致把握，表述水平的高低、表述內容是否確切、評判方的標準都影響到實際評價效果。將定量評價中的被引向度、摘轉向度、獲獎向度、基金項目向度和web下載向度引入社會影響的定性評價，就會有相對規范的指向和尺度。尤其是被引向度、摘轉向度、獲獎向度和web下載向度本身就是論文發表后，學術共同體對論文的影響的反映，把這些數據當作是論文學術影響的表征是合適的。當對本領域內的論文進行學術影響評價時，被引向度、摘轉向度、獲獎向度、基金項目向度和web下載向度的先天缺陷可以得到一定程度上的消減，具備一定程度的科學性。在實施評價時，可以明確要求被評價方提供以上數據，以便于定性評價時有所依據。

（二）學術價值評價工作中兩類指標的配合使用

學術論文具體評價的實施者應該立足于自身需求，按照本次評價的適用性、實用性等因素，自主選擇其中一種或多種向度聯合使用來開展適合自身需求的學術評價工作，并依據相關定性向度指標數據進行適合評價目標的定性評價。

在論文學術評價向度的具體選擇上，首先應考慮使用方向與評價向度的適合度問題。如重在學術水平評價，就可以不去考慮摘轉向度、獲獎向度、基金項目向度和web下載向度，這些向度只能用來考量學術影響，是學術水平的延宕反應，并非是學術水平本身。“以刊評文”用作論文學術水平評價，目前只是一種替代性做法，隨著大數據閱讀分析評價的展開，這種替代做法將會取代。

定量評價適宜使用于具體評價的初級和粗略評價階段，精細評價還需要有在各專業學術領域有造詣的專家學者的參與下的定性評價。定量評價在初選和粗略階段的應用正好可以揚長避短，在下一步的精細評價中可以加入評審組的定性評價或更多數據支撐的定量評價，這樣的評價配置可以充分發揮定性評價和定量評價各自的優點，有效提高科研管理工作的有效性、合理性和可操作性。

四、結論

對學術論文的定性評價分為政治標準向度、學術價值向度和寫作質量向度。論文的社會影響、經濟價值等從屬于學術影響，是學術影響的一部分。

對學術論文的定量評價分為摘轉向度、獲獎向度、被引向度、大數據分析向度、web下載向度、基金論文向度等。通過論文定性評價向度和定量評價向度的比對討論，可以將定量評價中被引向度、摘轉向度、獲獎向度、基金項目向度、web下載向度明確為定性評價中學術影響向度的評判依據。從論文評價實踐工作來看，定量評價更適合使用于具體評價的初選和粗略評價階段，精細評價還需要在各專業領域有造詣的專家學者的參與下，依據定量評價指標進行的定性評價。