人工智能輔助同行評議的技術潛力、應用領域與倫理隱憂

摘 要：同行評議是科學研究中重要的質量控制機制，但傳統同行評議在發展過程中面臨著來自效率與公平等方面的挑戰。人工智能（AI）作為一種新興的技術手段，具備對傳統同行評議所產生的問題進行優化與改善的潛力。通過對AI輔助同行評議的相關案例與研究成果進行分析，梳理AI在同行評議中的技術潛力、應用領域以及可能引發的倫理風險和挑戰，本文認為，AI輔助同行評議是一種有前景的技術探索，但在實際操作過程中，為了確保AI輔助同行評議的科學性、公正性和可信性，也需要在數據質量、人機協作、倫理規范等方面進行充分的考量和平衡，以期突破傳統同行評議的瓶頸。

關鍵詞：同行評議；人工智能；智能化轉型；質量控制

DOl： 10.3969/j.issn.2097-1869.2023.03.004 文獻標識碼：A

本文著錄格式：徐亦舒， 查欣雨. 人工智能輔助同行評議的技術潛力、應用領域與倫理隱憂[J]. 數字出版研究， 2023， 2（3）： 21-27.

0 引言

同行評議（Peer Review）是判斷稿件質量、保護編輯，以避免學術成果重復、證明科研成果學術貢獻、維護科學共同體聲譽和信譽、應對學科專業細化的要求以及提升科學交流質量，同時能夠有效促進學術生產與學術出版的良性運作和整體科學知識創新[]。自1665年英國皇家學會官方刊物《哲學匯刊》首次采用同行評議作為審稿方法開始，到二戰后國家管理科學的模式確立，同行評議得到進一步發展并形成一種封閉審稿機制。

目前同行評議已經成為世界范圍內科學組織管理的主要運行機制，是專家系統地以判斷標準進行內容質量評價的重要制度，也是控制科研成果質量的有力保證[]。但傳統同行評議（Traditional Peer Review，TPR）模式也因模式不完善、不透明、主觀偏見以及周期長等問題而不斷被詬病。

傳統同行評議基本遵循一個相對固定的流程與標準對科研成果進行質量控制：通常會選擇2～3位同行專家擔任評議人，對相關科研成果從創新性、科學性、完整性等多個維度進行質量把關，并提出相應的評審意見；評議一般采取匿名的形式進行，即作者與評議專家彼此間不直接進行溝通；編輯等承擔聯系作者與評議專家的工作。同行評議作為科學學術共同體內部的評判和關鍵決策程序，基本上是基于一定的評判標準對科學工作進行系統性的“定性評價”，呈現出高度專業化和相對主觀化的特征，整體對專家經驗存在高度依賴性[3]。其主觀性結果也是造成同行評議本身的公平性、有效性等問題的重要原因。此外，學術投稿、科研項目申報等數量與日俱增，學術研究的專業細分化以及跨學科學術研究日益同時出現，也加劇了傳統同行評議制度的現實運作困境。

20世紀90年代以來，大眾對于科學研究的關注日益提升，科學研究倫理問題被普遍討論，科學研究迅速發展，科研成果數量不斷增多，諸多要素疊加，造成科學面臨著“走向社會”的壓力，原本相對封閉的科學自治結構被迫向社會敞開。信息技術的快速發展在為同行評議“走向社會”奠定技術基礎的同時也打開了實踐空間，以在線審稿系統、預印本倉儲（E-print Repository）工具arXiv為代表的開放獲取（Open Access）和開放同行評議（Open Peer Review）以及人工智能（Artificial Intelligence ，AI）輔助同行評議等，從不同維度，如組織形式、流程設計、過程管理等，對傳統同行評議進行重塑甚至顛覆[4]。

AI技術快速迭代升級，尤其是2023年年初以來諸如ChatGPT等AI輔助工具展現出超乎想象的實際應用效果，引發各行各業的廣泛關注。對于學術出版等相關領域而言，AI技術的介入，尤其是對AI輔助同行評議（AI-assisted Peer Review）的探索，將為突破傳統人工評議的瓶頸，以人機協同的方式提升評議的效率與質量、優化評議流程以及提升評議效率提供潛力。

基于對國內外AI輔助同行評議的相關研究與實踐案例進行考察，嘗試從AI在同行評議中的技術潛力、發展方向以及潛在的倫理風險與挑戰等方面對AI輔助同行評議的探索進行回顧與反思，以期為提升我國學術出版質量、加快該領域的數字化與智能化提供參考。需要特別說明的是，本文所討論的同行評議指的是一種抽象的科學共同體對于科研成果進行質量判斷與控制的實踐，而非特定的、針對科研工作者個體的評議行為。

1 AI輔助同行評議的技術潛力

2022年7月，施普林格·自然（Springer Nature）宣布推出一項AI引導的新服務——自然科研智訊（Nature Research Intelligence）。該服務包含三種產品，即自然策略報告（Nature Strategy Report）、自然指數（Nature Index ）以及自然引航（Nature Navigator），以協助科研決策者制定數據驅動的戰略，發現研究與合作的機會，并更好地理解有關最新研究趨勢的真知灼見，進而指導戰略決策、吸引資助和開展前沿研究，以此來造福社會。正如施普林格·自然的負責人Niels Peter Thomas所說，AI“不僅有助于我們創造新的知識，也有助于我們更好地閱讀和理解現有的內容”。而AI與出版的融合，尤其是以AI技術賦能學術出版是近年來國內外學術出版相關研究與實踐領域研究探索的重要內容之一。盡管目前相關領域尚處于探索與起步階段，但機器學習（Machine Learning，ML）、自然語言處理（Natural Language Processing，NLP）以及自動化算法匹配等創新技術展現出巨大技術潛力，已經開始逐步改變同行評議的面貌。

1.1 NLP賦予文本可讀性

NLP是AI的重要分支，其目的是利用計算機對自然語言進行智能化處理。基礎的NLP技術主要圍繞語言的不同層級展開，包括音位（語言的發音模式）、形態（字、字母如何構成單詞、單詞的形態變化）、詞匯（單詞之間的關系）、句法（單詞如何形成句子）、語義（語言表述對應的意思）、語用（不同語境中的語義解釋）、篇章（句子如何組合成段落）七個層級。這些基本的NLP技術經常被運用到下游的多種NLP任務中，如機器翻譯、對話、問答、文檔摘要等。依靠NLP技術讓機器能夠理解人類語言，用自然語言的方式與人類交流，最終實現“智能”。從2023年年初ChatGPT等這類AIGC應用給人類帶來的強烈震撼中可以印證，借由NLP技術，AI已經能夠理解并生成人類的語言[5]。

NLP對AI輔助同行評議發展至關重要，因為AI參與同行評議的一個關鍵性技術前提就是能夠有效理解文本數據（不同領域的科研成果內容），即需要具備文本可讀性（Readability）[6]。有關可讀性公式（Readability Formulas）和認知指數（Cognitive Indices）的研究也顯示，NLP是進行文本質量評估的有效工具。研究者在NLP技術的幫助下，利用從特定的醫學領域提取的特征，如領域信息量和類別等，最終幫助文章進行自動且有效的分類[7]。再比如，有研究者使用NLP技術從評審內容、評審相關性、評審覆蓋率、評審語氣、評審數量和是否剽竊他人評審意見六個方面幫助審稿人提高評審質量[8]。

但是，我們也需要清醒地認識到科研成果是極其復雜的文本，對其進行質量判斷是一項極具挑戰性的工作，依然有很多挑戰需要應對。比如：如何制定判斷標準？如何應對學術語言的千變萬化？如何設計綜合性的判斷指標？等等。

1.2 AI算法促進評議流程高效化

同行評議在全球學術出版領域被普遍接納，并成為其中關鍵性環節與科研成果質量把關程序。此外，隨著科學研究的快速發展，科研成果數量與學術論文數量都隨之高速增長，學術研究的生產量能超出了學術同行評議的供給量[9]，導致同行評議壓力劇增以及科研成果發表周期被拉長。這就使得在同行評議中引入AI作為評議工具和手段，以人機協同的方式來提高評議的信度和效度成為可能。其中一個重要探索領域就是通過數據統計以及相關實驗算法分析來提升同行評議整體效率，而AI算法在其中發揮著重要作用。

所謂AI算法是一系列計算機指令組成的程序，相較于一般算法，它的特殊之處在于能夠模仿人類在解決問題時所表現出來的智能行為，進而推動特定問題的解決[10]。比如，Mrowinski等分析了《塞爾維亞化學學會雜志》（Journal of the Serbian Chemical Society）運用自然啟發進化算法——笛卡兒遺傳規劃（ Cartesian Genetic Programming），在保持相同數量審稿人的情況下只消耗了原本70%的評議時長[11]；江虎軍等對我國國家自然科學基金（National Natural Science Foundation of China，NSFC）評審過程中的同行評議專家智能指派項目進行分析，發現同行評議智能化完全可行，并且隨著相關工作的完善，其質量會進一步提升[12]。

AI算法不僅能夠輔助同行評議提升效率，同時通過不斷重復過程，能夠逐步建立起一套質量判斷的新指標，進而提升評議的科學性。但目前來看，AI輔助同行評議在算法設計、算法對于科學研究情境的識別以及算法合理性的規制等方面都尚處于起步階段。最后，無論NLP技術還是AI算法的加入，AI輔助同行評議的重要意義在于對傳統同行評議流程的標準化和自動化進行改造，而這也是AI從“輔助”同行評議向深度“參與”同行評議，以及更深入地嵌入并逐步發揮主體性功能的重要體現。

2 AI輔助同行評議的應用領域

傳統的同行評議在使用計算機設備時大多只是將其作為平臺性工具來進行評議信息檢索和存取等活動，而在AI輔助同行評議中，AI將作為行動者在初審、送審和評審階段都發揮特定的作用。基于科研成果同行評議的獨特性，AI在其中的運用呈現逐步深入的特征，主要集中在來稿審查、審稿人智能匹配以及學術影響力預測等方面。

2.1 AI輔助來稿審查

無論學術期刊來稿，還是科研項目申報投標亦或是學位論文盲審，來稿審查是同行評議首要也是最基本的評議環節。一般而言，來稿審查主要涵蓋了結構合理性審查、統計數據審查以及學術不端檢測等。具體來說，文本挖掘技術、關鍵詞掃描技術以及基于NLP技術的內容剽竊檢測算法等前沿技術的運用，使得AI可以對科研成果的結構合理性、統計數據以及學術不端狀況進行有效審查。

其中，學術不端智能檢測功能是AI輔助同行評議功能開發與應用得最早、最普遍，以及相對發展成熟的領域。比如，全球最大的學術出版商愛思唯爾（Elsevier）在2015年就開發了線上審稿與編輯系統Evise，系統會自動與反剽竊軟件進行關聯，檢測文章是否存在抄襲情況。我國的知網學術不端檢測平臺通過對文本、公式、表格等進行檢測，得出文獻相似度等總結性分析材料。此外，與之相似的還有萬方數據的文獻相似性檢測服務、維普論文檢測系統以及美國的CrossCheck等等。

2.2 AI輔助審稿人智能推薦

審稿人智能推薦是AI輔助同行評議的另一項重要應用，主要是通過AI推薦算法在特定數據庫中篩選出最佳審稿人。具體來說，審稿人推薦算法一般包括對象匹配和約束條件兩個部分[13]，通常是在給定的多重約束條件下通過作者共現網絡來進行審稿人智能匹配。

審稿人的匹配與推薦過程能夠通過智能算法快速完成，從而有效提升審稿人推薦效率。相關研究表明，相較于人工審稿人指派，智能審稿人推薦與指派能夠更有效、更充分地利用所有符合約束條件的評議專家資源，同時也能夠更為精準地進行專家回避等，有效緩解評審專家超負荷評審問題[12]。相關實踐顯示，AI指派審稿人的效率約為人工指派的285倍[14]，從而大大節約了人工送審成本。

我國各項科學基金項目管理機構早就開始嘗試運用AI技術輔助項目評審。比如，國家自然科學基金就引入評審專家AI指派系統，利用NLP技術抓取在線學術文獻數據庫和科學家個人網頁，搜集潛在評審專家信息，再通過語義分析比較項目申報書與潛在評審專家在研究方向上的契合度，同時考量專家的學術信譽數據，最終篩選出合適的審稿人[14]。但是，盡管通過設計對象匹配和約束條件兩種算法可在短時間內篩選出符合條件的人員，但是由于地域或跨學科等約束條件無法進行擇優排序，導致推薦出來的人員可能并非現實中的最佳人選，仍需要人工進行最終把關。此外，受限于專家庫以及日益普遍的跨專業研究帶來的挑戰，目前相關基金項目的同行評議智能指派依然有待進一步完善。

2.3 AI輔助學術影響力預測

學術影響力是科學研究評價的一個極為關鍵的指標，因此對其進行有效預測是同行評議的重中之重，也是評價學者、機構、期刊、國家等學術實體影響力的基礎工作[15]。截至目前，國內外學界在學術影響力的評判上并無統一標準，只能借被引頻次等間接指標來推測。

通常而言，AI輔助科研成果影響力預測是借助ML技術，通過挖掘數據的潛在規律來實現學術影響力預測功能，由此識別具有高影響力的科研成果。這對于科學研究管理者預測學科領域發展方向、研究主題以及推介重點研究成果等具有指導意義。根據現有的實踐經驗來看，常用于預測論文、學者等學術影響力的ML方法主要有 NN、SVM、Markov 模型以及 XGBoost等[14]。目前，比較知名的實踐包括丹麥的UNSILO運用NLP與ML技術提煉論文的結論和觀點，形成內容總結[16]；美國的MBI通過建構預測模型來推測審核稿件的未來被引頻次等[17]。

盡管從目前的狀況來看，AI輔助學術影響力預測還存在諸多局限性，學術影響力預測也成為目前AI輔助同行評議最難以取代人工的部分，但無疑這是未來AI輔助同行評議最具價值和發展前景的領域和方向。

3 AI輔助同行評議的倫理隱患

隨著AI參與同行評議實踐日益普遍化和程度不斷深化，一些附著于AI技術的問題以及AI參與到同行評議之中后帶來的全新倫理問題等開始逐漸顯現。其中，最令人擔憂和受到關注的就是效率與公平之間的沖突等倫理問題，在實踐中具體體現為“數據中心”的運作邏輯、智能技術對“人的主體性”的剝離以及人機協同評議對傳統學術倫理造成的沖擊等方面。

3.1 “數據中心主義”的科學隱患

AI的三大基礎分別是算法、算力及數據，其中數據是AI模型訓練的前提。從AI輔助同行評議的基本場景與流程中也可以發現，其運行的基礎之一就是大量現有科研成果資料、行業數據、人口數據、同行專家信息等多種類型數據資料。得益于越來越普遍的科研數據共享與科研成果開放，利用海量專業科研數據訓練專業的AI模型成為可能。

但隨著AI介入同行評議程度不斷加深，對于AI模型的智能程度也提出更高的要求，尤其是在AI參與到對科研成果的實質性內容的深層評估時，用于AI模型訓練的數據質量，尤其是數據的多樣性、公正性以及真實性，將直接影響到AI參與同行評議的公正、準確以及科學性。“數據中心”的運作邏輯也給AI輔助同行評議埋下了隱患，比如延續社會性偏見、數據虛假等。

具體來說，這些海量的科研數據集本身在時間、語言以及地域等方面就可能存在巨大的不平衡，而這種不平衡必然會造成訓練出來的AI模型帶有一定程度的偏見。這種偏見一方面可能延續了傳統社會性偏見（比如性別、地域、年齡等），另一方面可能在學術評議中進一步強化目前互聯網環境下涌現的種種偏見。比如，數字鴻溝導致對“數字貧困”群體的忽視，這種對數字邊緣群體的偏見就會日積月累傳遞到學術研究中。此外，如何有效杜絕大量網絡虛假信息對同行評議AI模型的侵襲也將是一大挑戰。

3.2 “人的主體性”受到挑戰的風險

就目前AI輔助同行評議的現狀來看，其發展尚處于初級階段，即對科學成果評判與管理的主體依然是人類，AI介入其中的程度還相對有限，或者說AI尚未成為同行評議的主導者。其原因在于同行評議流程和文本結構尚未在學界統一，尤其是在學術影響力分析層面，評價標準未統一、涉及領域復雜、課題新穎無參考數據等問題可能導致現階段的AI無法進行量化處理，只能成為人工評議的“助手”而不是“替身”[18]。

隨著AI智能化程度與整體算力不斷提升，AI參與同行評議的技術潛力與能力也將會得到快速釋放。不久的將來，AI參與同行評議的廣度與深度將會全面加強，甚至出現AI輔助同行評議的“ChatGPT”或“iPhone”。這不免在同行評議領域引發關于AI的經典擔憂：智能機器是否會取代人？也就是，AI是否會剝奪人對科學成果質量把關、價值判斷以及管理等方面的主體性？

對于這些擔憂，首先需要明確和達成共識的是：AI輔助人類是未來社會各行各業發展的必然趨勢，也必將成為人們的生活與工作常態。同時，在科研成果評議上，AI目前無法完全取代人類。在此基礎上，我們再去思考科研成果判斷與管理當中可能面臨的“人的主體性”被剝奪的問題，我們要做的并不是去拒絕或者有意弱化AI對同行評議的輔助，而是需要加強其學習能力，不斷完善數據庫和算法模型，改變單一的程序性能，使之能夠在繁瑣、復雜、新穎的真實環境下做出適當的判斷和選擇。同時，人類應致力于在認知能力上取得與科技相匹配的進步，以實現在同行評議領域的“AI賦能”，進而去規避“AI支配”。

3.3 對傳統學術倫理形成沖擊

隨著AI在科學研究領域的應用日益廣泛，科學研究倫理層面的問題開始被觸及，比如AI創造的知識產權、智能造假、智能剽竊等。2023年1月，巴黎政治大學因其學生大量使用ChatGPT做作業而向其學生和教師發送電子郵件，要求禁止使用ChatGPT等AI工具，并頒布“AI禁令”[19]。長久以來，“圍繞著技術跨越的哲學反思是異常復雜的，也是險象環生的，往往需要人有更多的審慎”[20]。從AI輔助同行評議逐步發展為AI參與同行評議，如何建立起基于AI的科研倫理也必然成為必須面對的新的倫理問題。

在當下的數據時代，AI作為一個嶄新的領域出現，將智能輔助作為新元素融入數字文明時代，并成為類似于互聯網的一種大眾默認功能。目前，AI輔助在學術影響力分析和審稿人篩選中仍處于研發狀態，未能進行大規模應用。并且由于涉及知識產權問題，評議專家庫以及論文庫能否收集完整也需要各方共同努力，政府部門應出面協商，軟硬件技術提供高質量保障，確保評議相關者利益不受損害，從而在AI逐步嵌入的過程中形成和完善基于“AI賦能”的科學成果管理與質量判斷的科學倫理體系。

4 結語

科學技術發展是推動社會進步的關鍵動力，而做好科研成果質量控制是推動科學發展與成果轉化的關鍵環節。傳統同行評議從首次嘗試到逐步探索并制度化，再到全球范圍內得到推廣，歷經數百年發展至今，在公平與效率等方面都面臨著日益增大的調適與創新壓力。AI輔助同行評議在提升同行評議效率、簡化同行評議流程、縮短科研成果發表周期、科學指派審稿專家以及預測科研成果影響力等方面都具有重要價值，能夠有效提升同行評議的科學性。AI技術契合了同行評議社會化改革的發展方向，能夠應用于同行評議的全過程和多領域。通過對AI輔助同行評議實踐的檢視發現，學術機構運用數據庫進行檢索和審查科研成果已經相當普遍，但是，目前AI輔助同行評議的整體層次尚待提升。

同時，我們也需要注意不應當過度依賴AI而忽視人的作用，否則可能會導致“AI輔助”同行評議變成“AI支配”同行評議。在此過程中也需要警惕AI自身的算法問題，以及由此產生的科學成果質量判斷上的倫理挑戰，尤其是可能會造成新的公平困境。如何協調AI與科研成果管理之間的關系，如何理順科研管理與算法治理之間的關系，是未來AI輔助乃至賦能同行評議需要進一步探討的問題。

作者簡介

徐亦舒，男，安徽大學新聞傳播學院講師、編輯出版學系出版智庫研究員。研究方向：數字出版、政治傳播。

查欣雨，女，安徽大學新聞傳播學院碩士研究生。研究方向：數字文化、政治傳播。

參考文獻

劉紅，胡新和.學術期刊同行評審的發展、方式及挑戰[J].中國科技期刊研究，2005，16（5）：605-608.

張彤，周云霞，蔡斐，等.學術期刊同行評議的歷史演進[J].中國科技期刊研究，2019，30 （6）：588-595.

付偉棠.我國學術期刊同行評議研究綜述[J].中國科技期刊研究，2019，30（8）：819-826.

WALKER R，DA SILVA P R.Emerging trends in peer review：A survey[J].Frontiers in neuroscience，2015（9）：169.

RUSSELL S J.Artificial intelligence a modern approach[M].New York：Pearson Education Inc，2010.

CHECCO A，BRACCIALE L，LORETI P，et al.AI-assisted peer review[J].Humanities and Social Sciences Communications，2021，8（1）：1-11.

COZZA V，PETROCCHI M，SPOGNARDI A.A matter of words：NLP for quality evaluation of Wikipedia medical articles[C]//Web Engineering：16th International Conference，ICWE 2016，Lugano，Switzerland.Proceedings 16.Springer International Publishing，2016：448-456.

RAMACHANDRAN L，GEHRINGER E F，YADAV R K.Automated assessment of the quality of peer reviews using natural language processing techniques[J].International Journal of Artificial Intelligence in Education，2017，（27）：534-581.

KOVANIS M，PORCHER R，RAVAUD P，et al.The global burden of journal peer review in the biomedical literature：Strong imbalance in the collective enterprise[J].PloS One，2016，11（11）：e0166387.

燕曉婕.人工智能時代行政決策的法治化進路[J].哈爾濱師范大學社會科學學報，2020，11（1）：37-40.

MROWINSKI M J，FRONCZAK P，RONCZAK A，et al.Intelligence in peer review：How can evolutionary computation support journal editors？[J].PLoS One，2017，12（9）：e0184711.

江虎軍，郝艷妮，徐巖英，等.國家自然科學基金項目同行評議的智能化探討[J].中國科學基金，2019，33（2）：149-153.

PRICE S，FLACH P A.Computational support for academic peer review[J].Communications of the ACM，2017，60（3） ：70-79.

張彤，尹歡，蘇磊，等.人工智能輔助學術同行評議的應用及分類[J].中國科技期刊研究，2021，32（1）：65-74.

白曉梅.基于社會網絡分析的學術影響力評估與預測［D].大連：大連理工大學，2017.

董文杰，李苑.科技期刊智能出版工具：UNSILO平臺［J].中國科技期刊研究，2020，31（6）：702－709.

HEAVEN D.AI peer reviewers unleashed to ease publishing grind［J］.Nature，2018， 563（7733）：609-610.

陳銳，王文玉.司法人工智能與人類法官的角色定位辨析[J/OL].重慶大學學報（社會科學版），2021：1-16[2023-06-12].網絡首發.

界面新聞.巴黎政治大學禁用ChatGPT以防抄襲[EB/OL].（2023-01-28）[2023-06-12].https：/baijiahao.baidu.com/s？id=1756236407347221652amp;wfrspideramp;for=pc.

杜駿飛.何以為人？AI興起與數字化人類[J].南京社會科學，2023（3）：76-85.

Technical Potential， Application Fields and Ethical Concerns of AI-Assisted Peer Review

XU Yishu， ZHA Xinyu

School of Journalism and Communication， Anhui University， 230601， Hefei， China

Abstract： Peer review is an important quality control mechanism for scientific research， but traditional peer review faces challenges from efficiency and fairness in the development process. As an emerging technology， artificial intelligence （AI） has the potential to optimize traditional peer review. By analyzing relevant cases and research results of AI-assisted peer review， the technical potential， application fields， and possible ethical risks and challenges that maybe triggered by AI in peer review were sorted out.AI-assisted peer review is a promising technological exploration， but to ensure the scientificity， fairness and credibility， it is also necessary to fully consider and balance data quality， human-machine collaboration， and ethical norms in the actual "operation process， with a view to breaking through the bottleneck of traditional peer review.

Keywords： Peer review; Artificial intelligence; Intelligent transformation; Quality control