基于類概率的加權(quán)投票模型用于預(yù)測論文評審結(jié)果?

劉 蘭 李英祥 鐘劍丹

（成都信息工程大學(xué)通信工程學(xué)院 成都610225）

1 引言

學(xué)術(shù)論文是用以提供學(xué)術(shù)會議上宣讀、交流、討論或?qū)W術(shù)刊物上發(fā)表，或用作其他用途的書面文件，它是一項(xiàng)研究工作的最佳體現(xiàn)。當(dāng)前最常見的評估學(xué)術(shù)論文的方法是同行評審，即由專業(yè)人員進(jìn)行人工審查以決定接受或拒絕。然而，隨著論文稿件的不斷增加，耗時(shí)費(fèi)力的人工審查已經(jīng)不堪重負(fù)，2018年的NIPS會議由于收到過多稿件而啟用剛畢業(yè)的本科生作為審稿人的新聞就引起了軒然大波［1］。同時(shí)，De Silva等［2］指出，同行評審是指某領(lǐng)域的專家對同領(lǐng)域其他研究人員的研究質(zhì)量的判斷，它本身存在著很強(qiáng)的主觀因素，不利于客觀評價(jià)。Jefferson T等［3］也表明對同行評審作為選擇優(yōu)質(zhì)研究工作的唯一標(biāo)準(zhǔn)持懷疑態(tài)度。因此，引入機(jī)器自動評審來協(xié)助傳統(tǒng)的人工審查已經(jīng)十分地迫切，它既可以減輕人力物力的負(fù)擔(dān)，也有助于構(gòu)建更加客觀、公正的評估系統(tǒng)。

伴隨著人工智能理論的不斷推陳出新，自然語言處理也獲得了急速的發(fā)展，但目前針對論文自動評審這一任務(wù)的研究還相對匱乏且無法達(dá)到預(yù)期效果。2017年，Brian Keith等［4］首次通過分析論文評論中所包含的情感來預(yù)測論文的評審結(jié)果，但這只是針對評論文本所作的預(yù)測，并非根據(jù)論文本身。之后，Pengcheng Yang等［5］提出了基于論文的LATEX源文件和元信息來對評審結(jié)果進(jìn)行預(yù)測，D Kang等［6］則提供了第一個(gè)基于同行評審的用于研究目的的公開數(shù)據(jù)集PeerRead，并訓(xùn)練了多個(gè)簡單二分類模型，從中選取效果最好的模型用于預(yù)測評審結(jié)果。但單一的分類模型性能不夠優(yōu)異，穩(wěn)定性也無法得到保證，因此本文建立了一個(gè)多分類器投票模型用于預(yù)測論文的評審結(jié)果，基于集成學(xué)習(xí)的投票法能有效增強(qiáng)模型的魯棒性和泛化性。投票法是指對多個(gè)基分類器的分類結(jié)果進(jìn)行線性組合，主要包括多數(shù)投票法和加權(quán)投票法［7］，當(dāng)各個(gè)基分類器的性能不一致時(shí)，大多采用加權(quán)投票代替多數(shù)投票。但傳統(tǒng)的加權(quán)投票只能輸出最終的類別，無法得到各類別的預(yù)測概率，且基分類器的權(quán)重在訓(xùn)練前進(jìn)行人工分配，導(dǎo)致該系數(shù)不夠精準(zhǔn)。基于此，本文引入訓(xùn)練之后得到的類概率來自動調(diào)整各個(gè)基分類器的初始權(quán)重，有效地優(yōu)化了權(quán)重分布，從而使模型性能得到提高，并可以輸出各類別的預(yù)測概率。

2 多分類器加權(quán)投票模型的構(gòu)建

2.1 特征提取及特征選擇

由于論文文本是非結(jié)構(gòu)化的數(shù)據(jù)，計(jì)算機(jī)無法對其進(jìn)行識別，所以必須對其進(jìn)行科學(xué)的抽象，建立它的數(shù)學(xué)模型，用來描述和代替文本，轉(zhuǎn)化為算法可以識別的數(shù)值特征，這一過程被稱為特征提取［8］。當(dāng)前，對文本的描述大多采用向量空間模型，即采用通過分詞、詞頻統(tǒng)計(jì)等算法得到的特征項(xiàng)來表示文本向量的各個(gè)維。但如果使用所有的特征項(xiàng)來表示這個(gè)向量，那這個(gè)向量將會非常大，這不僅會給后續(xù)工作帶來巨大的計(jì)算開銷，還會損害分類算法的精確性。因此必須通過特征選擇來降維，在保留原本語義的基礎(chǔ)上，去掉無關(guān)特征，找出最利于區(qū)分特征類別的文本特征，從而減小文本向量的維度。本文從兩個(gè)角度來對論文的特征進(jìn)行選擇：1）文本中的詞匯特征。用于表示文本的基本單位是單詞，由多個(gè)單詞依照規(guī)律連接起來，構(gòu)成完整的文本。眾多詞匯本身的特征置于特定語境中，集合成文本的特征，因而可將單詞作為特征項(xiàng)，通過獲取當(dāng)前語境中的單詞特征來提取文本特征。2）評審準(zhǔn)則的統(tǒng)計(jì)特征。論文的評審準(zhǔn)則中，除卻創(chuàng)新型、實(shí)用性等主觀準(zhǔn)則，通常還包含部分可統(tǒng)計(jì)的客觀準(zhǔn)則，例如摘要中是否包含關(guān)鍵字、參考文獻(xiàn)的數(shù)量、參考文獻(xiàn)的出版年份等，這些準(zhǔn)則主要決定論文的規(guī)范性和專業(yè)性，是更加直觀的不可或缺的評價(jià)標(biāo)準(zhǔn)，因此將其作為另一種特征。

特征提取及特征選擇的主要步驟如下。

1）將所有的原始數(shù)據(jù)作為一個(gè)語料庫，這個(gè)語料庫包含所有文章。對每篇文章進(jìn)行分詞處理，此時(shí)文章可看作單詞的集合，然后對所有文章去除停用詞，只留下有用的單詞；

2）為了節(jié)約計(jì)算時(shí)間和提高計(jì)算精度，利用詞嵌入技巧獲取文本的詞匯特征。使用預(yù)訓(xùn)練好的Glove［9］詞向量（glove.840b.300d.txt）來表示第1）步之后剩下的所有單詞，重構(gòu)文本的上下文語境，得到一個(gè)300維的向量空間，使得所有單詞都映射到這個(gè)空間中的一個(gè)向量；

3）通過TF-IDF算法［10］優(yōu)化單詞的權(quán)重，對所有單詞進(jìn)行加權(quán)平均，得到用來表示每篇文章詞匯特征的文本向量；

4）基于評審過程的客觀規(guī)則，對每篇文章的特征項(xiàng)進(jìn)行統(tǒng)計(jì)，并添加在詞匯特征之后。本文基于評審準(zhǔn)則共添加了24個(gè)特征項(xiàng)，如表1所示。

表1 基于評審準(zhǔn)則的特征項(xiàng)

2.2 模型的搭建

預(yù)測論文的評審結(jié)果可以看作是一個(gè)二元分類問題，其分類結(jié)果是論文稿件被接收或被拒稿，本文采用投票法來解決這個(gè)問題。投票法是一種常用的集成方法，它通過線性組合多個(gè)基分類器的投票結(jié)果來實(shí)現(xiàn)。一般來說，組合而成的分類器減少了單個(gè)分類器的誤差，性能優(yōu)于單個(gè)分類器。

假 設(shè)X={(xj，yj)|xj∈RD，yj∈{accept，reject}，j=1，2，…，k}表示一個(gè)樣本數(shù)據(jù)集，其中yj表示xj所屬的類，D是樣本空間的維數(shù)，k是樣本的數(shù)量，則模型結(jié)構(gòu)如圖1所示，模型搭建的主要流程如下。

圖1 模型結(jié)構(gòu)圖

1）將訓(xùn)練集X輸入到N個(gè)基分類器中進(jìn)行訓(xùn)練；

3）根據(jù)各基分類器的性能優(yōu)劣分配初始權(quán)重，用ωn表示第n個(gè)基分類器的初始權(quán)重；

4）基于類概率對該初始權(quán)重進(jìn)行優(yōu)化，并按照優(yōu)化之后的系數(shù)對已訓(xùn)練好的基分類器進(jìn)行線性加權(quán)組合，從而實(shí)現(xiàn)該投票模型的構(gòu)建。

在測試階段，輸入測試樣本x，模型輸出預(yù)測類別為i的概率p(i)(x)如（1）所示，并根據(jù)式（2）所示的投票策略得到其最終的預(yù)測類別y。

為了最小化錯(cuò)誤率，基分類器應(yīng)該互不相關(guān)且錯(cuò)誤獨(dú)立，本文選擇在經(jīng)典的邏輯回歸模型和在分類問題中性能優(yōu)良的SVM模型和XGBoost模型作為基分類器。

1）邏輯回歸［12~13］是一種經(jīng)典的基于統(tǒng)計(jì)分析的分類方法，本文采用的是二元邏輯回歸分類模型，其條件概率分布和logit函數(shù)，分別如式（3）、式（4）所示，其中權(quán)重向量ω=(ω(1)，ω(2)，…，ω(n)，b)T，特征向量x=(x(1)，x(2)，…，x(n)，1)T。

2）SVM［14~15］是一種二元分類模型，其目的是通過求解式（5）和式（6）所示的最優(yōu)問題，在特征空間中找到一個(gè)分離超平面ω·x+b=0來將不同類別的實(shí)例分隔開。它的分類決策函數(shù)和對應(yīng)的后驗(yàn)概率分別如式（7）、式（8）所示。

3）XGBoost［16~17］是一種提升樹模型，是將許多樹模型集成在一起，形成一個(gè)強(qiáng)分類器，它所用到的樹模型是回歸樹（CART）模型［18］。其算法思想就是不斷地添加樹，通過特征分裂來生長一棵樹。訓(xùn)練之后，每個(gè)樣本的特征會落在每棵樹的一個(gè)葉子節(jié)點(diǎn)上，這個(gè)葉子節(jié)點(diǎn)對應(yīng)一個(gè)分?jǐn)?shù)，將所有得分相加，即可得到樣本的預(yù)測值如式（9）所示。

該算法的目標(biāo)函數(shù)如式（10）所示。

3 投票方法

投票的整體思想是綜合投票者的選擇，得到一個(gè)普遍正確的結(jié)果。投票法在分類問題中應(yīng)用廣泛，它通過線性組合將多個(gè)基分類器整合在一起，能夠集成基分類器間的互補(bǔ)信息，減少單個(gè)分類器分錯(cuò)誤［19］，所以經(jīng)投票選出的結(jié)果往往比單個(gè)分類器的預(yù)測結(jié)果準(zhǔn)確性更高。現(xiàn)用N個(gè)基分類器的輸出結(jié)果進(jìn)行線性組合來表示投票法，假設(shè)是分類器n預(yù)測x的類別為i的輸出，則x為類別i的投票結(jié)果可表示為式（11）。

投票方法一般包括多數(shù)投票和加權(quán)投票，其中，多數(shù)投票法遵循少數(shù)服從多數(shù)的原則，其基分類器只輸出預(yù)測類別，超過半數(shù)者為最終類別，如式（12）所示。此時(shí)，若分類器n預(yù)測x為類別i，則，否則，

因?yàn)榛诸惼鞯男阅芡ǔ８鞑幌嗤约訖?quán)投票在實(shí)際應(yīng)用中比簡單投票更為廣泛。簡單的加權(quán)投票法是在訓(xùn)練數(shù)據(jù)之前，給每個(gè)基分類器手動分配一個(gè)合適的初始權(quán)重，用ωn表示分類器n的權(quán)重，投票結(jié)果可表示為式（13）。

對比式（12）和式（13），不難發(fā)現(xiàn)簡單加權(quán)投票法與多數(shù)投票法類似，也只輸出最終類別而無法得到各類別的預(yù)測概率，且根據(jù)經(jīng)驗(yàn)而進(jìn)行人工分配的權(quán)重并不能夠準(zhǔn)確地表現(xiàn)各基分類器在實(shí)際應(yīng)用中的優(yōu)劣差異，從而影響最終的投票結(jié)果。基于此，本文提出通過融合基分類器輸出的類概率來對初始權(quán)重系數(shù)進(jìn)行自動調(diào)整，優(yōu)化之后的投票結(jié)果如式（14）所示，此時(shí)表示基分類器n預(yù)測x屬于類別i的概率則表示投票分類器最終預(yù)測x屬于類別i的概率。再根據(jù)如式（15）所示的投票法則，可得到最終的分類類別。

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證模型的有效性，本文采用PeerRead數(shù)據(jù)集中的ICLR部分和arXiv部分來進(jìn)行實(shí)驗(yàn)，并與該數(shù)據(jù)集的單個(gè)最優(yōu)二元分類模型進(jìn)行比較。PeerRead是首個(gè)用于研究目的的基于同行評審的論文公開數(shù)據(jù)集，包含了來自ICLR、NIPS、ACL等頂級會議的一萬多篇論文文本和評審結(jié)果，部分包含具體評語。其中ICLR部分包含2017年的ICLR會議上提交的論文，arXiv部分包含2007~2017年間提交到arXiv平臺上的自然語言處理領(lǐng)域論文，由于論文提交的類別不一樣，所以arXiv部分的數(shù)據(jù)被分成了cs.cl、cs.lg、cs.ai三個(gè)子集，將分別對這三個(gè)子集建立不同的模型來進(jìn)行預(yù)測。數(shù)據(jù)的具體構(gòu)成如表2所示，其中正樣本為被接收的論文，負(fù)樣本為被拒稿的論文。

表2 實(shí)驗(yàn)數(shù)據(jù)

4.2 實(shí)驗(yàn)環(huán)境

在實(shí)驗(yàn)中，我們選擇Python作為編程語言。實(shí)驗(yàn)環(huán)境的詳細(xì)配置如表3所示。

表3 實(shí)驗(yàn)環(huán)境

4.3 評價(jià)指標(biāo)

用TP、TN、FP、FN表示的分類結(jié)果的混淆矩陣如表4所示，其中TP表示分類正確的正樣本，TN表示分類正確的負(fù)樣本，F(xiàn)P表示分類錯(cuò)誤的正樣本，F(xiàn)N表示分類錯(cuò)誤的負(fù)樣本。

表4 混淆矩陣

本文在實(shí)驗(yàn)中，首先選擇分類問題中最常用的評價(jià)標(biāo)準(zhǔn)——準(zhǔn)確率作為評價(jià)模型性能的指標(biāo)，準(zhǔn)確率是指分類正確的樣本數(shù)量與樣本總數(shù)量的比值，即。通常情況下，準(zhǔn)確率的值越高，分類器的性能越好。另外，從表1可以發(fā)現(xiàn)，用于實(shí)驗(yàn)的數(shù)據(jù)樣本較少且正負(fù)樣本不均衡，針對這種情況，我們增加常用于數(shù)據(jù)集的正例和負(fù)例不均衡的AUC值［20］作為評價(jià)指標(biāo)。AUC值是指ROC曲線下的面積，它是一個(gè)在0.5~1之間的具體的值，比圖形更加直觀簡潔，值越高，模型的性能越好。ROC曲線以假陽性率（FPR）為橫坐標(biāo)，真陽性率（TPR）為縱坐標(biāo)來進(jìn)行繪制，其中，如圖2所示。

圖2 ROC曲線示例

4.4 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文方法的性能，從不同角度進(jìn)行實(shí)驗(yàn)驗(yàn)證：用本文提出的投票分類模型與單個(gè)的分類模型進(jìn)行對比，用本文提出的改進(jìn)投票方法與傳統(tǒng)的投票方法進(jìn)行對比。

實(shí)驗(yàn)1為了評估所提出的融合類概率的多分類器加權(quán)投票模型與單個(gè)分類模型在預(yù)測論文評審結(jié)果時(shí)的性能差異，針對ICLR、cs.cl、cs.lg、cs.ai四個(gè)部分的數(shù)據(jù)，復(fù)現(xiàn)了Kang等人在公布Peer?Read數(shù)據(jù)集時(shí)所提出的單個(gè)最優(yōu)二元分類模型，搭建了本文所提出的模型，采用網(wǎng)格調(diào)參法尋找最優(yōu)的超參數(shù)，采用5折交叉驗(yàn)證法防止過擬合。實(shí)驗(yàn)得到的準(zhǔn)確率和AUC值分別如表5、表6所示（SC代表單個(gè)分類模型，PWV代表融合類概率的加權(quán)投票模型）。

表5 融合類概率的加權(quán)投票模型和單個(gè)分類模型的準(zhǔn)確率對比

表6 融合類概率的加權(quán)投票模型和單個(gè)分類模型的AUC值對比

觀察表5和表6，可以看出融合類概率的加權(quán)投票模型的性能顯著好于單個(gè)分類模型。在ICLR、cs.cl、cs.lg三個(gè)數(shù)據(jù)集上，準(zhǔn)確率分別提高了5.75%、0.06%、1.63%；AUC值在四個(gè)數(shù)據(jù)集上全部得 到 了 提 高，分 別 提 高 了0.014、0.028、0.027、0.047。這是因?yàn)橥镀狈ǖ氖褂檬沟脝畏诸惼髦g的錯(cuò)誤得到互補(bǔ)，從而使誤差減小。但是，在cs.ai這個(gè)數(shù)據(jù)集上，本文提出的模型準(zhǔn)確率反而有所下降。造成這一結(jié)果的主要原因是由于該數(shù)據(jù)集的正負(fù)樣本差異過大，此時(shí)如果模型預(yù)測所有的測試樣本均為負(fù)樣本，得到的準(zhǔn)確率就會很高，但這樣虛高的準(zhǔn)確率并沒有意義，因?yàn)槟Ｐ筒]有正確劃分正樣本和負(fù)樣本。

實(shí)驗(yàn)2為了比較融合類概率的加權(quán)投票法與傳統(tǒng)投票法的效果差異，分別采用多數(shù)投票法、簡單加權(quán)投票法和本文改進(jìn)的加權(quán)投票法進(jìn)行了實(shí)驗(yàn)。由于ROC曲線是根據(jù)分類模型的類概率變化來進(jìn)行繪制的，而多數(shù)投票模型和簡單加權(quán)投票模型均只輸出最終類別，無法輸出類概率，所以無法繪制ROC曲線，也無法計(jì)算AUC值。實(shí)驗(yàn)所得到的準(zhǔn)確率如表7所示（MV代表多數(shù)投票法，SWV代表簡單加權(quán)投票法，PWV代表融合類概率的加權(quán)投票法）。

表7 不同投票法的準(zhǔn)確率對比

從表7可以看出，在ICLR、cs.cl、cs.lg三個(gè)數(shù)據(jù)集上，融合類概率的加權(quán)投票法的準(zhǔn)確率高于多數(shù)投票法和簡單加權(quán)投票法，在cs.ai上的降低與實(shí)驗(yàn)1的分析相同。這說明融合類概率對權(quán)重進(jìn)行優(yōu)化的方法，的確有助于模型性能的提升。多數(shù)投票法和簡單加權(quán)投票法都忽略了基分類器分類特征的不同，沒有考慮訓(xùn)練之后的實(shí)際分類性能，只在訓(xùn)練之前主觀地分配權(quán)重，這限制了最終分類模型的性能。

5 結(jié)語

目前，學(xué)術(shù)論文的評審工作多通過同行評審?fù)瓿伞１疚尼槍ν性u審存在的弊端，提出由機(jī)器來協(xié)助人工評審，并提出融合類概率的加權(quán)投票模型用于預(yù)測論文的評審結(jié)果。通過建立基于集成學(xué)習(xí)的多分類器投票模型來替代單分類器模型，并融合類概率對基分類器的權(quán)重系數(shù)進(jìn)行進(jìn)一步優(yōu)化。實(shí)驗(yàn)結(jié)果表明，本文所提出的方法有效地提高了模型的性能和預(yù)測結(jié)果的準(zhǔn)確率。接下來的工作將針對正負(fù)樣本不均衡的數(shù)據(jù)做進(jìn)一步改進(jìn)。