科學論文全文語步自動識別研究

歐石燕 陳嘉文

關鍵詞：科學論文;語步識別;機器學習;深度學習

科學論文是科研人員分享研究成果、學習他人經驗的重要媒介。近年來，隨著科學研究的飛速發展以及數字出版的普及，科學論文數量急劇增長。與此同時，科研人員的信息需求也變得越來越多元化和精細化。但是科學論文傳統的線性組織模式并不利于讀者快速理解論文的整體結構和精準定位論文中的特定信息，降低了讀者的閱讀效率，難以應對海量科學論文的“轟炸”。在此背景下，一些學者開始對科學論文的篇章結構進行研究，通過使用文本信息處理技術自動識別出論文內容的不同功能組成部分，以幫助讀者定位特定信息。但這些研究往往以章節或段落為單位[1-4]，劃分粒度較粗，不能滿足讀者愈發精細的信息需求。

1981年，密歇根大學的著名語言學家SwalesJM提出了語步分析法，其核心是通過分析文本局部的交際目的或修辭策略劃分文本的功能層次，并將具有特定交際功能和目的的文本片段稱作語步（Move），將實現語步的方法稱為步驟（Step）[5]。語步分析法從論文的交際意圖出發對科學論文進行拆解，分析得到的語步結構為理解科學論文的內容提供了新的視角，具有提供細粒度文獻信息服務的潛能。然而語言學者們進行的語步分析是一個費時費力的手動過程，這限制了語步結構更廣泛、深入的應用。

近年來，隨著機器學習尤其是深度學習技術的不斷發展與突破，為以句子為單位的科學論文語步自動識別提供了可能。因此，本文將在前人研究基礎上對科學論文正文的語步自動識別方法進行探索，采用傳統機器學習與深度學習技術構建多種語步自動識別模型并進行比較分析，從而發現有效的語步自動識別方法，并在此基礎上探索語步信息在文獻信息服務中的應用模式。

1相關研究

科學論文的價值主要體現在其正文內容上，因此對論文的內容結構進行識別可有助于讀者快速理解論文內容，并為進一步的知識抽取及情報分析做準備。早期對論文結構的研究主要側重于識別粗粒度的結構功能，即區分論文主要包含哪幾個部分，每部分都有著怎樣的語義功能。采用的識別方法多基于文本分類技術，主要從章節標題、段落結構和文本內容3個角度設計分類特征，使用支持向量機、條件隨機場等傳統機器學習算法來實現，如陸偉等[1]、TeufelS等[6]的研究。近年來隨著深度學習的興起，有研究者開始嘗試采用深度學習技術進行論文結構功能的自動識別。譬如，王東波等采用雙向長短時記憶神經網絡模型（Bi-LSTM）進行識別，但可能因為數據量不足，效果反而弱于傳統的機器學習技術[7];王佳敏等使用卷積神經網絡模型（CNN）并結合章節標題、章節段落和章節內容等信息進行識別，獲得了較好的識別效果[8]。科學論文的結構功能與語步在目的上有一定的共通之處，都是從語義角度對論文的內容進行劃分，但結構功能關注的主要是論文的宏觀篇章結構，結構簡單且劃分粒度較粗。而且多數論文的結構功能都是以段落為單位連續出現，不同結構功能極少存在交錯出現的現象。相對而言，科學論文的語步結構劃分粒度更細且更為復雜，語步的循環與交錯在科學論文寫作中經常出現。

對科學論文語步結構進行自動識別的研究相對較少，且多數研究都只是針對論文摘要或者論文正文的引言部分。譬如，WuJC等[9]、SoonklangT[10]、王立非等[11]分別采用馬爾科夫模型、樸素貝葉斯、條件隨機場等傳統機器學習算法，張智雄等[12]采用全連接神經網絡等深度學習算法，對論文摘要進行了語步識別，取得了良好的識別效果。相對于結構簡單、篇幅短小的論文摘要，對論文正文進行語步識別則更加困難。有部分學者首先對論文引言部分的語步結構進行了識別。譬如，AnthonyL等采用樸素貝葉斯算法識別出電氣和電子工程學科論文引言部分的3個語步[13]，PendarN等[14]和CotosE等[15]采用支持向量機算法識別多個學科領域論文引言部分的語步，識別結果的宏平均F1值均達到65%以上。與摘要和引言這類概括性描述科學研究過程的文本相比，科學論文的全文蘊含著更加詳細的科學研究信息，語步結構也更加復雜，不同語步的交錯和重復現象非常明顯。因此，在摘要和引言上效果較好的語步識別方法在全文中是否適用需要進一步地探索。

目前，對科學論文的整篇正文進行語步識別的研究還非常少見，在國內僅有王末等采用深度學習中的BERT模型對科學論文中的11種科學核心概念（即類別）進行了識別[16]。雖然科學核心概念（CoreScientificConcepts，簡稱CoreSCs）模型與語步結構有些類似，但并不能完全反映科學論文的交際功能。因此，科學論文正文的語步自動識別還有待進一步探索。

2科學論文語步分類框架

為了實現科學論文語步結構的自動識別，首先需要確立語步分類框架。鑒于不同學科領域的論文在語步結構上存在較大差異，本研究只選取化學領域的英文科學論文作為語步識別對象。作為典型的以實驗為基礎的學科領域，化學領域科學論文的寫作通常比較規范，探索得到的語步自動識別方法對其他學科領域實驗型科學論文也具有較好的參考價值。

為了確立化學領域科學論文的語步分類框架，首先從“英國皇家化學學會數據庫（TheRoyalSo？cietyofChemistry）”中隨機選取30篇科學論文，其中15篇論文作為分析樣本，通過對其正文內容進行歸納分析建立初始的語步分類框架，剩余的15篇論文作為驗證樣本，通過標注實驗檢驗初始分類框架的可靠性和全面性。在進行樣本分析時，嚴格采用SwalesJM提出的語步分析法[17]并參考了語言學者們在相關領域科學論文中的語步分析結果[18]，歸納出化學領域科學論文的初始語步分類框架。標注實驗則由兩名具有化學專業背景的編碼人員基于初始的語步分類框架對另外15篇論文中的每個句子進行語步類別標注。標注結果的編碼一致性采用Kappa值衡量，該值達到0？？81，說明初始的語步分類框架具有較高的可靠性。此外，兩名標注者在標注過程中均沒有發現新的類別，說明該分類框架較為全面。最終，確立了化學領域科學論文的語步分類框架，包含7個語步，如表1所示。

3科學論文語步自動識別方法

為了實現科學論文語步的自動識別，本研究從兩個角度來解決該問題：一種是將語步識別看作是一個文本分類任務，給論文中的每個句子賦予一個語步類別標簽;第二種是將語步識別看作是一個序列標注任務，根據科學論文中語步出現的順序性，確定每個句子的語步類別標簽。針對文本分類，分別采用傳統機器學習技術和深度學習技術來實現;針對序列標注，則主要采用條件隨機場（CRF）和雙向長短期記憶神經網絡（Bi-LSTM）相結合的方式來實現。

3.1基于傳統機器學習的語步自動識別

基于傳統機器學習的分類算法首先需要將待分類文本（此處指句子）進行向量化表示，通常基于向量空間模型（VSM）將非結構化的文本字符串轉換為結構化的特征向量，這一過程涉及特征提取和特征選擇，被稱作特征工程。

3.1.1特征提取

在本研究中，根據語步分類的特點，主要探索了詞匯、詞法、句法、位置這4類特征，此外也包括了句子中的引文標記、句子所在章節的標題等其他特征。

1）詞匯特征：詞匯特征是指基于N-gram詞袋模型統計連續N個單詞在句子中出現的頻次。在本研究中，將N設為1～3，統計了Unigram、Bigram、Trigram3種詞頻。由于采用這種方式抽取的詞匯特征數量過多，因此只保留各自詞頻排名前2000的N-gram作為特征。

2）詞法特征：詞法特征是指詞匯的詞性特征以及時態和語態特征，如動詞的過去時態、進行時態和被動語態，形容詞和副詞的比較級和最高級形式，人稱代詞，情態動詞等。每種詞法特征均采用在句子中的出現頻次來表示。

3）句法特征：句法特征是指詞與詞之間的依存關系特征。依存關系是一個句子中詞匯之間具有方向性的支配關系，如主謂關系、動賓關系等，處于支配地位的詞被稱為核心詞，被支配的詞被稱為依存詞。詞匯之間不同類型依存關系在句子中出現的頻次可作為句法特征用于語步分類。

4）位置特征：位置特征是指一個句子在科學論文中出現的位置，共包括3種：一種是句子在全文中的位置，直接以句子的序數除以正文中的句子數來表示;第二種是句子所屬段落在正文中的位置，以段落的序數除以正文中的段落數來表示;最后一種是句子在段落中的位置，以句子在段落中的序數除以段落中的句子總數來表示。

5）其他補充特征：此外，句子中出現的引用標記、圖說明詞匯、表說明詞匯、句子所屬章節的標題詞匯也被作為補充特征。

上述特征共有6089個，全部采用獨熱編碼表示，基于向量空間模型表示為句子的特征向量，其中的各種頻次特征均通過TF-IDF算法進行加權處理，從而更精確地反映其在句子和論文中的重要性。

3.1.2特征選擇

通過上述方法構造的句子特征向量擁有較高的維度，甚至有可能包含噪音，會影響分類器的訓練速度以及分類效果，因此需要對特征進行篩選，對特征向量做降維處理。在本研究中，使用隨機森林模型來發現特征與類別之間的非線性關系，從而對特征重要性進行排序[19]，以此篩選出重要性較高的特征。其原理如下：采用隨機森林模型在訓練多棵決策樹期間，針對每一棵樹會進行一個數據抽樣，將抽樣的數據用于訓練，而沒有被用于訓練的數據則被稱為袋外數據（OutofBag，OOB）;然后，對訓練出的每一棵樹都選取它的袋外數據進行分類預測，并計算產生的數據誤差（記為errorOOB1）;最后，將袋外數據的某一特征X加入決策樹進行干擾，再次計算袋外數據誤差（記為errorOOB2），兩次的數據誤差即反映了特征X的重要性，如式（1）所示。

3.1.3傳統機器學習分類算法

在傳統機器學習分類算法中，選擇采用支持向量機與深度森林兩種算法來進行語步自動識別。支持向量機是一種在分類任務中經常被使用的算法[20]，其主要思想是通過在數據空間中尋找一個最優超平面，使其不僅能將兩類數據分開，而且能使兩類數據中距離該超平面最近的點到超平面的距離最大化。深度森林算法是由南京大學ZhouZH等于2019年提出的一種集成學習算法[21]，通過訓練出多個弱分類器（即一系列隨機森林）并將它們進行組合，進而獲得一個更好、更全面的強分類器。

3.2基于深度學習的語步自動識別

近年來，隨著深度學習技術的發展，其被廣泛應用于文本分類任務。深度學習復雜的網絡模型可以更好的表示文本隱含的語義信息，且省略了繁瑣的特征工程步驟，能夠實現更高效、精確的文本分類。

3.2.1文本向量化表示

無論是傳統機器學習算法還是深度學習算法，都需要對文本進行向量化表示。在傳統機器學習中，文本表示通常是基于詞的獨熱編碼，這種編碼方式有著明顯的缺點：一方面，特征維度過高，向量矩陣太稀疏，不利于分類器的訓練;另一方面，難以體現單詞之間的語義相關性，因此不能精確表示文本的語義。在深度學習中，通常采用詞的分布式表示，即將詞表示成一個定長的、連續的稠密向量（即詞向量）。典型的詞向量訓練方法是根據一個單詞出現的語境（即單詞的上下文）學習出該單詞的出現概率。在本研究中，使用Word2vec算法來訓練針對化學領域科學論文的詞向量[22]，然后將預處理后句子中的所有單詞的詞向量進行拼接后作為句子的向量表示。

3.2.2深度學習分類模型

本研究中，采用3種深度學習模型來實現語步自動識別，包括卷積神經網絡（CNN）、長短期記憶神經網絡（LSTM）和BERT模型。這3種深度學習模型在文本分類任務中被公認具有較好的效果。CNN的核心思想是通過卷積核來識別數據在空間上的局部特征，通過對多個局部特征的總結來認識數據[23]。對于文本數據，連續的單詞便是認識文本的重要局部特征，CNN能夠對這些局部特征進行組合和篩選，獲得更深層次的語義信息。但是CNN的局部特征采樣過程忽略了文本的結構位置信息，而循環神經網絡（RNN）能夠以序列模式處理文本，從而更好地利用這些信息。LSTM是一種特殊結構的RNN，相較于普通RNN可以解決長期依賴關系[24]。但是，普通的LSTM只能捕捉由前到后的語義依賴關系，雙向長短期記憶神經網絡（Bi-LSTM）則通過將兩個方向相反的LSTM拼接，可以同時捕捉雙向的語義依賴關系。BERT模型是谷歌公司于2018年提出的多用途預訓練神經網絡模型，可以在大規模語料上同時對詞間關系和句間關系進行學習，得到的模型具有高效表征語言語義的能力，可用于復雜的自然語言處理任務[25]。

3.3基于混合模型的語步自動識別

深度學習模型使用復雜的網絡結構自動對文本內容進行特征抽取，較傳統機器學習中手工識別出的分類特征有著更好的語義表征能力。在語步識別任務中，除了句子本身的內容外，其在論文中的位置、包含的引用標簽、所在的章節標題等特征也對語步識別有著重要價值，但這類結構特征通常通過深度學習模型無法自動獲得。因此嘗試將深度學習模型與傳統機器學習方法相結合，提出一個混合識別模型，如圖1所示。該模型采用深度學習方法獲得句子的深層語義特征，然后將其與傳統機器學習中手工識別出的句子結構特征進行拼接，以此獲得句子新的向量表示，最后采用傳統機器學習分類算法進行語步分類。

3.4基于序列標注的語步自動識別

通過手工標注，發現不同語步在一篇科學論文中的出現具有一定的順序，譬如M1（引出本文研究）語步通常出現在論文的開始，M7（重塑研究空間）語步則往往出現在論文結尾。因此，也可以將語步識別看作是一個序列標注任務，在整篇科學論文中以句子為時間步進行序列標注。

在本研究中，使用Bi-LSTM+CRF模型來實現科學論文的語步序列標注，這是一種在序列標注任務中被廣泛使用的模型。在前述的文本分類模式中，雖然也使用了Bi-LSTM模型，但關注的是句子中詞間的序列關系，每一個時間步的輸入是句子中每個詞匯的詞向量;在此處的序列標注模式中，Bi-LSTM模型關注的是論文中句子間的序列關系，每個時間步的輸入是一篇論文中每個句子的向量表示。條件隨機場（CRF）是一種判別式概率模型[26]，常用于分析序列數據，主要關注相鄰數據之間的標簽信息。通過在Bi-LSTM模型后連接一個CRF模型，可以既考慮本句文本與歷史文本信息，也考慮歷史語步信息。

4實驗與結果分析

4.1數據準備

本研究的實驗數據以開源的ART數據集為來源[27]，基于表1所示的語步分類框架重新進行手工標注后形成。ART數據集是由LiakataM等于2008年構建的科學論文數據集，包含了225篇化學領域的研究性科學論文，均來自“英國皇家化學學會”出版的期刊，每篇論文均以句子為單位，采用科學核心概念（CoreSCs）模型進行了標注。Co？reSCs是由英國威爾士大學的LiakataM等于2012年提出的一個針對科學論文的篇章結構模型[28]，共包含11個科學核心概念數據（即類別），分別為背景、假設、模型、動機、目的、對象、方法、實驗、觀察、結果和結論。雖然CoreSCs模型和語步分類框架均是對科學論文的篇章結構進行劃分，但前者主要是從科學實驗過程的角度進行劃分，而后者主要是從交際意圖角度進行劃分，兩個模型雖有一定區別，但兩者的類別在很大程度上存在著映射關系。因此，根據CoreSCs模型的標注結果可以大大減輕語步標注的難度。本研究邀請兩名編碼人員基于表1所示的語步分類框架對ART數據集重新進行了標注，在225篇論文的共33057個句子上獲得了0？？86的Kappa值，說明標注結果具有很好的可靠性。對于標注結果中的少量差異，則通過協商討論予以校正。最終標注數據中不同語步的數量分布如表2所示。

重新進行語步標注后的ART數據集中的句子按照82%∶8%∶10%的比例被劃分為訓練集、驗證集和測試集。訓練集的數據主要用于分類器的訓練;驗證集的數據用于不同超參數條件下分類模型效果的比較;測試集的數據用于衡量語步識別模型最終的識別效果。

4.2基于傳統機器學習的語步自動識別實驗結果

在傳統機器學習中，首先需要進行特征選擇來降低句子特征向量的維度。因此，使用基于Python語言的機器學習工具包Scikit-learn來實現隨機森林模型的訓練，并基于該模型的結果對特征的重要性進行排序。圖2展示了重要性排名前30的特征。

由圖2可以看出，句子的相對位置、章節標題詞匯、特定的詞法與語法組合、引用標簽、句子中詞匯的依存關系等特征對于分類效果有較大貢獻。此外，一些單詞或短語也是識別語步的重要特征。

接下來，分別采用深度森林和支持向量機這兩個分類算法來訓練語步識別分類器。深度森林算法采用開源工具DeepForest來實現，支持向量機算法則仍使用Scikit-learn工具包來實現。為了獲得最佳的特征數量，根據上述所得的特征重要性排序，以100為單位在句子向量表示中逐漸添加特征。分類效果的測試則采用常用的查準率（Precision）、召回率（Recall）和F1值3個指標，并以宏平均作為7個類別（即語步）的整體識別效果。深度森林算法的超參數不需要過多設置，支持向量機算法主要調整的超參數則包括核函數、核函數參數及懲罰系數。兩種分類算法在不同特征數量下的分類效果如圖3所示。

通過圖3可以看出，當特征數量為100時，兩種分類算法的效果相差不多，宏平均F1值均在59%左右;當特征數量增加到200時，兩個分類算法的效果都有了相應的提高，但深度森林算法的效果此時已經明顯優于支持向量機算法;隨著特征數量的繼續增加，支持向量機算法的分類效果趨于穩定，宏平均F1值約為59%，新特征的加入對于分類效果影響甚微;而深度森林算法的分類效果隨著特征數增加仍在進一步提升，在特征數量為600左右時，分類效果出現了一些波動，當特征數量為1100時效果最好，宏平均F1值約為66%。由此可以看出，深度森林算法的整體分類效果始終優于支持向量機算法，說明這種集成學習算法在處理高維數據時具有明顯優勢。

4.3基于深度學習的語步自動識別實驗結果

在本研究中，采用Word2vec算法中的Skipgram模型在ART數據集中的全部225篇論文上訓練詞向量，Word2vec算法使用自然語言處理Py？thon工具包Gensim來實現，訓練時上下文窗口大小設置為10，詞向量維度設置為200。CNN模型則具體使用KimY于2014年提出的專門針對文本的卷積神經網絡TextCNN模型[29]。TextCNN模型和Bi-LSTM模型均基于神經網絡計算框架Pytorch來實現。BERT模型則使用專為科學論文訓練的SciBERT模型[30]，但在語步分類時需要對最后幾層網絡的參數進行重新調整。3種深度學習算法在測試集上的語步識別結果如表3所示。

根據表3中的實驗結果可以看出，BERT模型的語步識別效果最好，宏平均F1值達到了66%，Bi-LSTM模型次之，宏平均F1值為62%，CNN模型的識別效果最差，只有59%。

4.4基于混合模型的語步識別實驗結果

經過上文實驗發現，在傳統機器學習算法中深度森林模型的識別效果最好;在深度學習算法中BERT模型效果最好。因此，將BERT模型和深度森林算法進行融合，利用文本分類模式進行語步自動識別。首先，利用BERT模型預訓練得到每個句子的深層語義特征，然后將其與人工識別的1100個分類特征拼接在一起，最后利用深度森林算法進行語步分類。該混合模型在7個語步類別上的分類結果如表4所示。

根據表4所示，M1和M3語步的識別效果最好，F1值達到90%以上;而M2和M6語步的效果最差，F1值均低于60%;全部7個語步識別效果的宏平均F1值為73%。

4.5基于序列標注的語步自動識別實驗結果

在使用序列標注模式進行語步識別時，需要以單篇論文為單位作為輸入。因此，隨機選取ART數據集中的203篇論文作為訓練數據，剩余的22篇論文作為測試數據。為了與文本分類模式的識別效果相比較，在評價時仍以句子為單位衡量識別效果。每個時間步輸入的句子向量由該句所有單詞的詞向量的算數平均值表示，進入Bi-LSTM+CRF網絡結構后便可結合序列信息輸出當前句子所對應的語步類別。使用序列標注模式的語步識別結果如表5所示。從該表可以看出，與文本分類模式類似，采用序列標注模式時也是M1和M3語步的識別效果較好，而M2和M6語步的識別效果較差，7個語步的宏平均F1值只有56%。

4.6各模型識別結果比較

針對科學論文的語步識別，本研究共采用了文本分類和序列標注兩種任務模式，采用了傳統機器學習和深度學習兩類技術，共構建了7個語步自動識別模型。這7個模型在測試集上的測試結果如表6所示。

根據表6中的實驗結果可以看出，采用文本分類模式進行語步自動識別的效果要優于序列標注模式。其可能的原因在于：一方面，科學論文中的語步雖然具有一定的順序性，但語步交錯和循環現象也非常普遍，且由于科學論文中的句子數量較多，形成的序列結構過長，導致語步序列規律并不十分明顯;另一方面，在序列標注時，當前句的識別會使用前面句子的歷史識別結果作為參考信息，但在結構復雜的論文正文中容易出現錯誤累積，從而降低序列標注模型的性能。

在文本分類模式下，傳統機器學習算法與深度學習算法各有優勢，兩者中各自最優模型的效果差距不大，一個的F1值是64%（深度森林算法）;另一個也只有66%（BERT模型）。在3種深度學習識別模型中，BERT的效果最好，Bi-LSTM模型次之，而TextCNN的效果最差，這主要是因為TextC？NN模型在處理文本時使用的方法與N元語法類似，只能通過連續的單詞組合來學習特征，而在語步識別任務中需要的深層次語義信息，TextCNN模型則無法獲得。Bi-LSTM模型雖然能夠學習較遠距離單詞之間的依賴關系，但對所有單詞同等對待，因此會忽視掉文本中的一些關鍵信息（如線索詞）。BERT模型使用超大的預訓練語料與超大的模型參數來抽取文本中的隱含特征，而且可以根據注意力機制動態調整不同詞匯的權重，這樣學習出的文本特征具有較好的語義區分能力，從而具有較好的語步識別效果。

在本研究中，提出的BERT預訓練模型與深度森林分類算法相結合的混合模型獲得了最佳的語步識別效果，F1值達到73%。該模型不但使用了基于大規模預訓練和復雜深層神經網絡模型得到的句子隱含語義特征，也使用了人工識別出的句子結構特征。此外，深度森林分類算法多層次的集成學習結構也使其能夠有效學習高維數據中隱藏的規律。

5結論

當前對科學論文語步結構自動識別的研究主要聚集于論文摘要部分或者引言部分，針對論文全文的研究還非常少。本文以化學領域的科學論文為研究對象，探索采用文本分類和序列標注兩種模式對科學論文全文的語步結構進行自動識別，采用傳統機器學習技術與深度學習技術構建了多種語步自動識別模型，并對其效果進行了實驗測評。實驗結果表明，采用文本分類模式進行語步識別的效果要優于序列標注模式，尤其是將深度學習BERT預訓練模型與傳統機器學習深度森林分類算法相結合的混合模型，既利用了人工識別出的句子位置與結構特征，又利用了深度學習自動識別出的文本深層語義特征，因此獲得了最佳的識別效果，在7個語步上的宏平均F1值達到73%。

本文只是對化學領域英文科學論文的語步自動識別方法進行了探索，但該方法是否適用于其他領域的科學論文或者中文科學論文尚未進行驗證，這將是今后研究的一個重要方向。此外，科學論文的語步結構對于讀者理解科學論文的主旨大意、快速定位所需信息具有重要的參考價值，在下一步的研究中，還將探索如何利用識別出的語步信息更好地為讀者提供文獻信息服務。