基于遷移學(xué)習(xí)的小規(guī)模醫(yī)學(xué)領(lǐng)域文本摘要生成模型

劉佳芮

（同濟(jì)大學(xué)電子與信息工程學(xué)院，上海201804）

0 引言

隨著社會(huì)分工的日益明確，幾乎每個(gè)人都帶有專業(yè)性的行業(yè)標(biāo)簽。然而快速迭代的經(jīng)濟(jì)發(fā)展模式需要人們不斷學(xué)習(xí)才能更好地適應(yīng)工作中的各種挑戰(zhàn)，因此人們總會(huì)通過(guò)不斷地補(bǔ)充大量的跨領(lǐng)域知識(shí)讓自身在職場(chǎng)中一直保持競(jìng)爭(zhēng)性。但是當(dāng)人們需要去檢索有關(guān)文獻(xiàn)時(shí)，太過(guò)專業(yè)性的文本總會(huì)削弱對(duì)跨領(lǐng)域知識(shí)學(xué)習(xí)的求知欲。因此，本文旨在通過(guò)機(jī)器學(xué)習(xí)模型解決跨領(lǐng)域標(biāo)題可讀性和可理解的問(wèn)題，并基于文本自身文意[1]得到更常語(yǔ)化的標(biāo)題表達(dá)。傳統(tǒng)的機(jī)器學(xué)習(xí)方法經(jīng)常依賴于大量數(shù)據(jù)以支撐參數(shù)調(diào)整優(yōu)化[3]，然而特定專業(yè)領(lǐng)域的數(shù)據(jù)往往由于上述假設(shè)過(guò)于嚴(yán)格而難以成立。事實(shí)上，這些領(lǐng)域的可用數(shù)據(jù)量較小，特別是有標(biāo)簽的數(shù)據(jù)樣本更加難得，這使得訓(xùn)練樣本不足以供復(fù)雜的機(jī)器學(xué)習(xí)算法進(jìn)行訓(xùn)練并得到一個(gè)可靠的生成預(yù)測(cè)模型。

如何分析并挖掘小規(guī)模樣本數(shù)據(jù)是現(xiàn)代機(jī)器學(xué)習(xí)最具有挑戰(zhàn)性的前沿方向之一。在該環(huán)境背景下，遷移學(xué)習(xí)應(yīng)運(yùn)而生。該學(xué)習(xí)算法的主要優(yōu)點(diǎn)在于避免了必須有足夠可用的訓(xùn)練樣本才能夠?qū)W習(xí)到一個(gè)好的生成模型的束縛，因此遷移學(xué)習(xí)能夠在彼此不同但又相互關(guān)聯(lián)的兩個(gè)領(lǐng)域間挖掘數(shù)據(jù)的本質(zhì)特征和內(nèi)在結(jié)構(gòu)，這使得有監(jiān)督參數(shù)信息得以在領(lǐng)域間實(shí)現(xiàn)遷移和復(fù)用。

摘要文本生成模型研究是當(dāng)前自然語(yǔ)言處理中的難點(diǎn)和熱點(diǎn)，其主要分為抽取式和生成式方法，前者通過(guò)直接獲取原文中的相應(yīng)句子并根據(jù)一定的排列方式構(gòu)成摘要標(biāo)題，后者與其的區(qū)別在于會(huì)自動(dòng)生成一些在源文本中不存在的新單詞或詞組。本文的主要目的是為特定專業(yè)領(lǐng)域的文本構(gòu)造清晰易懂的標(biāo)題，因此我們將使用生成摘要的方法構(gòu)造標(biāo)題。當(dāng)前生成式文本摘要的方法主要依靠深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)，如2014 年Google 團(tuán)隊(duì)[5]提出的Seq2Seq 模型開啟了自然語(yǔ)言處理中端到端的研究，其中編碼器負(fù)責(zé)將原文編碼為一個(gè)向量，解碼器負(fù)責(zé)從該向量中提取語(yǔ)義并生成相應(yīng)的生成式文本摘要。該模型在機(jī)器翻譯、文本理解等領(lǐng)域具有卓越的效果。Rush[6]團(tuán)隊(duì)受機(jī)器翻譯原理的啟發(fā)，首次將Seq2Seq 模型應(yīng)用到生成式摘要的任務(wù)中，其主要使用帶有注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)文檔進(jìn)行編碼來(lái)提取文本的特征，然后由基于前饋網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)模型作為解碼器生成摘要，并在Giga word 數(shù)據(jù)集中得到了良好的實(shí)驗(yàn)結(jié)果。

基于上述研究，本文旨在解決以醫(yī)學(xué)為代表的特定專業(yè)領(lǐng)域小規(guī)模文本的摘要生成問(wèn)題，提出了基于遷移學(xué)習(xí)的文本摘要生成模型，其有效解決了專業(yè)領(lǐng)域標(biāo)題簡(jiǎn)易化以及小規(guī)模樣本不足以支撐現(xiàn)有機(jī)器學(xué)習(xí)模型的問(wèn)題。

1 基于遷移學(xué)習(xí)的文本摘要生成模型

1.1 預(yù)訓(xùn)練文本模型

本文在文本詞向量生成階段主要使用了針對(duì)特定領(lǐng)域數(shù)據(jù)集的BERT 改進(jìn)模型。BERT 模型在摘要任務(wù)中并不直觀，大多數(shù)BERT 模型任務(wù)主要解決的是某一個(gè)字段的生成，而摘要自動(dòng)生成任務(wù)是一個(gè)Seq2Seq 生成模型問(wèn)題，因此我們需要解決整個(gè)摘要生成句子的向量表示。由于本文以小規(guī)模的醫(yī)學(xué)領(lǐng)域數(shù)據(jù)集為研究對(duì)象，考慮到文本的特殊性，下面將采用三層嵌入層來(lái)實(shí)現(xiàn)上述目標(biāo)。如圖1 所示，①為了使模型對(duì)文本中不同的句子關(guān)系進(jìn)行區(qū)分，在生成過(guò)程中嵌入A、B 符號(hào)表示區(qū)分多個(gè)句子在整篇文章中的奇偶性。②在針對(duì)每個(gè)句子的處理中，原本的BERT 模型僅在每個(gè)樣本前端插入[CLS]標(biāo)識(shí)，而本文針對(duì)特定領(lǐng)域的文本摘要生成。為了更細(xì)粒度地提取樣本內(nèi)容的語(yǔ)義特征，我們?cè)跇颖局袨槊總€(gè)句子的起始位置均插入[CLS]，而非傳統(tǒng)上只在每條文本前插入[CLS]符號(hào)。同時(shí)，在每句話的最后加入[SEP]標(biāo)識(shí)來(lái)表明每個(gè)句子的結(jié)束邊界。③為了識(shí)別文本中單詞的前后依賴關(guān)系，我們?cè)谧詈笠粚忧度肓宋恢孟蛄繉尤鬟f模型相應(yīng)單詞的位置信息。

圖1 預(yù)訓(xùn)練文本模型結(jié)構(gòu)

通過(guò)上述分析，文本向量由三層嵌入層作為數(shù)據(jù)輸入到初始化Transformer 模型中，并且運(yùn)用上層的Transformer 層訓(xùn)練得到句子間的區(qū)分邊界；通過(guò)關(guān)注句子的末尾特征，下層運(yùn)用自注意力機(jī)制訓(xùn)練得到各文本之間的權(quán)重。在該模型中，我們同時(shí)考慮了BERT在對(duì)長(zhǎng)文本的處理中帶有最大長(zhǎng)度為512 個(gè)單詞的限制，因此在輸入每個(gè)樣本超過(guò)512 個(gè)長(zhǎng)度情況下，加入了更多的位置向量并隨機(jī)初始化。

1.2 基于遷移學(xué)習(xí)的文本摘要生成模型

基于數(shù)據(jù)預(yù)訓(xùn)練模型和改進(jìn)的BERT 算法，本文提出的基于遷移學(xué)習(xí)的文本摘要生成模型如圖2所示。

圖2 基于遷移學(xué)習(xí)的文本摘要生成模型結(jié)構(gòu)圖

在自動(dòng)抽取摘要的任務(wù)中，我們通常會(huì)將其看作一個(gè)Seq2Seq 的建模問(wèn)題。假設(shè)每個(gè)輸入數(shù)據(jù)文件以一串序列x={x1,x2,x3,x4,…,xn}輸入至編碼器中并生成一個(gè)連續(xù)的特征表示z={z1,z2,z3,…,zk}，然后再輸入至解碼器中以單詞為單位，通過(guò)自回歸方式生成目標(biāo)摘要y={y1,y2,y3,y4,…,ym}，最后得到條件概率分布：p(y1,…,ym|x1,…,xn)。

本部分的編碼器為上一節(jié)提到的預(yù)訓(xùn)練文本模型，首先使用源域數(shù)據(jù)對(duì)編碼器進(jìn)行預(yù)先訓(xùn)練，提取相似特征的全連接層進(jìn)行模型遷移；其次，進(jìn)行細(xì)粒度調(diào)整隱層權(quán)重矩陣；最后，加入醫(yī)學(xué)領(lǐng)域的數(shù)據(jù)進(jìn)行參數(shù)微調(diào)使其更適合目標(biāo)域數(shù)據(jù)。

本部分的解碼器為六層隨機(jī)初始化的Transformer模型，由于編碼器是已訓(xùn)練的參數(shù)值，而解碼器參數(shù)是未設(shè)置的初始默認(rèn)值，則在進(jìn)行模型訓(xùn)練時(shí)，參數(shù)調(diào)整幅度的不匹配會(huì)導(dǎo)致微調(diào)效果不穩(wěn)定，故在本文中我們使用了兩個(gè)不同的Adam 優(yōu)化器去解決這個(gè)問(wèn)題，使前者編碼器訓(xùn)練的步長(zhǎng)較小而后者解碼器訓(xùn)練的步長(zhǎng)較大。

圖3 隨機(jī)初始化的Transformer模型結(jié)構(gòu)圖

如圖3 所示為一層的Transformer 結(jié)構(gòu)圖。在得到了輸入的特征向量后，疊加標(biāo)識(shí)位置的嵌入層，并將其輸入至編碼器中；訓(xùn)練集中的標(biāo)簽文本即標(biāo)題轉(zhuǎn)為詞向量后加入位置嵌入層后進(jìn)入解碼器，其中解碼器一共由三個(gè)部分組成，即由兩層多頭注意力機(jī)制和一層前饋網(wǎng)絡(luò)構(gòu)成。當(dāng)經(jīng)過(guò)第一層多頭注意力機(jī)制[4]后，我們即可通過(guò)不同序列位置的不同子空間的特征信息進(jìn)行序列處理，并將其結(jié)果與編碼器生成的特征向量共同進(jìn)入第二層多頭注意力機(jī)制中。最后通過(guò)前饋神經(jīng)網(wǎng)絡(luò)的線性映射得到詞庫(kù)的概率分布。

在如圖2 所示的詞庫(kù)概率分布模塊中，以y2舉例進(jìn)行說(shuō)明。首先選取詞匯中概率分布最高的單詞；其次，根據(jù)前序單詞y1影響參數(shù)與詞庫(kù)生成單詞的概率p2的參數(shù)加權(quán)求和得到y(tǒng)3，以此類推；最后，輸出結(jié)果即為生成式文本摘要。同時(shí)在圖3 的模型結(jié)構(gòu)中，每層注意力機(jī)制與前饋網(wǎng)絡(luò)后均有歸一化層以減小過(guò)擬合對(duì)訓(xùn)練效果的影響。

2 實(shí)驗(yàn)結(jié)果

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文采用普華永道RegRanger 項(xiàng)目中醫(yī)療引擎后臺(tái)數(shù)據(jù)庫(kù)中的新聞文章作為目標(biāo)領(lǐng)域數(shù)據(jù)集，該數(shù)據(jù)集共包含四千條數(shù)據(jù)，數(shù)據(jù)集內(nèi)容為醫(yī)學(xué)領(lǐng)域法律條款、文獻(xiàn)指導(dǎo)和新聞?lì)愑⑽奈谋尽Ｍ瑫r(shí)，RegRanger 本身包括了500 條相關(guān)法律信函。我們?cè)趯?duì)該數(shù)據(jù)集的預(yù)處理中，考慮到警告信函、醫(yī)學(xué)法規(guī)等具有特定文本格式的數(shù)據(jù)文本的標(biāo)題位置相對(duì)固定唯一的特點(diǎn)，其均位于文章第一段的內(nèi)容中。由于本文的目的為基于文本自身文意得到更常語(yǔ)化的標(biāo)題表達(dá)，我們剔除了該部分具有特定文本格式的數(shù)據(jù)文本并保留了有效的文本數(shù)據(jù)即內(nèi)容非空或內(nèi)容可追溯的文本。本文首先使用斯坦福核心NLP 工具包OpenNMT 對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行預(yù)處理，這樣每個(gè)輸入文本被分塊并被截?cái)酁殚L(zhǎng)度是512 的輸入數(shù)據(jù)。具體數(shù)據(jù)集分布信息見表1。

表1 實(shí)驗(yàn)文本數(shù)據(jù)集分布

根據(jù)表中數(shù)據(jù)集標(biāo)題的特點(diǎn)，本文將模型的生成摘要標(biāo)題的長(zhǎng)度設(shè)置為10。本文的測(cè)試環(huán)境為L(zhǎng)inux，NVIDIA GTX 1080Ti GPU。模型的實(shí)現(xiàn)基于Pytorch 深度學(xué)習(xí)框架，版本為1.3.1，開發(fā)環(huán)境為Ubuntu18.04，Python 版本為3.7.4，模型支持多GPU 多線程進(jìn)行。

2.2 評(píng)估指標(biāo)

本文將使用一種廣泛被認(rèn)可的評(píng)估工具ROUGE[2,7]對(duì)所提出模型的性能進(jìn)行評(píng)價(jià)。在自動(dòng)評(píng)估機(jī)器生成的標(biāo)題與人工標(biāo)題的相似度的任務(wù)中，ROUGE 包含了五種評(píng)估方法，分別是ROUGE-N、ROUGE-L、ROUGE-W、ROUGE-S 和ROUGE-SU。本文僅使用ROUGE-N 和ROUGE-L 評(píng)測(cè)。

（1）ROUGE-N 通過(guò)N 元模型計(jì)算生成摘要和人工摘的召回率去評(píng)判匹配度，其表達(dá)式如下：

其中N 表示N 元模型的長(zhǎng)度，Countmatch(gramn)表示在一個(gè)生成摘要元素和一系列人工摘要元素共現(xiàn)的最大數(shù)目，Count(gramn)表示人工摘要元素中n 元模型的數(shù)目。

相對(duì)應(yīng)的ROUGE-1 即僅考慮單個(gè)單詞，生成式摘要和人工摘要都出現(xiàn)的個(gè)數(shù)與人工摘要的單個(gè)單詞之比，同理ROUGE-2 為兩個(gè)單詞作為兩元標(biāo)識(shí)進(jìn)行兩者比較計(jì)算。

（2）ROUGE-L 通過(guò)計(jì)算生成摘要和人工摘要的最長(zhǎng)相同子序列的比率去評(píng)測(cè)，其表達(dá)式如下所示：

其中 |R|和 |S|分別表示人工摘要與生成摘要的長(zhǎng)度，LCS(R,S)表示二者的最長(zhǎng)共同子序列的長(zhǎng)度。PLCS(R,S)表示LCS(R,S)的精準(zhǔn)率，RLCS(R,S)表示LCS(R,S)的召回率，β為精準(zhǔn)率與召回率的比值。本文主要使用ROUGE-1、ROUGE-2、ROUGE-3 以及ROUGE-L 評(píng)估模型生成摘要的效果。

2.3 實(shí)驗(yàn)結(jié)果

本文中，我們?cè)诮o定的樣本數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并使用標(biāo)準(zhǔn)的Seq2Seq 模型、基于遷移學(xué)習(xí)的模型以及基于遷移學(xué)習(xí)的預(yù)訓(xùn)練模型與Seq2Seq 融合的模型進(jìn)行了摘要生成任務(wù)，并通過(guò)Rouge-F 和Rouge-R 對(duì)上述三種模型進(jìn)行了對(duì)比，結(jié)果如表2 所示，其中遷移學(xué)習(xí)思想所達(dá)到的跨領(lǐng)域同參使相似度得到了明顯的提升，同時(shí)預(yù)訓(xùn)練模型的結(jié)果在此任務(wù)中也達(dá)到了一定的提升。

表2 原始模型、基于遷移學(xué)習(xí)的Seq2Seq 模型以及本文的實(shí)驗(yàn)?zāi)Ｐ蛯?duì)比結(jié)果

如 表2 所 示，我 們 使 用ROUGE-F1、2、3 和ROUGE-R1、2、3 分別表示F 分?jǐn)?shù)和召回率在一元語(yǔ)法、二元語(yǔ)法與三元語(yǔ)法上的表現(xiàn)。基于遷移學(xué)習(xí)的Seq2Seq 的表現(xiàn)最優(yōu)時(shí)相較原始Seq2Seq 模型在一元召回率上提升了14.77；同時(shí)，基于遷移學(xué)習(xí)的文本摘要生成模型相較基于遷移學(xué)習(xí)的Seq2Seq 模型在一元F 分?jǐn)?shù)上提升了2.29。

本文提出的基于遷移學(xué)習(xí)的預(yù)訓(xùn)練與Seq2Seq 的融合模型的實(shí)驗(yàn)結(jié)果如表3 所示。

為了評(píng)估小規(guī)模樣本集下所提模型中不同參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響程度，我們對(duì)本文提出的模型做了多種參數(shù)的調(diào)試，同時(shí)應(yīng)用在文本生成任務(wù)中。最終我們所選取的部分主要超參數(shù)如表4 所示。圖5 為不同Batch size 設(shè)置下的實(shí)驗(yàn)結(jié)果。

表3 模型生成摘要文本與人工標(biāo)注摘要的對(duì)比

表4 實(shí)驗(yàn)參數(shù)設(shè)置

圖4 不同Batch size下在Rouge中的實(shí)驗(yàn)結(jié)果

如圖4 所示，本文模型在Batch size 為200 時(shí)的表現(xiàn)最為優(yōu)異。圖5 為在輸入文本中每個(gè)樣本超過(guò)512個(gè)至1000 個(gè)長(zhǎng)度并以隨機(jī)初始化位置向量加入詞嵌入層的模型與僅考慮前512 個(gè)單詞作截?cái)嗟哪Ｐ瓦M(jìn)行對(duì)比得到的實(shí)驗(yàn)結(jié)果。

圖5 對(duì)輸入文本長(zhǎng)度進(jìn)行約束的模型在相似Rouge-F上的實(shí)驗(yàn)結(jié)果

圖5 中Rouge-F’表示在考慮了前512 個(gè)單詞的同時(shí)對(duì)輸入文本第512 個(gè)至2000 個(gè)詞以隨機(jī)向量嵌入至位置嵌入層時(shí)模型在Rouge-F 中的評(píng)測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果表明，基于遷移學(xué)習(xí)的文本摘要生成模型在加入輸入文本的限制后在摘要生成任務(wù)的表現(xiàn)更為優(yōu)異。從以上分析可知，在解決基于小規(guī)模樣本的深度學(xué)習(xí)訓(xùn)練時(shí)，基于遷移學(xué)習(xí)對(duì)模型進(jìn)行異域調(diào)參相較于僅單純改善模型結(jié)構(gòu)有更明顯的優(yōu)勢(shì)，并且本文所提模型在醫(yī)學(xué)文本摘要生成任務(wù)中的表現(xiàn)優(yōu)于標(biāo)準(zhǔn)的基于遷移學(xué)習(xí)的Seq2Seq 模型，同時(shí)所提模型的實(shí)驗(yàn)結(jié)果與人工處理結(jié)果具有較高的匹配度。

3 結(jié)語(yǔ)

本文針對(duì)以醫(yī)學(xué)為代表的特定專業(yè)領(lǐng)域小規(guī)模文本標(biāo)題摘要難以閱讀理解的問(wèn)題，提出了基于遷移學(xué)習(xí)預(yù)訓(xùn)練與注意力機(jī)制的融合模型對(duì)原始文本進(jìn)行自動(dòng)生成標(biāo)題摘要，主要貢獻(xiàn)是在原有的Seq2Seq 模型中引入遷移學(xué)習(xí)思想，其可以使模型在彼此不同但又相互關(guān)聯(lián)的兩個(gè)領(lǐng)域間有效挖掘文本的本質(zhì)特征和結(jié)構(gòu)，實(shí)現(xiàn)了有監(jiān)督參數(shù)信息在領(lǐng)域間進(jìn)行遷移和復(fù)用；同時(shí)，文本采用了預(yù)訓(xùn)練模型作為編碼器，在句子前端加入[CLS]以便更精準(zhǔn)地得到每個(gè)句子的特征，這可以使專業(yè)領(lǐng)域知識(shí)進(jìn)行細(xì)粒度的特征化表示。綜上所述，本文所提模型有效地解決了專業(yè)領(lǐng)域標(biāo)題簡(jiǎn)易化以及小規(guī)模樣本不足以支撐現(xiàn)有機(jī)器學(xué)習(xí)模型訓(xùn)練的難題，這對(duì)于基于自身文本得到更常語(yǔ)化的標(biāo)題摘要具有重要的指導(dǎo)意義。