基于自注意力機(jī)制的中文標(biāo)點符號預(yù)測模型

段大高,梁少虎,趙振東,韓忠明

(北京工商大學(xué) 計算機(jī)與信息工程學(xué)院,北京 100048)

0 概述

漢語是當(dāng)今世界上最主要的語言之一,全球有超過15億人使用漢語。在漢語書面語中,標(biāo)點符號是不可缺少的組成部分,是輔助文字記錄語言的符號,用來表示停頓、語氣以及詞語的性質(zhì)和作用,它可以幫助人們確切地表達(dá)思想感情和理解書面語言。在語音轉(zhuǎn)化文本的過程中,沒有添加標(biāo)點符號,或者只是依據(jù)時間停頓來添加特定的標(biāo)點符號,這樣不符合標(biāo)點符號規(guī)范,因此標(biāo)點符號預(yù)測(Punctuation Prediction,PP)是一項重要的自然語言處理任務(wù)。標(biāo)點符號預(yù)測指利用計算機(jī)對文本進(jìn)行標(biāo)點符號添加,使文本符合標(biāo)點符號使用規(guī)范。

標(biāo)點符號預(yù)測問題最初工作主要集中在語音識別領(lǐng)域,標(biāo)準(zhǔn)的語音識別系統(tǒng)識別出的序列既沒有將輸出正確地分割為句子,也沒有標(biāo)點符號。經(jīng)語音識別系統(tǒng)識別后的文本沒有標(biāo)點符號和句子邊界,帶來許多理解上的問題,因此,在實際應(yīng)用中,對長文本進(jìn)行分割,添加標(biāo)點符號是必要的。標(biāo)點符號預(yù)測問題吸引了語音處理領(lǐng)域和自然語言處理領(lǐng)域?qū)W者的關(guān)注,研究人員利用統(tǒng)計模型中的局部特征進(jìn)行預(yù)測,如詞匯、韻律特征和隱藏事件的語言模型(HELM)[1-2]。HELM對于輸入用一個較小窗口的采樣,這樣由于上下文信息有限而不能達(dá)到滿意的性能[3]。對于標(biāo)點符號預(yù)測,研究全局的上下文信息是必要的,尤其是長期依賴關(guān)系,已有研究試圖合并語法特征拓寬標(biāo)點符號預(yù)測的視野[4]。

基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)的標(biāo)點符號預(yù)測模型技術(shù)取得了一定的進(jìn)展,但由于標(biāo)點符號預(yù)測任務(wù)需要對輸入文本結(jié)構(gòu)進(jìn)行信息提取,而RNN不適用于處理樹狀結(jié)構(gòu)的輸入。為解決該問題,本文提出一種基于自注意力機(jī)制的多層雙向LSTM標(biāo)點符號預(yù)測模型DABLSTM。

1 相關(guān)研究

近年來,基于文本的標(biāo)點符號預(yù)測逐漸獲得人們的關(guān)注,文本的標(biāo)點預(yù)測不能提取聲學(xué)方面的信息,需要尋找其他的特征。文獻(xiàn)[5]基于英文文本特征,在斷句中將標(biāo)點插入句子。文獻(xiàn)[6]將標(biāo)點符號進(jìn)行分類,提出了一種自動提取表示句末標(biāo)點的線索詞方法。文獻(xiàn)[7]為了解決線索詞的“遠(yuǎn)程依賴”問題,使用F-CRF模型,同時選取詞級別特征和句子級別特征。以上方法在英語文本中取得了較好的效果,但在中文文本中效果并不理想,部分原因在于中文標(biāo)點符號種類更多,較為復(fù)雜多變,中文線索詞的提示性并不十分準(zhǔn)確。只利用淺層的詞法特征并不能體現(xiàn)中文標(biāo)點符號的應(yīng)用特點,因此一些學(xué)者嘗試更深層次的句法特征。為了在標(biāo)點預(yù)測中融合更深層的句法特征,文獻(xiàn)[8]以網(wǎng)絡(luò)文本為測試語料,融合多種特征,訓(xùn)練CRF模型,缺點是局限于特征的設(shè)計,當(dāng)特征維度大時,容易出現(xiàn)過擬合現(xiàn)象。以上基于規(guī)則、統(tǒng)計以及傳統(tǒng)機(jī)器學(xué)習(xí)模型的性能依賴于特征的選擇,模型的輸入是基于人為設(shè)定的特征。

神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的建模能力,不需要人工構(gòu)建特征工程,被廣泛地應(yīng)用于序列標(biāo)注問題上。文獻(xiàn)[9]將神經(jīng)網(wǎng)絡(luò)模型應(yīng)用到自然語言處理(NLP)。由于標(biāo)點符號類別有限,中文分詞任務(wù)可以看作序列標(biāo)注問題,因此中文分詞模型也可以應(yīng)用于PP。文獻(xiàn)[10]提出了基于神經(jīng)網(wǎng)絡(luò)的中文分詞模型。文獻(xiàn)[11]使用LSTM神經(jīng)網(wǎng)絡(luò)來解決中文分詞任務(wù),一定程度上解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)無法長期依賴信息的問題。傳統(tǒng)的單向LSTM神經(jīng)網(wǎng)絡(luò)只能處理過去的上文信息,中文句子結(jié)構(gòu)復(fù)雜多變,有時需要結(jié)合下文的信息才能做出判斷。文獻(xiàn)[12]提出了一種雙向LSTM-CRF模型,并用在序列標(biāo)注問題上,取得了理想的效果。文獻(xiàn)[13]把中文分詞和標(biāo)點符號預(yù)測任務(wù)用雙向LSTM網(wǎng)絡(luò)同時訓(xùn)練,得到分詞和標(biāo)點符號預(yù)測模型。但是由于分詞標(biāo)注的數(shù)據(jù)集過小,難以擴(kuò)展到實際文本應(yīng)用中。

本文提出一種基于自注意力機(jī)制的多層雙向LSTM標(biāo)點符號預(yù)測模型DABLSTM,模型基于自注意力機(jī)制,直接提取輸入的全局依賴關(guān)系,相比RNN,自注意力的優(yōu)點是直接提取輸入文本任意兩個位置的關(guān)系。因此,遠(yuǎn)程關(guān)系可以通過直接的路徑解決(自注意力機(jī)制中任意兩個詞的距離總是1),而遠(yuǎn)程關(guān)系對于標(biāo)點符號預(yù)測是有幫助的。自注意力還可以提供更靈活的方式選擇、表示和綜合輸入信息。雙向LSTM網(wǎng)絡(luò)增加了模型的表征能力,DABLSTM模型同時利用LSTM和自注意力機(jī)制,捕獲文本序列重要信息,聯(lián)合學(xué)習(xí)文本詞性與語法信息,實現(xiàn)準(zhǔn)確的中文標(biāo)點符號預(yù)測。

2 Bi-LSTM序列標(biāo)注模型

圖1 Bi-LSTM序列標(biāo)注模型結(jié)構(gòu)

3 DABLSTM標(biāo)點符號預(yù)測模型

本文基于Bi-LSTM,提出DABLSTM模型,即深度自注意力雙向LSTM模型,其框架如圖2所示。

圖2 DABLSTM神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

DABLSTM主體堆疊N個相同的子層,每個子層由一個Bi-LSTM層和Self-Attention層堆疊。最上層是一個Softmax標(biāo)簽預(yù)測層構(gòu)成,如圖2所示,相比通用的Bi-LSTM模型,DABLSTM模型添加了自注意力層,可以跨位置提取詞之間的關(guān)系,有很強的表征句意信息。模型堆疊多次,網(wǎng)絡(luò)更深,充分提取了句意信息來預(yù)測標(biāo)點符號,實驗結(jié)果表明了改進(jìn)DABLSTM模型是有效的。

3.1 標(biāo)點符號標(biāo)注集

本文把標(biāo)點符號標(biāo)簽分為13個類別,如果一個詞的直接后繼是某個類別的標(biāo)點符號,則把此詞標(biāo)注為對應(yīng)標(biāo)點符號的標(biāo)簽,如果一個詞的直接后繼不是標(biāo)點符號,則把此詞標(biāo)注為標(biāo)簽“0”,標(biāo)點符號標(biāo)簽集如表1所示。

表1 標(biāo)點符號標(biāo)簽集

在表1中,標(biāo)簽“1”表示逗號,標(biāo)簽“2”表示句號,“無”表示無標(biāo)點符號……“$”表示段落結(jié)束標(biāo)志。

3.2 自注意力層

自注意力機(jī)制是Google團(tuán)隊[14]在2017年提出的編碼序列方案,它與一般的RNN、CNN同樣都是一個序列編碼層。自注意力機(jī)制是一種特殊的注意力機(jī)制,它只需要單獨的序列來計算此序列的編碼,自注意力在很多NLP任務(wù)中表現(xiàn)優(yōu)異。文獻(xiàn)[15]把自注意力機(jī)制應(yīng)用在中文閱讀理解任務(wù)上取得了較好的效果。文獻(xiàn)[16]把注意力機(jī)制應(yīng)用在方面級別情感分類問題上,實驗結(jié)果顯示了方面級別注意力機(jī)制的有效性。文獻(xiàn)[17]提出一種融合注意力機(jī)制對評論文本深度建模的推薦方法,通過仿真實驗驗證了注意力機(jī)制的有效性。

本文采用文獻(xiàn)[14]提出的多頭注意力機(jī)制,圖3所示為多頭注意力機(jī)制的計算過程。

圖3 多頭注意力機(jī)制計算過程

(1)

其中,d是網(wǎng)絡(luò)隱藏層神經(jīng)元數(shù),Softmax()為非線性激活函數(shù)。

(2)

最后,將所有并行計算出的頭拼接成一個矩陣。同樣一個線性映射用來從不同的頭混合不同的通道:

M=Concat(head1,head2,…,headn)

(3)

Y=MW

(4)

自注意力機(jī)制和RNN或CNN相比具有很多的優(yōu)勢。首先,它從根本上解決了遠(yuǎn)程依賴問題,任何位置的輸入和輸出的距離為1,而在RNN中可能是n(輸入序列長度)。與CNN相比,自注意力不局限于固定窗口的大小,它可以學(xué)習(xí)序列任意兩個位置的關(guān)系信息。其次,自注意力機(jī)制使用加權(quán)和計算產(chǎn)生輸出向量,它的梯度傳播比RNN或者CNN更容易,不會出現(xiàn)RNN梯度彌散或膨脹問題。最后,點乘注意力可以高度并行,矩陣乘法可以在GPU上優(yōu)化,而RNN由于遞歸機(jī)制難以并行處理。

3.3 位置編碼層

自注意力機(jī)制不能處理序列位置信息,因此對輸入序列向量位置信息編碼是極為重要的。位置編碼有很多方式可以訓(xùn)練得出位置向量,也可構(gòu)造位置編碼得出位置向量,本文使用文獻(xiàn)[14]提出的位置編碼方式:

(5)

其中,表達(dá)式將編號為p位置映射為一個k維位置向量,向量的第i個元素數(shù)值為PEi(p)。

3.4 Bi-LSTM層

自注意力通過加權(quán)和得到輸出向量,有著很強的表征序列能力,但不能表示序列順序信息,循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)[20]在近些年來被廣泛應(yīng)用于語音識別和自然語言處理領(lǐng)域。文獻(xiàn)[21]使用循環(huán)神經(jīng)網(wǎng)絡(luò)對天氣等時間序列進(jìn)行預(yù)測,相比傳統(tǒng)方法預(yù)測準(zhǔn)確度有很大提升。文獻(xiàn)[22]提出一種基于雙向LSTM的結(jié)構(gòu)識別方法,對流式文檔進(jìn)行結(jié)構(gòu)識別,實驗結(jié)果表明雙向LSTM具有更好的識別效果。RNN這種基于時間序列的循環(huán)計算方式使得模型能夠捕捉輸入序列中長距離的特征信息,具有十分強大的信息記憶能力。由于RNN適用的時間序列與文本序列有著相同的特性,因此RNN網(wǎng)絡(luò)相對于其他深度學(xué)習(xí)模型更適用于文本處理。在RNN中,每個處理單元在t時刻的隱藏狀態(tài)均由其外部輸入xt和上一時刻的隱藏狀態(tài)ht-1共同決定,表示如下:

(6)

然而這種強大的記憶能力在模型的訓(xùn)練過程中會導(dǎo)致梯度消失和梯度爆炸問題,一個簡單的RNN并不能有效處理序列的長距離依賴關(guān)系。為了解決該問題,一種RNN的變體長短時記憶網(wǎng)絡(luò)(LSTM)[23]應(yīng)運而生。LSTM神經(jīng)網(wǎng)絡(luò)模型通過引入門機(jī)制和細(xì)胞狀態(tài)來解決長期依賴問題。

LSTM網(wǎng)絡(luò)能夠按需要決定模型對于歷史信息所要記憶的長度,但該模型中默認(rèn)序列最后元素所記憶的信息最多,因此序列最后元素占有較重要地位。而序列標(biāo)注問題要求序列中每個單元都應(yīng)是平等的,因此本文采用雙向LSTM(Bi-LSTM)作為基礎(chǔ)模型。Bi-LSTM包含了輸入序列中來自雙向的信息,正向LSTM捕獲了上文的特征信息,而反向LSTM捕獲了下文的特征信息,所以相對單向LSTM來說能夠獲取到更多的序列信息,因此在通常情況下,Bi-LSTM的表現(xiàn)比單向LSTM或者單向RNN要好。

給定輸入序列向量{xi},Bi-LSTM分別以正向、反向方向處理輸入序列,然后通過兩個方向表示的向量之和來得到輸出向量:

(7)

(8)

(9)

3.5 輸入層

本文采用三類特征作為模型輸入:詞向量,詞性向量,句法向量。通過對詞向量、詞性向量、句法向量聯(lián)合學(xué)習(xí),可以得到多模態(tài)的語義句法信息,對標(biāo)點符號預(yù)測有提高作用。

輸入層由三部分構(gòu)成:

1)詞向量和位置編碼,詞向量是用word2vector工具在搜狗新聞?wù)Z料庫上預(yù)訓(xùn)練得到[24],詞向量包含當(dāng)前詞的語義信息,本文中詞向量維度設(shè)置為300。按照上文給出的編碼方案把位置信息編碼為位置向量維度為300,然后將詞向量和位置向量加和作為網(wǎng)絡(luò)部分輸入。

2)詞性向量,表示當(dāng)前詞在語義環(huán)境中的詞性,可以是名詞、動詞、形容詞與副詞等,由于標(biāo)點符號大多出現(xiàn)在名詞后,因此將詞性作為模型的輸入特征之一。

3)句法向量,表示當(dāng)前詞在語境中的句法作用,包括主語、謂語、賓語等,句法信息對提升標(biāo)點符號預(yù)測有巨大提升作用。將詞向量和位置向量加和后的詞性向量、句法向量拼接在一起作為網(wǎng)絡(luò)的最終輸入。

4 實驗結(jié)果與分析

4.1 數(shù)據(jù)集

本文實驗采用以下兩個數(shù)據(jù)集:

1)搜狐新聞數(shù)據(jù)(SogouCS)版本,此數(shù)據(jù)集包含來自搜狐新聞 2012年6月—7月期間國內(nèi)、國際、體育、社會、娛樂等18個頻道的新聞數(shù)據(jù),數(shù)據(jù)集大小為648 MB。

2)當(dāng)代文學(xué)作品50部,數(shù)據(jù)集大小為58 MB。首先對兩個數(shù)據(jù)集依據(jù)標(biāo)點符號標(biāo)注規(guī)則進(jìn)行標(biāo)注,過濾掉在標(biāo)注集之外的標(biāo)點,然后以去除標(biāo)點符號得到純文本序列X和相對應(yīng)的標(biāo)簽序列Y作為訓(xùn)練數(shù)據(jù)。按照8∶2的比例把數(shù)據(jù)集劃分為訓(xùn)練集和測試集,實驗結(jié)果在測試集上得到。

在對中文標(biāo)點符號預(yù)測任務(wù)中,使用分類問題的評價指標(biāo)精確度(Precision)、召回率(Recall)和F1值來評價模型整體性能,以F1值作為主要評價指標(biāo)。

4.2 實驗設(shè)計

在實驗中,使用分詞工具HanLP對文本進(jìn)行分詞處理、DABLSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行實現(xiàn),使用python3.6和深度學(xué)習(xí)框架TensorFlow 1.50來構(gòu)建深度網(wǎng)絡(luò)。所用工作站參數(shù):CPU為Inter Core i7 6800K,GPU為Nvidia GTX1080Ti圖形處理卡,操作系統(tǒng)為Ubuntu16.04。

表2 實驗參數(shù)設(shè)置

將網(wǎng)絡(luò)深度N設(shè)置為7,即有7層重復(fù)的非線性子層,輸入詞向量維度K設(shè)置為300,位置編碼維度Posi_d設(shè)置為300,LSTM相關(guān)模型輸入長度Len_LSTM設(shè)定置為100,即在網(wǎng)絡(luò)輸入層有100個LSTM處理單元,LSTM輸出維度LSTM_d設(shè)置為200,多頭注意力Head設(shè)置為4。通過在詞嵌入層和自注意力層添加Dropout[25-26]層來使隱藏層節(jié)點不工作,增強網(wǎng)絡(luò)的泛化能力,丟棄率Drop_prob設(shè)置為0.2。采用隨機(jī)梯度下降法來優(yōu)化網(wǎng)絡(luò)參數(shù),訓(xùn)練的Batch_size設(shè)置為64。具體地,本文采用Adadelta[27]作為參數(shù)優(yōu)化器。

4.3 實驗結(jié)果

本文為探究網(wǎng)絡(luò)結(jié)構(gòu)、自注意力機(jī)制對實驗結(jié)果的影響,分別進(jìn)行兩個實驗。

實驗1為了驗證DABLSTM網(wǎng)絡(luò)模型的優(yōu)越性,首先將本文模型與傳統(tǒng)CRF、LSTM、Bi-LSTM模型分別在搜狗新聞數(shù)據(jù)和當(dāng)代文學(xué)數(shù)據(jù)兩個數(shù)據(jù)集上進(jìn)行對比實驗,如表3所示。

表3 4種模型的識別性能對比

本文對比實驗?zāi)Ｐ徒榻B如下:

CRF:模型使用的特征包括線索詞、句型特征、句法特征及主題詞特征。

LSTM:傳統(tǒng)的LSTM網(wǎng)絡(luò),將PP問題看作序列標(biāo)注問題,模型的輸入包括詞向量和位置向量。

Bi-LSTM:雙向LSTM網(wǎng)絡(luò),將PP問題看作序列標(biāo)注問題,模型的輸入包括詞向量和位置向量。

DABLSTM:深度自注意力雙向LSTM網(wǎng)絡(luò),有多個子層堆疊而成,每個子層包括一個雙向LSTM層一個自注意力層,模型的輸入包括詞向量和位置向量。

實驗2為了驗證自注意力機(jī)制在解決序列長期依賴的有效性,在DABLSTM網(wǎng)絡(luò)中用前饋網(wǎng)絡(luò)層代替自注意力層,前饋網(wǎng)絡(luò)層定義為:

FFN(X)=f(XW1)W2

(10)

其中,W1、W2為可學(xué)習(xí)的參數(shù)矩陣,f()為非線性激活函數(shù),本文選用RELU。

為研究位置向量編碼對自注意力機(jī)制影響,本文做了對比實驗,在網(wǎng)絡(luò)結(jié)構(gòu)超參數(shù)都相同的情況下,一組輸入為詞向量與位置向量的加和,另一組輸入僅為詞向量。為確定網(wǎng)絡(luò)深度是否能夠提高評價指標(biāo),設(shè)置了不同的網(wǎng)絡(luò)深度N,為探究隱藏層神經(jīng)元個數(shù)即網(wǎng)絡(luò)寬度對評價指標(biāo)的影響,進(jìn)行了對照實驗。以上實驗都是在新聞數(shù)據(jù)集上,用搜狗新聞?wù)Z料庫訓(xùn)練的300維詞向量進(jìn)行的對比實驗。不同參數(shù)對比結(jié)果如表4所示。

表4 不同參數(shù)對比結(jié)果

在表4中,√表示自注意力層可以捕獲序列的位置信息,×表示自注意力層不能捕獲序列的位置信息。

4.4 結(jié)果分析

通過表3可以看出,在兩個不同的數(shù)據(jù)集上,本文的DABLSTM網(wǎng)絡(luò)模型在精確度、召回率和F1值上均是最優(yōu)的,尤其是召回率和F1值,這是由于深度神經(jīng)網(wǎng)絡(luò)能夠編碼更多的潛在語義信息。縱觀深度模型,Bi-LSTM在兩個數(shù)據(jù)集上的F1值分別高于LSTM模型4.73%和4.87%,這是因為在LSTM網(wǎng)絡(luò)中添加雙向連接能夠使模型學(xué)習(xí)到句中雙向的語義信息,從而給模型帶來更佳的預(yù)測結(jié)果。

1)網(wǎng)絡(luò)深度的影響:通過表4的第1行～第5行可以看出,隨著網(wǎng)絡(luò)深度的增加,模型的效果增強顯著,這也驗證了文獻(xiàn)[28-29]的工作,即深度是網(wǎng)絡(luò)表征能力的關(guān)鍵。從第3層增加到第6層,效果提升9.6%比較顯著,從第6層增加到第9層效果有較小提升,而在增加到一定層數(shù)后,再增加層數(shù)反而效果下降,原因是當(dāng)模型太深時反向傳播算法梯度難以傳導(dǎo),使用隨機(jī)梯度優(yōu)化參數(shù)的方法效果就要打折扣,另一部分原因是網(wǎng)絡(luò)參數(shù)量大,出現(xiàn)了過擬合現(xiàn)象。對于深度網(wǎng)絡(luò)難以訓(xùn)練問題,可以采用添加殘差模塊[29],跨層傳導(dǎo)梯度來解決,這也是模型改進(jìn)的方向,對于網(wǎng)絡(luò)過擬合問題,可以在損失函數(shù)中引入?yún)?shù)正則化,這也是模型另一個改進(jìn)的方向。對比第1、6、7行可以看出,網(wǎng)絡(luò)寬度從200增加到400、600,網(wǎng)絡(luò)提升并不顯著。因此,網(wǎng)絡(luò)的深度比寬度對模型的提升更有效。

2)自注意力的影響:通過表4的第1、8行可以看出,當(dāng)自注意力層替換為前饋網(wǎng)絡(luò)層時,模型F1相對下降13.2%,而當(dāng)去掉自注意力層時,模型F1相對下降16%,這一結(jié)果充分證明了自注意力層的必要性和有效性,它是對Bi-LSTM的必要補充,從根本上解決了序列的長期依賴問題(任意兩個位置距離為1)。

3)位置編碼的影響:通過表4的第1行和9行看出,當(dāng)輸入沒有編碼位置信息時,模型F1值相對下降5.1%,可以看到位置信息對模型的重要性,不難理解,自注意力層不能捕獲序列的位置信息,所以在詞向量中融合位置信息會有較大提升,位置編碼總是伴隨自注意力。

5 結(jié)束語

本文建立一種基于自注意力機(jī)制的中文標(biāo)點符號預(yù)測模型DABLSTM。通過自注意力機(jī)制構(gòu)建DABLSTM網(wǎng)絡(luò),提取文本添加標(biāo)點的信息,根據(jù)對詞的詞性信息和句法信息進(jìn)行聯(lián)合學(xué)習(xí),利用詞的詞法信息和句法信息預(yù)測標(biāo)點符號。實驗結(jié)果表明,對比傳統(tǒng)的CRF模型和Bi-LSTM模型,DABLSTM模型在中文標(biāo)點符號預(yù)測上取得了較好的效果,大幅提升了預(yù)測正確率。DABLSTM網(wǎng)絡(luò)是Bi-LSTM網(wǎng)絡(luò)的增強,對序列標(biāo)注問題有較好的建模能力,下一步將對該模型進(jìn)行泛化能力驗證,以避免出現(xiàn)過擬合現(xiàn)象。