基于時(shí)序卷積網(wǎng)絡(luò)的詞級語言模型研究與應(yīng)用

李大舟，于廣寶+，高 巍，孟智慧

(1.沈陽化工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，遼寧 沈陽 110142；2.中國移動(dòng)集團(tuán)設(shè)計(jì)院有限公司河北分公司 山西綜合生產(chǎn)所，山西 太原 030000)

0 引 言

語言模型發(fā)展一共經(jīng)歷3個(gè)階段，在第一個(gè)階段的統(tǒng)計(jì)語言模型中最具特點(diǎn)的是N-gram模型[1]。該模型有結(jié)構(gòu)簡單、時(shí)間復(fù)雜度低等特點(diǎn)，但也有語言表達(dá)能力弱、維度災(zāi)難和模型泛化能力弱的缺點(diǎn)。第二個(gè)階段是前饋神經(jīng)網(wǎng)絡(luò)語言模型，該模型能更好使詞被計(jì)算機(jī)識別和利用，從而提升接受輸入的長度，但該模型的訓(xùn)練復(fù)雜度高，需要使用特定的語料庫和詞表，并有一定的局限性。第三個(gè)階段是深度神經(jīng)網(wǎng)絡(luò)，其代表是循環(huán)遞歸神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)在語言模型一定的優(yōu)勢，但也存在一定的弊端，如梯度爆炸、梯度消失、訓(xùn)練速度沒有前饋神經(jīng)網(wǎng)絡(luò)快、需要的硬件要求也更高。

根據(jù)之前研究的不足之處，本文提出了時(shí)序卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)是可以保證輸入序列和輸出序列相同。這樣就可以解決傳統(tǒng)循環(huán)遞歸網(wǎng)絡(luò)結(jié)構(gòu)中的輸入序列和輸出序列不一致的情況。另一方面本文通過使用擴(kuò)大卷積層，可以保存更多的文本信息，解決了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)因輸入序列過長導(dǎo)致文本信息的丟失，使預(yù)測的準(zhǔn)確率的降低的問題。

1 相關(guān)研究

近年來，隨著語言模型的飛速發(fā)展，國內(nèi)外相繼出現(xiàn)了很多的研究成果，關(guān)于語言模型的發(fā)展歷史，先是從傳統(tǒng)的統(tǒng)計(jì)型語言模型(n-gram模型)發(fā)展到神經(jīng)網(wǎng)絡(luò)語言模型(NNLM)，隨后向循環(huán)神經(jīng)網(wǎng)絡(luò)語言(RNN)的方向進(jìn)步，由Bengio等提出了前饋神經(jīng)網(wǎng)絡(luò)[2]語言模型，實(shí)驗(yàn)結(jié)果表明該模型比傳統(tǒng)的統(tǒng)計(jì)型語言模型(n-gram模型)優(yōu)秀。之后，由Bengio等將神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用在高維離散數(shù)據(jù)的聯(lián)合概率分布[3]建模，用于解決維度災(zāi)難的問題。隨著科學(xué)技術(shù)的進(jìn)步，基于深度神經(jīng)網(wǎng)絡(luò)的技術(shù)也被廣泛的應(yīng)用到語言模型中，Mikolov等[4]提出利用循環(huán)神經(jīng)構(gòu)建語言模型，將其歷史信息(即上一個(gè)隱含層的狀態(tài))也作為輸入，利用好更多的上下文信息進(jìn)行預(yù)測，使語言建模的能力有了很大的提升。Sundermeyer等[5]實(shí)現(xiàn)了基于LSTM網(wǎng)絡(luò)[6]構(gòu)建語言模型。該模型通過網(wǎng)絡(luò)的門結(jié)構(gòu)可以更好選擇需要保留的上下文信息，在LSTM網(wǎng)絡(luò)架構(gòu)中，詞向量非常重要，詞向量可以表示語言的深層信息，詞向量可以解決傳統(tǒng)one-hot表示帶來的維度災(zāi)難和詞匯問題[7]。能夠有效地對單詞之間的語義信息進(jìn)行計(jì)算。Le等在詞向量的基礎(chǔ)上嘗試構(gòu)建句子和短語的向量表示，用來克服詞袋模型的缺點(diǎn)，以及提高信息檢索的能力。

2 時(shí)序卷積網(wǎng)絡(luò)

語言模型的一個(gè)難點(diǎn)在于如果輸入的序列過長，導(dǎo)致網(wǎng)絡(luò)會(huì)丟失之前的語義信息。本文提出利用擴(kuò)大卷積方法來解決這個(gè)問題。擴(kuò)大卷積會(huì)增加更大的感受視野，從而保留更多的語義信息，另一個(gè)難點(diǎn)是輸入序列和輸出序列的長度不一致，導(dǎo)致計(jì)算的難度增加。

為了解決上述問題，本文提出了一種卷積網(wǎng)絡(luò)稱為時(shí)序卷積網(wǎng)絡(luò)，它有兩大特點(diǎn)：①輸入序列和輸出序列保持一致；②預(yù)測時(shí)不會(huì)使用未來的信息而只會(huì)使用歷史的信息。為了保證輸入序列和輸出序列相同，在全卷積的時(shí)候輸入層和隱含層相同，并且使用0填充來保證使后續(xù)層與先前的層保持相同的長度。為了保證預(yù)測時(shí)不使用未來的信息，使用因果卷積。為了得到一個(gè)較長的歷史信息，本文需要一個(gè)非常深的網(wǎng)絡(luò)或者非常大的卷積核，本文使用擴(kuò)大卷積。為了防止模型過擬合，使用Relu激活函數(shù)和Dropout。所以本文提出的結(jié)構(gòu)是由擴(kuò)大卷積層、因果卷積層、RELU層和Dropout層組成，如圖1所示。

2.1 因果卷積

因?yàn)橐幚頃r(shí)序問題，即要考慮時(shí)間問題，因果卷積可以考慮時(shí)間的問題，對于序列問題，可以把問題抽象成x1…xt和y1…yt-1去預(yù)測yt。這里的x1…xt為時(shí)刻1至t的輸入序列，yt為t時(shí)刻的輸出。y1…yt-1為中間輸出結(jié)果，但yt包含之前的所有輸入信息及中間輸出結(jié)果的信息。例如，輸入為“I am a good boy”,x1為“I”，x2為“am”，輸入因果卷積中，假設(shè)輸出J1為“B”,x2和x3作為輸入，進(jìn)入網(wǎng)絡(luò)后，假設(shè)J2輸出為“C”,依次類推，輸出J3和J4,接來下，J1和J2作為輸入，J2和J3也作為輸入，J3和J4也作為輸入，輸出K1、K2和K3，直到最后的輸出結(jié)果為“OK”，這個(gè)“OK”就包含了之前的x1…x5的所有信息，這就是因果卷積的作用。

如圖2所示。因果卷積總結(jié)公式為，設(shè)因果卷積函數(shù)為F(x)，即因果公式如式(1)

y0,…,yt=F(x0,…,xt)

(1)

2.2 擴(kuò)大卷積

如上文提到，因果卷積包含的輸入信息很有限，為了得到更長的輸入信息保證預(yù)測的準(zhǔn)確性，因果卷積需要非常多的層級數(shù)來保證它具有更大的感受野或使用較大的卷積核來擴(kuò)大感受野，而較大的感受野是保證更多的輸入信息的輸入。若不想用增加計(jì)算量的辦法，使用擴(kuò)大卷積可以解決這個(gè)問題。擴(kuò)大卷積最大的特點(diǎn)就是擴(kuò)大感受野。擴(kuò)大卷積通過控制擴(kuò)大因子來增加感受野。在一維的擴(kuò)大卷積中，擴(kuò)大因子相當(dāng)于將卷積核變大，如圖3所示。總結(jié)擴(kuò)大卷積的公式如式(2)

(2)

其中，d為擴(kuò)大因子、k為卷積核的大小，s-d·i計(jì)算了采用上層的某個(gè)單元。擴(kuò)大因子控制了每兩個(gè)卷積核間會(huì)插入多少零值，當(dāng)d=1時(shí)，擴(kuò)大卷積就會(huì)變?yōu)橐话愕木矸e運(yùn)算。一般在使用擴(kuò)大卷積時(shí)，我們將隨著網(wǎng)絡(luò)深度i的增加而指數(shù)級地增大d，如式(3)

d=O(2^i)

(3)

當(dāng)擴(kuò)大因子為1時(shí)，擴(kuò)大卷積就退化為因果卷積，感受野為2，當(dāng)擴(kuò)大因子為2時(shí)，擴(kuò)大卷積的卷積核變?yōu)?，即感受野為4，當(dāng)擴(kuò)大因子為4時(shí)，擴(kuò)大卷積的卷積核為8，即感受野為8，依次類推，最終輸出包含所有輸入信息。通過控制擴(kuò)大因子，增加卷積核的大小從而達(dá)到增加感受野的目的。

圖2 因果卷積作用

圖3 擴(kuò)大卷積效果

2.3 ReLu函數(shù)

ReLu是神經(jīng)網(wǎng)絡(luò)中的一個(gè)常用的激活函數(shù)，使用ReLu的原因：第一，傳統(tǒng)的sigmoid等函數(shù)，參數(shù)反向傳播求誤差的梯度時(shí)，求導(dǎo)復(fù)雜，會(huì)加大計(jì)算量，若采用Relu激活函數(shù)，在整個(gè)過程中會(huì)節(jié)省很多的計(jì)算量和計(jì)算時(shí)間。第二，在深層的網(wǎng)絡(luò)中，傳統(tǒng)的sigmoid函數(shù)參數(shù)反向傳播時(shí)，梯度消失或梯度爆炸的情況就會(huì)很容易出現(xiàn)，以至于深層網(wǎng)絡(luò)的訓(xùn)練無法完成。第三，使用ReLu函數(shù)迫使部分神經(jīng)元的輸出為0，使網(wǎng)絡(luò)變得稀疏，而且使參數(shù)之間減少了相互依賴，使過擬合的問題得到了緩解。第四，Relu函數(shù)更易學(xué)習(xí)優(yōu)化，因?yàn)槭欠侄尉€性的屬性，使求導(dǎo)更加容易，而傳統(tǒng)的sigmoid函數(shù)，由于兩端是飽和的，在傳播過程中容易丟棄語義信息。所以本文選擇了Relu函數(shù)作為激活函數(shù)。Relu函數(shù)公式如式(4)

y=max(0,x)

(4)

2.4 Dropout層

在大規(guī)模的神經(jīng)網(wǎng)絡(luò)中有這樣兩個(gè)缺點(diǎn)：①太費(fèi)時(shí)；②容易過擬合。而Dropout層可以解決這個(gè)兩個(gè)問題，Dropout是在模型的訓(xùn)練中隨機(jī)丟失一些隱藏單元，使其剩下的隱藏單元繼續(xù)工作，這樣使網(wǎng)絡(luò)更簡單，削弱了隱藏單元之間的依賴性。Dropout的功能是防止所有的特征提取器共同作用，一直放大或者縮小某些特征，若樣本小，則容易出現(xiàn)過擬合和泛化能力弱的現(xiàn)象，使用了Dropout能避免訓(xùn)練過程中出現(xiàn)的這些問題，增加了網(wǎng)絡(luò)的泛化的能力。對于Dropout率的選擇，經(jīng)過本文驗(yàn)證，隱含點(diǎn)Dropout率等于0.45的時(shí)候效果最好，復(fù)雜度最低。所以本文選擇Dropout層用于優(yōu)化網(wǎng)絡(luò)。選取結(jié)果見表 1。

表1 Dropout選取對比

3 語言建模與實(shí)驗(yàn)結(jié)果分析

3.1 數(shù)據(jù)集

本文使用PennTreeBank(PTB)數(shù)據(jù)集進(jìn)行詞級語言建模，該數(shù)據(jù)包含3個(gè)文件，分別是測試集數(shù)據(jù)文件、訓(xùn)練集數(shù)據(jù)文件和驗(yàn)證集數(shù)據(jù)文件，這3個(gè)數(shù)據(jù)集包已經(jīng)經(jīng)過預(yù)處理，相鄰的單詞之間用空格隔開，數(shù)據(jù)集含了9998個(gè)不同的單詞詞匯，加上稀有詞語的特殊符號和語句結(jié)束符在內(nèi)，一共是10 000個(gè)詞匯。做詞級語言語料庫時(shí)，包含888 K單詞用于訓(xùn)練，70 K單詞用于驗(yàn)證，79 K單詞用于測試，這是一個(gè)經(jīng)過高度研究但相對較小的語言建模數(shù)據(jù)集。如圖4所示。

圖4 PennTreeBank數(shù)據(jù)集的部分顯示

3.2 建模過程

3.2.1 數(shù)據(jù)準(zhǔn)備

為了將文本轉(zhuǎn)化為模型可以讀入的單詞序列，需要將這10 000個(gè)單詞分別映射到0-9999之間的編號。按照詞頻順序?yàn)槊看卧~匯分配一個(gè)編碼，將詞匯表保存到一個(gè)獨(dú)立的vocabary的文件中(前6個(gè)單詞與ID)ID和單詞對應(yīng)見表2。

表2 ptb.vocabary

在確定詞匯表后，將訓(xùn)練文件、測試文件等根據(jù)詞匯文件轉(zhuǎn)化為單詞編號，每個(gè)單詞標(biāo)號就是它在詞匯文件中的行號，單詞編碼見表3。

表3 根據(jù)詞匯文件轉(zhuǎn)化為單詞編碼

當(dāng)單詞編碼完成后，將數(shù)據(jù)集中的文本分割成序列，最大長度為50，分成16批，為隨機(jī)度下降的需要，需要把數(shù)據(jù)整理成一系列小的批次，每次為一個(gè)批次的數(shù)據(jù)來更新權(quán)重。讓數(shù)據(jù)進(jìn)行批處理，這樣既可以節(jié)約時(shí)間又加快運(yùn)算速度。

3.2.2 創(chuàng)建模型

為了使用之前的單詞來預(yù)測接下來的單詞，本文將使用時(shí)序卷積網(wǎng)絡(luò)，該網(wǎng)絡(luò)的結(jié)構(gòu)是由一個(gè)擴(kuò)大卷積、一個(gè)因果卷積、一個(gè)ReLu和一個(gè)Dropout的基本結(jié)構(gòu)組成，4個(gè)基本結(jié)構(gòu)組成一個(gè)卷積網(wǎng)絡(luò)的基本單位，而該網(wǎng)絡(luò)是由4層基本單位組成，這樣下來時(shí)序卷積網(wǎng)絡(luò)組裝完成，接下來將一個(gè)批量的數(shù)據(jù)(10 000維)送入編碼器成為一個(gè)批量的詞嵌入向量(600維)編碼器的作用是對數(shù)據(jù)降維，通常將文本信息轉(zhuǎn)化為向量編碼使用one-hot編碼,然而這樣做的結(jié)果會(huì)造成維度災(zāi)難，也無法表示語義的相似性，將數(shù)據(jù)送入編碼中，編碼器中的隱藏神經(jīng)元設(shè)為600，可以使數(shù)據(jù)由1 0 000維降成600維，形成詞向量。然后再將詞向量輸入時(shí)序卷積網(wǎng)絡(luò)中(其中擴(kuò)大卷積和因果卷積的隱藏單元為600，卷積核大小為3)，輸出為一個(gè)詞向量(600維)，再將詞向量送入解碼器中，輸出為10 000維的數(shù)據(jù)，解碼為單詞(其中編碼器和解碼器的權(quán)重和隱藏單元是相同的)，編譯模型。到現(xiàn)在為止，整個(gè)模型已經(jīng)創(chuàng)建完成。模型如圖5所示。

圖5 語言模型結(jié)構(gòu)

3.2.3 訓(xùn)練模型

訓(xùn)練模型，本文使用batch(大小為16)進(jìn)行分批訓(xùn)練，使訓(xùn)練的速度加快。在訓(xùn)練時(shí)，先讓模型可以按批次讀取數(shù)據(jù)，將數(shù)據(jù)編碼，隨后送入網(wǎng)絡(luò)中，在網(wǎng)絡(luò)中執(zhí)Dropout，隨機(jī)從句子中舍棄詞，迫使模型不依賴于單個(gè)單詞完成任務(wù)，選擇損失函數(shù)(交叉熵)和優(yōu)化器(SGD)，網(wǎng)絡(luò)使用梯度下降來更新權(quán)重，使得模型的預(yù)測更加準(zhǔn)確。最后將得到的模型應(yīng)用于測試集，檢驗(yàn)?zāi)Ｐ偷膬?yōu)劣。

3.2.4 評估指標(biāo)

本文選擇的評估指標(biāo)是語言模型通常選用的評價(jià)標(biāo)準(zhǔn)，即復(fù)雜度，復(fù)雜度是衡量一個(gè)語言模型的好壞，復(fù)雜度可以認(rèn)為是平均分支系數(shù)，即預(yù)測下一個(gè)詞時(shí)可以有多少種選擇，若模型的PPL下降到90，可以直觀地理解為，在模型生成下一個(gè)詞時(shí)有90個(gè)合理選擇，可選詞數(shù)越少，認(rèn)為模型越準(zhǔn)確。所以復(fù)雜度越小，語言模型越好。

因?yàn)槭钦Z言模型，即預(yù)測的出來的詞是否準(zhǔn)確，也可以從預(yù)測的誤差中看出模型的好壞，若預(yù)測的誤差越低，則說明預(yù)測的準(zhǔn)確。誤差為預(yù)測值和真實(shí)值做差，所以誤差也作為一個(gè)評價(jià)指標(biāo)。

3.3 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證時(shí)序卷積網(wǎng)絡(luò)語言模型的有效性，本文選擇遞歸神經(jīng)網(wǎng)絡(luò)RNN和LSTM神經(jīng)網(wǎng)絡(luò)在相同數(shù)據(jù)集上做相同的實(shí)驗(yàn)作為比對。

基于LSTM的語言模型使用TensorFlow實(shí)現(xiàn)，它使用兩層LSTM網(wǎng)絡(luò)，且每層有200個(gè)隱藏單元。我們在訓(xùn)練中截?cái)嗟妮斎胄蛄虚L度為50，且使用Dropout和梯度截?cái)嗟确椒刂颇Ｐ偷倪^擬合與梯度爆炸等問題。基于RNN的語言模型也是使用TensorFlow實(shí)現(xiàn)，由兩層基本的RNN網(wǎng)絡(luò)構(gòu)成，輸入序列長度為50，基于時(shí)序卷積網(wǎng)絡(luò)的語言模型使用PyTorch實(shí)現(xiàn)。實(shí)驗(yàn)完成后比較復(fù)雜度的結(jié)果如圖6所示。

圖6 3種算法的復(fù)雜度比較

圖6可以看到，橫軸代表訓(xùn)練次數(shù)，豎軸代表復(fù)雜度，隨著訓(xùn)練次數(shù)的增加，各模型的復(fù)雜度在下降，剛開始時(shí)序卷積網(wǎng)絡(luò)收斂的速度最快，LSTM次之，RNN最慢。由于復(fù)雜度的變化在1000之內(nèi)的變化幅度比較明顯。由圖7可以看出，時(shí)序卷積網(wǎng)絡(luò)的復(fù)雜度始終低于其它兩種算法，而最終的比較結(jié)果也是顯示時(shí)序卷積網(wǎng)絡(luò)的復(fù)雜度最低。

圖7 3種算法局部復(fù)雜度比較

圖8是3種模型的誤差圖像，可以看出，剛才始時(shí)序卷積網(wǎng)絡(luò)的誤差比其它兩種模型的誤差低，而且時(shí)序卷積網(wǎng)絡(luò)的語言模型誤差始終比其它兩種模型的誤差低，收斂速度快，說明模型的學(xué)習(xí)能力強(qiáng)，能快速的降低誤差。最終同其它兩種模型相比，時(shí)序卷積網(wǎng)絡(luò)的誤差也是最低的，說明該網(wǎng)絡(luò)結(jié)構(gòu)在語言模型優(yōu)于其它兩種結(jié)構(gòu)。

圖8 3種算法的誤差對比

其綜合對比結(jié)果見表4。

表4 3種算法綜合對比

由表4可知，3種模型中，時(shí)序卷積網(wǎng)絡(luò)最好，復(fù)雜度達(dá)到83.21，其次是LSTM達(dá)到96.25，最差的是RNN達(dá)到97.778。誤差方面時(shí)序卷積網(wǎng)絡(luò)最低為3.87。實(shí)驗(yàn)結(jié)果表明，基于時(shí)序卷積神經(jīng)網(wǎng)絡(luò)的模型在詞級語言建模的任務(wù)中和遞歸神經(jīng)網(wǎng)絡(luò)以及LSTM神經(jīng)網(wǎng)絡(luò)相比表現(xiàn)最好。復(fù)雜度為83.21，誤差為3.87，是一種有效的詞級語言建模方法。

4 結(jié)束語

本文基于時(shí)序卷積神經(jīng)網(wǎng)絡(luò)的模型實(shí)現(xiàn)了詞級級語言建模，與RNN、LSTM神經(jīng)網(wǎng)絡(luò)模型在PennTreeBank數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對比表明，在這幾種方法中時(shí)序語言模型的語言建模最好，復(fù)雜度為83.21。說明該方法適合處理詞級語言建模的任務(wù)，能充分挖掘數(shù)據(jù)特征，降低復(fù)雜度。本文將擴(kuò)大卷積網(wǎng)絡(luò)運(yùn)用到語言模型的研究中，使用擴(kuò)大卷積可以保留更多的歷史信息，從而提高語言模型預(yù)測的準(zhǔn)確率。本文的研究結(jié)果會(huì)作為接下來語言模型的研究基礎(chǔ)。