基于序列卷積網絡的Twitter情感分類

高 巍，孫盼盼，李大舟，張 宇，于廣寶，張奧南

(沈陽化工大學 計算機科學與技術學院，遼寧 沈陽 110142)

0 引 言

Twitter是全球互聯網訪問量最大的十大網站之一，允許用戶隨時發布自己的最新動態和想法，成為熱點輿情產生、傳播的重要源地。對Twitter情感分析，有助于研究者及時了解輿情信息[1]。由于Twitter內容有別于傳統文本，其內容通常不遵循語法句法特性，特征向量稀疏、上下文語境依賴性強。所以，傳統分類方法(比如KNN、貝葉斯、最大熵方法和支持向量機(SVM)等)對Twitter短文本進行分類無法達到較高的準確度[2-4]。近年來，深度學習在處理文本分類問題中得到廣泛應用[5-8]。其中，循環神經網絡(RNN)被視為處理文本等序列性問題的默認配置，但利用RNN存在梯度消失和爆炸等問題。雖然RNN中的長短時記憶(LSTM)[9,10]利用門控裝置解決文本分類問題，具有更強的記憶能力，但也無法記得全部歷史信息。這使得很多研究者將卷積神經網絡(CNN)應用到文本處理等序列建模問題中[11-14]，卷積神經網絡具有善于獲取局部敏感信息、特征提取速度快、參數少、網絡結構簡單等特點。基于以上問題，本文提出一種基于序列卷積神經網絡的分類模型。利用該模型對Twitter文本數據進行情感分類可以學習文本的靜態特征，獲取臨近單詞間的關聯信息，有效提高了分類的準確性。

1 序列卷積網絡

序列卷積網絡是在時間卷積網絡(TCN)思想的基礎上[15]，將一維因果卷積和擴張卷積結合作為神經網絡的卷積層，每次卷積對數據進行批標準化以克服神經網絡層數加深導致的模型難以訓練問題，然后使用PReLU函數對其進行激活，并利用殘差模塊在每兩個這樣的卷積層與恒等映射中堆疊起一個深度網絡，使用卷積層代替最后的全連接層，構建完整的全卷積神經網絡。

1.1 因果卷積

為了用卷積網絡的思想解決時序性問題，本文提出的序列卷積模型應用了因果卷積[16]。因果卷積只能對過去時間的輸入進行運算，即因果卷積的輸出僅與當前(t時間點)與過去(0到t-1時間點)的輸入有關，不涉及到未來(t+1時間點)的信息。根據一個已知序列出現的先后順序判斷未來的t+1時間點上什么出現的可能性更高，設定輸入序列為x0,x1,x2,…,xt，t時間點的輸出為Yt，那么就有

Yt=f(x0,x1,x2…xt)

(1)

在訓練過程中，所有過去時間步的卷積預測可以并行化，因為它們的輸入和標注真值都是已知的，所以這相對于循環神經網絡在訓練上有非常大的優勢。

1.2 擴張卷積

由于使用因果卷積需要非常多的層級數或較大的卷積核來擴寬感受野，而構建長期記憶就必須要較大的感受野，而擴寬感受野就會增加計算量。此外，如果將一般卷積運算的步幅增大也可以增加感受野，但當卷積步幅大于1時就會起到降采樣的效果，這樣輸出序列的長度會減小。為了在不影響輸出序列并且不加大計算量的情況下擴展感受野，本文提出的序列卷積網絡使用擴張卷積[17]增加數個量級的感受野。擴張卷積在保持輸入不變的情況下，向卷積核中添加值為零的權重，從而增加觀察序列長度，以指數速度擴大感受野且不會降低特征的大小。形式上，對于一維的輸入序列x∈Rn和卷積核f∶{0,…k-1}→R，對序列中元素s的擴張卷積運算F可以定義為

(2)

其中，d為擴張系數、k為卷積核大小，s-d·i表示采用上層哪一個單元。擴張系數控制兩個卷積核之間插入多少零值，當d=1時，空洞卷積就會降為一般的卷積運算。較大的擴張系數使輸出神經元表征更大范圍的輸入，有效擴寬感受野。

擴張卷積感受野指數級計算的公式如下：記F0,F1,…Fn-1∶Z2→R為離散函數，k0,k1,…kn-2∶Ω→R是離散的3*3filters，采用指數增長擴張的filters后

Fi+1=Fi*2ikifori=0,1,2,…,n-2

(3)

定義Fi+1中的元素p的感受野為：F0中可以改變Fi+1(p) 值的元素集Fi+1中p的感受野的大小即為這些元素集的數目。由此可見Fi+1中各元素的感受野大小為

(2i+2-1)*(2i+2-1)

(4)

即，感受野為指數增長的平方。

一般在使用擴張卷積時，深度將隨著網絡深度i的增加而指數級地增加。這可以確保卷積核在有效歷史信息中覆蓋更多的輸入序列，同樣也可以確保使用深度網絡能產生很長的有效歷史信息。因果卷積結合擴張卷積的效果如圖1所示(擴張系數d=1,2,4,8，卷積核大小k=2，感受野能覆蓋輸入序列中的所有值)。

圖1 因果卷積結合擴張卷積效果

如圖1所示，序列卷積網絡的一維卷積的卷積核大小為2，第一層使用的dilation為1，即常規的卷積運算。而后面層級的擴張大小依次加大，常規卷積只能從右到左觀察到5個輸入數據，而擴張卷積可以觀察到所有16個輸入數據。

1.3 殘差模塊

由于序列卷積網絡的感受野取決于網絡深度n、卷積核大k和擴張系數d，因此更深的網絡需要更強的穩定性。為此本文使用殘差模塊來加深卷積網絡。殘差模塊使用全等映射直接將前一層輸出傳到后面，使數據流可以跨層流動。標準殘差模塊結構如圖2所示。假設神經網絡的輸入x，期望輸出為H(x)，輸出結果利用殘差模塊直接把輸入x傳到輸出，則有

H(x)=Activation(x+F(x))

(5)

殘差模塊能夠有效消除因為層數增加導致的訓練集上誤差增大的現象。由圖2可以看出，殘差模塊的輸出結合了輸入信息與殘差內部運算的信息，這種殘差連接可以表示深層網絡的準確度至少不能低于淺層網絡。

圖2 標準殘差模塊結構

序列卷積在每個殘差模塊內使用兩層擴張和因果卷積，由于序列卷積的殘差模塊內輸入與輸出有不同的維度，因此使用額外的1×1卷積來確保F(x)與x間對應像素相加有相同的維度。

1.4 批標準化

序列卷積網絡利用殘差模塊堆疊起一個深度網絡，隨著神經網絡層數加深，在訓練過程中，每個隱藏層都會面臨輸入變化較大難以訓練的問題。批標準化是對于每個隱藏層神經元，把逐漸向取值區間極限飽和區靠攏的輸入分布強制拉回到均值為0方差為1的較標準的正態分布，使非線性變換函數的輸入值落入對輸入比較敏感的區域，以此使梯度一直都能保持比較大的狀態，提高神經網絡參數調整效率，加快收斂速度。

假設每個batch輸入為x=[x0,x1,x2,…,xn] (其中每個xi都是一個樣本，n是batch_size)假如在第一個隱藏層后加入批標準化層，那么第一層輸出h1的計算過程就被替換為如下：

(1)矩陣x先經過Wh1的線性變化后得到S1；

(6)

(7)

(8)

(但S2多數會被限制在正態分布以下，使網絡表達能力下降，為解決這個問題引入參數：γ，β，它們的值通過訓練網絡自己學習獲得。)

(3)將S2乘以γ調整參數大小，再加上β增加偏移后得到S3

S3=γ·S2+β

(9)

(4)S3經過激活函數后得到h1。

應用批標準化后序列卷積網絡的殘差模塊結構如圖3所示。

圖3 序列卷積殘差模塊

1.5 全卷積網絡

傳統卷積神經網絡使用全連接層將特征映射為固定長度的向量，這相當于對卷積抽取的高級特征進行線性組合而最終實現分類，但它的局限性在于只能對整張圖像或整段序列做分類處理。此外，低層卷積的感受野較小，對特征的位置變化不敏感，而高層卷積的感受野非常大，對特征的變化過于敏感而容易丟失一些細節。為了改善這種局限性以實現密集型的分類預測，本文提出的序列卷積網絡將傳統CNN最后幾個全連接層替換為卷積層。全卷積網絡(fully convolutional networks，FCN)[18]是從抽象的特征中恢復出每個像素所屬的類別。與傳統卷積神經網絡不同，全卷積可以接受任意長度的輸入，然后用反卷積層對最后一個卷積層進行上采樣, 使它的大小與輸入相同，從而對每個像素都產生一個預測，同時保留了原始輸入空間信息。在特定層記Xij為在坐標(i,j)的數據向量，在下一層輸出Yij的計算公式如下

Yij=fks({Xsi+δi,sj+δj} 0≤δi,δj

(10)

其中，k為卷積核尺寸，s是步長或下采樣因素，fks決定了層的類型。當卷積核尺寸和步長遵從轉換規則，這個函數被表述為如下

fks°gk′s′=(f°g)k′+(k-1)s′,ss′

(11)

使用全卷積的序列卷積網絡可以產生和輸入序列等長的輸出序列，且每一個隱藏層可以通過Padding保持和輸出層等長。這使序列卷積網絡可以感受整個輸入序列的信息，構建長期記憶。

2 實驗與分析

2.1 實驗環境

本文實驗環境見表1。

表1 實驗環境

2.2 實驗數據

數據集一為CrowdFlower提供的名為“社交媒體中的災難”數據集，收集者們查看了超過10 000條具有類似“著火”、“隔離”、“混亂”等搜索關鍵詞的Twitter，然后標記這個Twitter是否和災難事件有關(與之相反的是一些玩笑、電影點評或是一些非災難性的事件)。該數據集包括4672條與災難相關數據集，6186條與災難無關數據集。

數據集二為Abdul Fatir 提供的Twitter情感分析數據集。該數據集將Twitter情感分為正向和負向兩類，其中負向情感Twitter6892條、正向情感Twitter5699條。

數據集三來源于斯坦福大學提供的“Sentiment140”數據集，該數據集包含1 600 000條Twitter。這些推文被標注了標簽(0=負面，2=中性，4=正面)。

在文本預處理過程中，分別對數據集進行編碼解析處理、清除http:形式鏈接及@內容、清除www.形式鏈接、轉化為小寫、處理否定詞、清除數字及特殊符號，然后將每個數據集的80%作為訓練集，20%作為測試集，將其利用Word2Vec模型訓練得到100維的詞向量。

2.3 實驗參數

實驗參數的選取直接影響實驗結果，表2、表3、表4分列出了SVM分類算法、CNN、序列卷積網絡中的參數值。

SVM的參數比較了核函數linear、poly、sigmod，最大迭代次數默認無限制(-1)，誤差精度選取默認值，為了提高泛化能力，懲罰系數的大小對比了0.1和1，最終發現詞向量100維線性核函數的懲罰系數為0.1時模型分類準確率最高。

表2 SVM參數

表3 CNN參數

表4 序列卷積參數

通過固定參數的方法，分別比較了滑動窗口大小3、4、5、6、7，滑動窗口數量40，80，120，dropout值0.3，0.5，0.6，L2正則項λ為3，5，7對實驗結果的影響，經過比較，參數取表2中的值時CNN模型取得了較好的分類效果。

為了比較序列卷積神經網絡與其它模型的分類效果，序列卷積的參數盡可能保持與CNN相同，并添加4個殘差模塊，空洞系數設為2的指數次冪。具體參數見表4。

2.4 實驗結果及分析

由于詞向量表示方法的不同直接影響序列卷積網絡分類準確性，所以本文先對向量表示方法進行實驗，以獲取最優向量表示方法，然后再應用最優向量表示方法對數據進行向量表示，最后用序列卷積網絡對向量表示后的數據進行分類研究。為驗證本文應用的 Word2Vec詞向量模型和序列卷積分類模型的具有更好的性能，分別將Word2Vec詞向量與詞袋、TF-IDF進行對比，將序列卷積網絡模型與CNN模型、傳統機器學習SVM模型進行對比實驗。

首先，本文分別用詞袋、TF-IDF及Word2Vec詞向量模型對數據集一向量表示，均選用SVM模型作為分類模型，且SVM在3次實驗中參數均為表2中的值。圖4、圖5 分別給出了詞袋、TF-IDF及Word2Vec詞向量模型對數據向量表示后用SVM分類后的單詞重要性變化圖和混淆矩陣，圖4和圖5由python的數據可視化庫matplotlib繪制而成，其中圖4是將SVM模型預測時使用的系數進行提取和排序得到的。

圖4 單詞重要性

圖5 混淆矩陣

由圖4單詞重要性對比發現使用詞袋詞向量模型，分類器能正確地找出一些特征(單詞earthquake,fire等)，但很顯然在一些地點的詞上出現了過擬合(單詞hiroshima)，這些詞出現的頻率非常高，卻只會對預測提供噪聲。使用能解釋詞頻的TF-IDF向量模型，被選出的單詞看起來更相關，同樣的，使用Word2Vec能找出更高度相關詞語而且可以考慮上下文語義。此外，由混淆矩陣可以看出使用Word2Vec詞向量模型的準確率略高于TF-IDF，并且由于Word2Vec具有結合上下文語義的能力，所以本文選用Word2Vec詞向量模型。然后，利用Word2Vec詞向量模型將數據集轉化為對應的詞向量，然后分別使用傳統機器學習SVM、卷積神經網絡CNN、序列卷積網絡模型進行分類，其中各分類算法的參數見表2-表4。

本文針對3個數據集分別實驗，并且3個數據集中實驗參數保持完全相同，數據集一的損失趨勢變化用python的數據可視化庫matplotlib繪制成圖6，對3個數據集分別實驗后準確率見表5。

圖6 loss損失變化

對比loss損失變化圖發現，序列卷積神經網絡的loss值下降到穩定值的速度比卷積神經網絡下降到穩定值的速度快，并且最終loss值的穩定值相對較低，表明序列卷積模型取得較好收斂效果。

表5 不同分類模型實驗結果對比

如表5所列，本文所提出的序列卷積網絡應用在數據集一上準確率比傳統用于分類的機器學習算法SVM模型[15]的分類準確率上提升了12.74%，比CNN模型[16]分類準確率提升5.89%。相似的，在數據集二和數據集三中，序列卷積神經網絡準確率也高于其它模型。序列卷積網絡結合一維全卷積與因果卷積兩種結構，利用殘差模塊和擴張卷積來構建長期依賴關系，取得了較好的分類準確率。實驗發現本文所提序列卷積神經網絡模型有效提高了Twitter文本分類的準確率。

3 結束語

本文提出序列卷積神經網絡分類模型，該模型將一維全卷積和因果卷積結合而轉化為適合序列性數據的模型，利用殘差模塊和空洞卷積來構建長期依賴關系。將本文所提出的序列卷積與CNN模型、SVM模型進行對比實驗，序列卷積模型分類準確率明顯優于其它模型。此外本文將此模型應用于不同的數據集上進行了實驗，實驗結果表明序列卷積模型在不同Twitter數據集分類準確率上均優于對比的模型，有效提升了Twitter文本分類的準確率。然而本文并未研究序列卷積模型應用于其它類型文本數據上的效果，未來將研究序列卷積網絡對其它數據分類準確率的影響。