基于Siamese-BIGRU-Attention的語義相似度分析研究

陳鑫，邱占芝

(大連交通大學 機械工程學院，遼寧 大連 116028)

在對話生成領域，探索對話過程中的話題轉換，對于了解對話的趨勢和走向十分重要.話題轉換是指會話過程中談話主題切換的過渡過程[1].在對話過程中，話題轉換連接了不同的話題線索，話題線索包含多個毗鄰對，每個毗鄰對又是由兩個話輪組成.因此，話題線索、毗鄰對和話輪在對話結構中形成自上而下的分層次描述關系.總的來說，對于如何準確地識別話題轉換，語義相似度的研究是至關重要的.通過研究發現，實現對話過程中的話題轉換的切分與判別，可以分為以下三個步驟.首先，通過語義相似度模型計算話輪間的相似度，通過相似度判定閾值進行相似性話輪的篩選，得到切分后的話輪組；其次，把所有已切分的話輪組輸入到主題模型中，得到每個話輪組對應的主題向量；最后，將多個話輪組中提取的主題向量輸入到聚類模型中，輸出得到與話輪組對應的主題類別，從而明確在對話過程中的主題類別的轉換.

在之前的研究進程中，研究人員們主要從基于距離屬性、基于內容和基于深度學習三個不同維度進行語義文本的相似度計算研究.

基于距離的語義相似度計算是通過在層次樹中的位置距離差異來測算語義相似度.差異越小，相似度越大；差異越大，相似度越小[2].YANG等人[3]提出這種方法以分布假設為基礎，認為相似的單詞之間存在相似的語義，并通過各種類型的文本向量化方法將文本轉換為詞向量,通過計算得到向量間距離來評估文本間的相似度.CAMACHO等人[4]提出若兩個文本之間有更多的相同屬性，相似度較高；若兩個文本之間相同屬性較少，則相似度較低，此方法在很大程度上依賴于文本屬性集的自身屬性.

基于內容屬性語義相似度計算方法，根據內容源不同可分為語義詞典和大型知識庫資源兩大類[5].在語義詞典方面，LOGESWARAN等人[6]提出在計算的句子間的相似度過程中以詞粒度作為考量，通過詞語間相似度的加權求和來評估相似度，過程中并未考慮到句法結構間的聯系，所以導致對長文本的相似度計算不準確.在大型知識庫資源方面，YEH等人[7]提出基于大型知識庫資源的方法具有知識資源豐富和迭代速度較快的特點，但也存在著諸多問題，如知識層次及密度分布不均、知識體系不夠完備、相關資源獲取不直接且無法量化計算等.

基于深度學習的語義相似度計算方法可分為無監督學習和監督學習.LE[8]等人提出無監督學習是數據集本身進行信息自監督訓練，并對詞向量加權求和得到句向量,最終計算句向量間距離來評估語義間的文本相似度.HILL等人[9]則認為無監督學習無法將帶有標簽的信息和先驗知識融入模型之中，導致計算準確率較低且計算時間較長.CONNEAU等人[10]提出了監督學習的方法，該方法運用帶有標簽的訓練集對模型進行訓練，提升了模型的時效性，比無監督學習展示出來更好的模型總體性能.

總的來說，基于距離屬性的語義相似度計算通常存在著對大規模對話語料庫需求較大且在計算時不考慮文本的語義信息及句子結構信息的問題.而基于內容屬性的語義相似度計算通常存在著算法遷移難度大、人工成本高及不同的句法結構適應能力差的缺點.本文從語義相似度評價效果較好的深度學習領域中的監督學習繼續深入，將選取監督學習方法中的孿生網絡架構作為基礎架構并運用BIGRU進行語義特征的深層次提取，該方法在充分挖掘上下文因果關系的同時，具有極高的時效性.同時，在BIGRU后，加入了attention機制，進一步提升了上下文關鍵語義的捕捉能力.最終完成基于Siamese-BIGRU-Attention的語義相似度計算模型的設計.

1 模型結構

本文提出的基于Siamese-BIGRU-Attention的語義相似度計算模型是由兩個相同的網絡結構A和B組成的孿生網絡,該網絡結構主要由輸入層、嵌入層、BIGRU層、注意力全連接層和匹配層組成，如圖1所示.

圖1 基于Siamese-BIGRU-Attention計算模型

輸入層：將對話過程中的句子S1和S2進行預處理，然后將其輸入到模型的嵌入層.

嵌入層：將句子中的每個單詞映射為一個低維的稠密向量.預處理后的等長度的句子序列為Sn=(Wn1，Wn2，…，Wnn)，每一個單詞都需被轉換為一個詞嵌入向量，然后將其作為后面神經網絡結構的輸入.

BIGRU層：本文通過BIGRU提取句子的深層語義特征.GRU相對于RNN來說，有效地解決了梯度消失的問題.GRU是在LSTM結構的基礎上，將輸入門與遺忘門合并成更新門，同時將原來的輸出門更新成重置門.GRU和LSTM都是通過門結構來保留文本序列的重要特征，但GRU相比于LSTM少了一個門，同時也具有更少的參數數量，因此GRU的訓練速度要更快一些.由于GRU網絡無法聯系全部上下文信息，因此增加了GRU的反向輸入，再將正反向的 GRU合并構建雙向門控循環單元BIGRU，此結構充分利用了上下文信息挖掘文本序列的因果關系.

注意力全連接層：本文利用注意力機制將對句子語義有更重要貢獻的單詞賦予較大的權重，反之則賦予較少的權重，這樣更能準確地表達句子語義.選用全連接層則是實現特征表示到樣本空間的映射，它可以實現特征提取的綜合.

匹配層：計算句子語義向量的余弦相似度，并得到輸出.在得到兩個句子S1和S2的語義表示后，在句子的語義空間中計算兩個向量的余弦相似度，從而判斷兩個句子是否語義相似.

2 實驗

2.1 數據集選擇

本文選取日常會話片段標注庫作為模型訓練的數據集.該數據集主要包含700個日常會話片段，按照不同的話題內容，分為7個大組：工作、學習、娛樂、飲食、交通、情感及天氣.每個大組包含100個會話片段，每個會話片段包含20條話語消息，合計14 000條話語消息.通過不同場景下的日常對話，來進行語義相似度模型的訓練.

2.2 實驗評價指標

語義相似度評價方面，當兩個句子的相似度大于相似度閾值時，我們判定這兩個句子相似；當兩個句子的相似度小于相似度閾值時，我們判定這兩個句子不相似.對于本實驗，我們采用準確率Accuracy和F1 score值作為評價指標，計算公式如式(1)和式(2)所示：

(1)

(2)

其中，TP表示相似句子判定為相似的個數，FP表示不相似句子判定為相似的個數，FN表示相似句子判定為非相似的個數，TN表示不相似句子判定為非相似的個數.

2.3 實驗設置

為了驗證本文方法Siamese-BIGRU-Attention模型的有效性，同時為了比較不同模型的性能和效果.本文加入了TF-IDF、 Siamese-CNN和Siamese-BIGRU模型進行對比實驗，并均采用準確率Acuracy和F1值評價指標來比較實驗效果.

2.4 實驗結果與分析

TF-IDF計算語義相似度可分為三個步驟，首先篩選出上下文不同句子的關鍵詞，將其合并為一個集合，計算得到每句話對于該集合中各個詞的詞頻；然后通過TfidfVectorizer生成上下文兩句話各自的詞頻向量；最后計算得到兩個向量的余弦相似度.通過計算，該語義相似度計算方法的準確率為74.23%，總體來說，準確率不高，主要制約于該方法屬于淺層詞匯匹配，對于復雜的對話文本，相似度匹配性能有限.

基于卷積神經網絡編碼的Siamese-CNN模型計算語義相似度可包含兩個關鍵點：其一，運用CNN實現提取特征，并通過特征向量來構造損失函數，進行網絡訓練；其二，利用孿生神經網絡提取關鍵詞，同時將不同輸入映射成特征向量，通過兩個向量之間的距離來測算不同輸入之間的差異.通過計算，該語義相似度計算方法的準確率為79.92%，精度不是很高主要是由于卷積神經網絡更加擅于提取句子的局部特征，獲取全局語義編碼的能力有限.

在孿生網絡基礎上，引入BIGRU模塊，設計了Siamese-BIGRU模型，該模型的核心方法是將待比較的兩個句子通過同一個編碼器使其映射到相同的向量空間中，該方法實現了參數共享，進而展現了不錯的相似度計算性能，因此其準確率得到了進一步的提升，達到了82.42%，說明了雙向門控循環單元具有很強的語義的編碼能力，在語義相似度計算方面有著很好的應用，如能更加關注兩個句子編碼向量之間的交互關系，準確率可能會得到進一步提升.

在Siamese-BIGRU模型基礎上，引入了注意力機制，設計了Siamese-BIGRU-Attention模型.attention核心本質是一種加權值，對目標文本完成加權求和后，可得到基于全部文本的中間語義變換函數，因此，引入attention后，該模型通過兩個句子編碼向量之間交互信息的深度捕捉，更好地實現句子語義相似度的建模.通過計算，該語義相似度計算方法的準確率達到了84.98%，使得模型語義相似度計算性能得到了進一步的提升，雖然提升幅度并不是很大，但依然證明了注意力機制對于模型性能提升的有效性.

實驗結果如表1所示.

表1 模型相似度計算結果

3 結論

本文提出基于Siamese-BIGRU-Attention模型的語義相似度計算方法，并探究了BIGRU和attention機制對于模型的影響效果.通過實驗，表明該方法在準確率及F1值方面優于其他幾個模型，能夠展現出更好的語義相似度評估性能，這為話輪延續變換的識別及話題線索的準確切分都提供了極大的幫助.本文實驗采用的數據為日常會話片段，它是基于工作、學習、娛樂、飲食、交通、情感及天氣七大主題的話語消息，文本類型基本都是短文本對話語料，并且數據分布相對比較均衡.與短文本不同，長文本往往存在噪聲較多且計算時間長的問題，在后續的工作中，將繼續開展長文本相似度計算方法的探索，同時將不同文本類型的語義相似度計算方法融入聚類算法中，繼續進行話輪延續轉換的深入研究.