融合語言知識與深度學習的文本蘊含識別

鄭德權，于 鳳，王賀偉

1.哈爾濱商業大學 計算機與信息工程學院，哈爾濱150028

2.哈爾濱工業大學 計算機科學與技術學院，哈爾濱150001

1 引言

本文主要是對文本蘊含識別這一自然語言理解任務進行研究，文本蘊含這項任務最早由Dagan 等人提出[1]，是研究判斷前提和假說關系的問題，關系分為蘊含（Entailment）、對立（Contradiction）、中立（Neutral）。假設前提句記為P，假設句記為H，蘊含指的是由P可以推理H 正確；對立指的是由P 可以推理H 不正確；中立是指由P無法判斷H的真假。

如表1 樣例所示，對于前提句這一描述，因為能推斷“People are riding bikes”，因此標簽為蘊含關系；對于“Men are riding bicycles on the street”，前提句中并沒有指明在何處騎行，但是人們在騎行基本是能推斷，這種情況就是中立關系；而“A few people are catching fish”這一描述，主要對象是人和前提句一致，但動作是互斥的，因此這樣的判斷為對立關系。

文本蘊含技術在問答系統、信息抽取、機器翻譯評價、學生評價系統、自動文本摘要中運用廣泛，這些應用都面臨著自然語言在表達形式上的多樣性，即相同含義可以用不同的陳述形式來表達，同時需要一些廣泛的知識才能推斷文本之間的關系。在關系抽取領域，Romano等人將文本蘊含技術引用在模板抽取[2]；在學生評分任務中，標準答案和學生回答的蘊含關系可以表明學生回答的完成情況，Nielsen 等人據此利用文本蘊含識別建立了一套學生作業評分系統，通過文本蘊含技術進行短文本的評分任務[3]。郭茂盛等人指出文本蘊含其實有三個研究問題：文本蘊含識別、文本對中蘊含關系抽取、文本蘊含生成，文本蘊含本身就是要實現一個基于文本的推理引擎用于語義相關的實際任務[4]。另外隨著人工智能技術的不斷加深，自然語言處理技術正不斷地引用到真實生活中，出現了類似醫療助手和知識問答機器人的產品。

基于知識圖譜的自然語言處理技術是目前的前沿話題，知識圖譜不僅能有助于實現互聯網語義搜索，提升搜索質量，在智能問答領域也有重要應用，其次知識圖譜能有效地進行知識融合，將海量的知識轉化為結構化的知識圖譜，并提供知識查詢服務。知識圖譜和深度學習的結合就是如何用向量表示實體和關系，這方面，Bordes 等人提出的TransE模型將實體和關系進行向量化，并且轉化成能計算的格式，然后通過輸入到深度學習里進行下游任務的學習[5]；Glockner 等人通過替換句子中詞匯的方式檢驗文本蘊含模型對詞匯推理的能力，并發現現有的模型并不能識別詞匯關系[6]，這就需要將知識引入到神經網絡中，以提升文本蘊含中詞對之間的推理能力。

表1 SNLI數據樣例

2 相關研究

2.1 文本蘊含

早期對于文本蘊含的研究主要是基于統計的方法，如MacCartney 等人提出的基于短語對齊的文本蘊含模型[7]，近幾年得益于斯坦福大學Bowman 等人發布了570 000 的人工手寫英文句子對的數據集SNLI[8]，越來越多的基于深度學習的方法應用到文本蘊含的識別中。

Rockt?schel 等人首次將注意力機制引入文本蘊含識別，動機在于想找到假設句H中的第k個詞與前提句P中最相關的詞構成對齊，這樣能加強糅合兩個句子向量[9]。Chen 等人在Parikh 等人的基礎上進一步加強了序列編碼表示模型，提出了混合神經推理模型ESIM，使用BiLSTM網絡對句子進行編碼，同時發現把句法分析結果加入到蘊含識別中能進一步提高準確率[10-11]。隨后Chen 等人又提出了知識增強的文本蘊含模型，將同義詞、反義詞、上位詞、下位詞等詞匯資源以離散的方式引入到之前提出的ESIM 模型中，在小數據集情況下結果有較大的提升，證明了在數據集有限的場景下，引入詞匯資源的可用性。Glockner 等人對現有的最高水平的文本蘊含進行測試，采用抽取前提句，替換其中詞匯來構造假設句的方式，驗證文本蘊含模型的詞匯推理能力，實驗表明當前最優的文本蘊含模型也下降了很多，證明了目前的文本蘊含模型缺乏詞匯的推理能力[6]。

2.2 知識圖譜向量化

知識圖譜目前的主要表現形式是三元組的形式，包含頭實體（也稱作前件）、尾實體（也稱作后件），例如（哈爾濱工業大學，地點，哈爾濱）。

如果使用詞袋模型去表示實體和關系，由于實體的數量巨大，會出現數據的稀疏性，人們受到分布式詞向量的啟發，希望學習到實體和關系的低維向量表示。為了解決這個問題陸續出現了TransE、TransH、TransR、TransD 等有效的解決方案。Bordes 等人提出的TransE模型開創性地將實體和關系投影到同一個向量空間并能通過計算的方式轉化，基本思想是前件的向量表示和關系向量的表示之和與后件的向量表示越接近越好[12]。Wang等人提出了TransH用于解決多對一以及一對多的多關系數據，并認為在不同的關系下實體應該有不同的表示[13]。Lin 等人提出了TransR 模型，此前的TransE 和TransH模型都假設實體和關系在同一個空間，但是不同的實體有不同的屬性，不同的關系也側重于實體中不同的屬性，TransR的思想是先將實體從實體空間投影到關系空間，再對兩個投影過后的實體進行平移操作。

3 詞對知識向量獲取

3.1 融合多特征及有監督的詞對關系向量獲取

主要研究的是在基于注意力機制和詞到詞推理的文本蘊含識別框架下，如何得到詞對之間的關系，從而幫助識別整個句子的類別。這里的輸入是句子之間的詞對，輸出是關系類別的概率分布，本質上也就是獲得相關詞對的向量表示，把之前從WordNet抽取得到的關系詞對作為監督信息，構造分類器分類。

Glockner 等人通過詞匯替換構建了需要詞匯推理的數據集，之前的經典方法例如DAM以及Chen等人提出的ESIM在準確率上都出現了很大的下降，證明根據之前的SNLI數據集訓練得到的文本蘊含模型不具有魯棒性，詞向量本身學習詞匯關系的能力也受到質疑，所以目前的想法是希望通過例如Wordnet、FreeBase 等知識庫學習到詞對之間的推理關系。這里加入了三大類特征：一種是詞中字符特征；第二種是加入了詞之間的數學操作，為了加強詞之間的比較過程；第三種是同義詞簇特征，增加引入到神經網絡的信息。如圖1 所示，分為如下5個層次。

圖1 基于有監督詞對匹配模型

（1）融合字特征的詞編碼層

在加入Pennington等人預先訓練好的Glove詞向量的基礎上[14]，本文又加入了詞字符特征。因為英文的詞根特點，unknonw-know和unable-able構成反義詞，在字符特征上有明確的特征，模型上本文借鑒了文獻[15]在基于字符級卷積神經網的文本分類中提出方法，即采用Char-CNN對詞的字符序列做表示學習，使用CNN對字序列抽取特征，本文使用多種維度卷積核進行單個字、相鄰兩個字的特征抽取，并使用多個過濾器filter，maxpooling做特征篩選，從而得到字符向量，再通過全連接層進行維度轉換。其中，設置50維的字符向量表示，與詞向量拼接得到最終的詞表示。

（2）詞簇編碼層

實驗發現，單獨的詞對信息量較少，不足以建模知識庫中復雜的關系，另外無法利用詞之間的關系，所以本文想到詞簇的概念，引入詞的同義詞集的信息。通過WordNet 的同義關系，分別得到詞a 和詞b 的5 個同義詞，同樣借助卷積神經網和最大池化作為特征抽取器，抽取得到詞簇向量，與之前得到的詞向量拼接。

（3）投影層

該層作為詞向量的映射，因為選擇不修改詞向量進行訓練，因此加入了投影層，希望學習到詞關于詞對關系的向量表示，相比加入多層神經網絡，本文選擇加入highway 網絡，原因是實驗結果顯示加入此結構效果相比全連接層較好。公式（1）中的WH表示隱層投影矩陣，之后又把輸入詞直接加入到輸出中，類似LSTM網絡結構中的輸入門，能一定程度引入輸入的信息，降低深度網絡的梯度爆炸情況。

（4）比較層

受到Word2vec 中詞類比的靈感，即：king-man+women=Queen，直覺上認為詞匯關系也存在類似現象，同時也是對詞之間差異的建模，所以將“詞1-詞2”、“詞1*詞2”這兩個特征加入到輸入中，更多地表示出兩個詞之間的相似程度。

（5）分類層

這里分類層使用多層神經網絡加上Softmax進行分類。因為訓練數據是多關系分類，即兩個詞對應多個類別，是多標簽分類，有的詞對既構成同義詞關系，又構成同位詞關系。公式（2）中的損失函數選擇Hamming，表示樣本數，nlabels表示標簽數。

3.2 TransR詞對關系表示獲取

首先提出有效地構建知識圖譜向量表示的是TransE 模型，對于知識圖譜中的三元組(head,link,tail)，其中head表示頭實體，link表示實體對之間的關系，tail表示尾實體，TransE 的動機是希望把實體和關系建立在一個向量空間內，同時受到Word2vec中的平移不變性的激發，這里目標是讓頭實體和關系向量的和盡量與尾實體相接近，同時通過負采樣構造負例讓負例的距離足夠得大。損失函數如公式（3）所示，通過這個損失函數，可以學習到實體和關系向量。但是通過實踐發現，TransE 對于一對一的關系能很好地建模，但是對于WordNet 中常見的一對多或多對一的關系并不能進行很好地建模。

但是根據此前Chen 等使用TransE 的經驗，發現在文本蘊含模型中作用并不大。Chen 等人分析是因為TransE 并不能建模“同位詞”，或者是SNLI 測試集中不需要詞匯推理，但是深入分析發現，TransE 并不那么適合建模WordNet中多對一和一對多的關系，特別針對想建模的同位詞就是一對多的關系。例如水果和下位詞蘋果、香蕉的關系都是下位詞，那么香蕉和蘋果的實體向量就會非常近，因此選擇了TransR 作為替代，TransR在TransE 的基礎認為實體在不同關系的預測應該有不同的表示，這里為每個關系引入一個矩陣Ml，把實體向量映射到關系空間，如公式（4）所示：

3.3 反義詞向量表示獲取

為了完善整個句子的推理能力，迫切地需要引入具有反義知識的詞表示，根據調研發現有很多關于反義詞檢測的研究，這里主要是參考Ono等人提出的反義詞建模方法[16]。該方法的思想很簡單，詞A和詞B構成反義關系，所以詞A 就和詞B 的同義集中所有詞構成反義；同理詞A和詞B構成同義關系，則詞A和詞B的所有同義詞集構成同義關系。主要方法是通過降低訓練集合中的反義詞對之間相似度，以及增大同義集合相似度而得到。

首先，定義一個損失函數，如公式（5）所示。其中，V表示全體詞的集合；Sw表示詞w的同義詞集合；Aw表示詞w的反義詞集合；sim(w,a)表示詞w和詞a的相似度。最終的目標是最大化這個目標函數，公式第一項是詞w和它對應相似詞的ln 概率之和，公式第二項是詞w和詞w對應反義詞集的ln 負概率之和，目標是建模同義詞的同時，也建模反義詞，w是詞w對應的詞表示，在模型訓練的同時參與參數的更新。

在向量詞之間相似度的函數設計上，本文引入了一個非對稱的相似度評價函數，使用點乘信息，即兩個詞的向量的點乘標量結果。另外對于兩個詞輸入的順序的不同，加入了一個偏置變量bw1，具體如公式（6）所示：

因為在比較操作中也有兩個向量之差，然后取最大值作為差異性的變量，所以本文對相似性表達式進行了更新，如公式（7）所示。這樣有助于在之后的詞對比較中更好的表示出反義詞。

4 文本蘊含識別模型

本文將第3章中提出的3種詞對知識向量獲取方法引入到文本蘊含識別模型中的詞對齊和注意力機制部分，構建新的文本蘊含識別模型。

4.1 融合多特征及有監督的詞對關系向量

在計算Attention時，假設句對中的兩個對應的詞a和詞b滿足指定關系中的一種，則引入神經網絡的Attention值計算中加入一個權重λ。λ是一個超參數，在實驗中設置的范圍在0.001，0.01，0.1，1，10，20，50之間，表示引入知識向量的強度。如公式（8）所示：

其中，rab表示詞a和詞b的外部知識向量，引入方式是將兩個詞輸入到詞對關系預測模型中。

因為使用的是多標簽分類，每個位置代表的是對應類別的概率，而每個類別對推理的權重需要學習，因此在公式中設置一個變量W ，這個變量的維度和關系向量維度相同，每個位置代表的是推理中這個維度的權重大小。

4.2 TransR詞對關系表示

對于TransR的實體向量，按照之前的說明，頭實體、尾實體之差為實體向量，因為在Attention 層，其實是希望輸入兩個詞，得到這兩個詞的相關度或匹配權值，如公式（9）所示：

按照TransR的算法，首先將實體向量在每個關系空間內投影，例如：此前va維度是[1，100]，在18個關系后投影是[18，100]的矩陣，表示向量在18 個關系下的投影，其中矩陣M 的維度是[18，100，100]，是每個關系對應的實體投影矩陣。在va-vb后，得到的是在對應關系投影矩陣下的關系向量，之后再將這個關系向量和每個關系向量作乘積，就得到了對應關系的標量，也就是預測的關系向量[18，100]，和真實關系向量[18，100]中的每個作乘法，最后得到了[18，100]的向量，每一個位置可以表示這個詞對是這個關系的概率，最后與類別權值向量W 做乘法，得到了一個注意力標量。

4.3 反義詞向量表示

對于反義詞向量，根據反義詞的向量乘積分布，對于同義詞兩個向量點乘接近1，對于反義詞兩個向量點乘接近-1，而無關系的詞接近于0，因此加入兩個向量乘積的絕對值，作為增加的偏置，如公式（10）所示：

Chen等人直接添加上有相關的實體向量的權值αai的求和，目的是想更多地引入對齊向量的權重信息，相當于引入了一個軟對齊加權的特征向量求和。實際上是找到詞對后，得到詞對的關系向量，Chen等人提出的KIM方法的計算方式如公式（11）所示：

其中，ca表示假設句中詞αai相對于整個前提句的表示，vai表示之前獲得的詞對向量，前提往往是已知兩個詞對存在關系然后判斷兩者的關系。

5 實驗與分析

5.1 知識向量獲取

5.1.1 詞對關系向量

本文主要使用的詞匯資源是WordNet，WordNet 是一個英文單詞數據庫，每個同義詞集合對應一個基本的語義概念，并通過同義詞集之間的語義關系鏈接在一起，于1985 年由普林斯頓大學創建，本文使用的是2012 年WordNet 3.1 版本，包含九類詞匯結構：上下位關系（動詞、名詞）、蘊含關系（動詞）、相似關系（名詞）、成員部分關系（名詞）、物質部分關系（名詞）、部件部分關系（名詞）、致使關系（動詞）、相關動詞關系（動詞）、屬性關系（形容詞）。該資源包含155 327個詞，175 979個同義詞集，構建得到207 016 個詞集對。為了便于構建詞對關系識別模型訓練集，從WordNet中抽取的詞匯關系數量如表2所示。其中，同位詞是為了文本蘊含任務設計的一種詞匯關系，將具有相同上位詞構成的詞對稱為同位詞（co_hyponyms），以表示一種互斥的關系，這在“對立”推理中有重要應用。

表2 基于有監督詞對匹配訓練集

實驗結果表明，加入多文本特征詞對擴展的詞對檢測模型，相比只使用預訓練詞向量的基本模型準確率有明顯提升，在5分類中達到了76.8%，結果如表3所示。

表3 基于有監督詞對匹配結果

5.1.2 TransR知識向量

在使用TransR向量化WordNet知識庫中，本文利用Bordes 等人提出的WN18 數據集，詳細信息如表4 所示。該數據集包含18種關系，例如：上位詞、下位詞、蘊含詞、反義詞、包含詞等，共有40 943 個實體，每個詞原由至少一個詞構成，共包含117 374 個詞匯。WN18 主要的數據格式以三元組的方式，即：頭實體、尾實體、關系，構成一個樣本，該數據集廣泛應用在知識向量化模型中，具有較廣泛的應用價值。

表4 基于TransR實體學習訓練數據

TransR評價指標有兩種：其一是MeanRank，該方法保持頭實體不變，尾實體依次替換成實體表中的所有實體，構成的樣本進行預測，按照損失降序排序，所有正確尾實體在其中的排序均值作為指標；另一個是Hits@N,表示正確的實體排序在前N的概率。本文采用公式（12）的計算方法，通過遍歷所有關系，找到一個損失最小的作為最終的詞對關系向量。

相關實驗表明，在需要預測的18 個關系中，TransE構建的關系MeanRank 為3.92，而TransR 平均排名達到了1.24，遠高于TransE的結果。后面又統計關系排名在前2 的文本，達到了80%，這證明了TransR 得到的詞對關系的可用性，結果如表5所示。

表5 基于TransR實體學習訓練數據

5.1.3 反義詞向量

在反義詞向量表示的任務中，使用Mohammad等人提出的GRE 數據集[17]，其中開發集為162 條，測試集為950 條。評價任務是每個目標詞有5 個候選詞，系統在候選詞中返回相對目標詞反義最強烈的詞，按照之前的非對稱相似度計算公式，來計算兩個詞的相似度，然后從中選擇得分最小的詞作為輸出的反義詞，為了進行對比實驗，首先使用Glove 詞向量作為基準模型，其中同義詞對數為881 870，反義詞對數為307 464。

在反義詞向量建模任務中，本文針對GRE 三個任務集分別進行測試，結果表明，使用預訓練Glove 詞向量的效果明顯低于使用反義詞建模的結果，也證明了進行反義詞建模的可用性。另外，針對預訓練詞向量對同義詞數據集和翻譯詞數據集分開做了實驗，并對詞對的相似度進行了統計，結果如圖2所示。

圖2 反義詞向量和Glove向量對比分布

圖2 中，上半部分分別是預訓練詞向量的結果，橫軸是相似度，縱軸是計數，可以看到同義詞對的相似度成正態分布，因此并不能捕捉同義信息，同樣反義詞也類似。下半部分為訓練好的反義詞向量，清楚地表明，通過點乘的方式計算的相似度能明顯區分同義詞和反義詞。

表6是反義詞向量模型在GRE數據集中的結果，這里的Glove 代表的是直接使用預訓練詞向量與反義詞向量模型對比，實驗表明通過反義詞向量訓練得到的詞向量能較好地區分反義詞，可以作為知識資源引入到模型中。

表6 反義詞向量實驗結果 %

表7是本文給出的反義詞向量結果樣例，這里挑選了實驗過程中的常見詞對，可以看到使用Glove 詞向量，通過計算向量夾角不能區分男人和女人、好和壞的反義關系，而反義詞向量則能進行區分。

表7 反義詞向量結果樣例

5.2 融合知識向量的文本蘊含識別

首先，在英文數據集SNLI上，將Parikh等人提出的基于分解注意力的文本蘊含模型（本文簡稱為DAM）作為基線結果，分別比較了加入有監督詞對向量、TransR知識向量以及反義詞向量的文本蘊含模型，實驗結果如表8所示。

表8 反義詞向量實驗結果

表8 中的DAM 是分解注意力模型，其他知識向量都是在此基礎上加入。可以看出，加入反義詞向量的文本蘊含模型提升較大，但是整體上在SNLI 的數據集上提升不明顯。嘗試了在ESI模型中加入知識向量，效果也不明顯，分析可能是模型的復雜度較高，引入知識向量的難度較大造成的。

從570 000的人工手寫英文句子對訓練集中抽取了1%的數據進行訓練，發現引入反義詞向量雖然在之前的全量SNLI 訓練集上沒有效果，但是在“低資源”的條件下能提升模型的收斂速度和準確率，如圖3所示。加入了反義向量的ESIM 模型準確率由60%提升到66%，證明反義詞向量在數據量較小的條件下能一定程度地提升模型的效果。

圖3 SNLI1%數據集測試

其次，針對Glockner 等人提出的BreakNLI 數據集進行了測試，這個數據集就是針對詞匯推理的數據集，該測試集有一個特點，因為構建數據集時是取前提句，將其中的部分詞替換成同義詞、反義詞來依次構建蘊含、對立關系，因此相比SNLI的訓練集前提句和假設句較為接近，很容易判斷為蘊含關系，因此這就對反義詞這種關系的識別能力提出了更高的要求。實驗結果如表9所示，在基于分解注意力模型上依次添加三種知識向量表示。

表9 反義詞向量實驗結果

可以看出，加入有監督學習的詞對向量表示提升不大，可能的原因是使用分類向量作為關系向量，能表示的信息較少。引入反義詞向量，模型的效果提升最大，可能的原因是通過對反義詞建模，能通過向量之間的點積有效表示詞對之間的關系，對反義推理的提升明顯。進一步分析改進后的結果，有部分樣例得到更正：在樣例“korean”和“indonesian”的對立關系中，它們有共同的同位詞“國家”會被識別成同位詞；“south”和“north”是一種常識對立關系；“little”和“tiny”需要同義詞信息；還有反義詞向量能明顯建模的“near”和“far”。

6 結論

在詞對知識向量提取方面，相比關注度很多的詞向量，本文更多關注詞對的向量表示。在充分調研的基礎上，本文首先提出了基于有監督和文本特征的詞對關系分類模型，將詞對關系分類的結果，也就是在各個類別的分布作為詞對向量表示；其次，借助成熟的知識庫向量化工具TransR對WordNet中的知識向量化，得到的實體向量作為具有知識的詞表示，實體之間的差值作為詞對表示；最后又專門針對文本蘊含中的反義詞和同義詞，構建反義詞向量，得到新的詞向量，將兩個詞向量的乘積作為表示反義和同義程度的表示。在構建這三種詞對向量表示中，均有相應的數據集證明其表示的可用性，同時證明了相比預訓練詞向量在詞對關系上的優越性。