基于實(shí)體消岐和多粒度注意力的知識庫問答

何儒漢，唐 嬌，史愛武+，陳 佳，李相朋，胡新榮

(1.武漢紡織大學(xué) 數(shù)學(xué)與計(jì)算機(jī)學(xué)院，湖北 武漢 430000； 2.武漢紡織大學(xué) 湖北省服裝信息化工程技術(shù)研究中心，湖北 武漢 430000)

0 引 言

隨著互聯(lián)網(wǎng)信息的快速增長，出現(xiàn)了許多大型知識庫，如YAGO和Freebase，知識庫問答已成為自然語言處理(natural language processing)領(lǐng)域的研究熱點(diǎn)，基于知識庫的問答(knowledge base question answer，KBQA)是指給定一個自然語言問題，通過對問題進(jìn)行語義理解和分析，然后利用知識庫中三元組進(jìn)行查詢和推理并得到答案，其中涉及的命名實(shí)體識別和關(guān)系抽取等技術(shù)對信息檢索、文本分類和機(jī)器翻譯等自然語言處理領(lǐng)域有重要的應(yīng)用價值。

現(xiàn)有的知識庫問答方法如語義解析和信息抽取雖取得較好的效果，但較依賴先驗(yàn)知識和人工定義的規(guī)則模板，而深度學(xué)習(xí)技術(shù)使用端到端的思想將候選關(guān)系編碼映射到同一向量空間中再進(jìn)行比較，繞開了最困難的問句理解步驟，但結(jié)構(gòu)化的知識庫與自然語言問題之間存在差異，加上編碼過程中向量聚合容易丟失原始信息，知識庫問答仍存在較大的挑戰(zhàn)。

為了解決知識庫問答中一詞多義和信息丟失問題，本文提出了一種基于實(shí)體消岐和多粒度注意力機(jī)制的知識庫問答方法，融合雙向長短時記憶網(wǎng)絡(luò)-條件隨機(jī)場(BiLSTM-CRF)和實(shí)體消歧進(jìn)行實(shí)體鏈接，結(jié)合雙向門控循環(huán)單元(BiGRU)網(wǎng)絡(luò)使用兩個注意力機(jī)制(attention mecha-nism)從不同的粒度對問題模式和候選關(guān)系進(jìn)行建模，捕獲問題和候選關(guān)系之間的深層匹配特征，該模型在SimpleQuestions[1]數(shù)據(jù)集上召回率和準(zhǔn)確率均得到了明顯的提升。

1 相關(guān)工作

隨著深度學(xué)習(xí)在自然語言處理領(lǐng)域的迅速發(fā)展，自2015年以來，深度學(xué)習(xí)方法在知識庫問答中得到了廣泛的應(yīng)用，并取得了良好的效果。現(xiàn)有的KBQA深度學(xué)習(xí)方法大多遵循編碼-比較(encoding-comparing)框架[2,3]，首先對問題中的實(shí)體進(jìn)行識別，在知識庫中查詢與該實(shí)體相關(guān)的關(guān)系構(gòu)成關(guān)系候選，通過深度神經(jīng)網(wǎng)絡(luò)將候選問題和關(guān)系名稱映射到一個公共的嵌入空間中，計(jì)算問題和候選關(guān)系的語義相似性來得到答案。整體上，知識庫問答主要分為兩個步驟：①實(shí)體鏈接，對于一個給定問題，識別問題中的實(shí)體，并在知識庫中查找該實(shí)體，組成候選實(shí)體；②關(guān)系檢測，根據(jù)實(shí)體候選得出候選關(guān)系，計(jì)算問題和候選關(guān)系的語義相似性，尋找最能正確描述問題和答案之間聯(lián)系的候選關(guān)系。

在以前的工作中，實(shí)體鏈接通常使用n-gram方法來搜索具有常見問題子串的實(shí)體，但這樣產(chǎn)生的候選實(shí)體數(shù)量較多，包含大量的噪聲數(shù)據(jù)。為了減小搜索范圍，文獻(xiàn)[4]使用雙向的長短期記憶(LSTM)和隨機(jī)條件場(CRF)來標(biāo)注問題中的實(shí)體，文獻(xiàn)[5]使用BERT訓(xùn)練語言模型來表示語句特征從而更好地識別實(shí)體，文獻(xiàn)[6]使用雙向的準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)在序列維度和特征維度上并行獲取序列來進(jìn)行實(shí)體識別，雖然這些方法有效提高了實(shí)體識別的準(zhǔn)確率，但是無法較好解決實(shí)體一詞多義和匹配不精準(zhǔn)的問題。

從實(shí)體開始到確定應(yīng)答路徑的過程稱為關(guān)系檢測，由于知識庫中存在大量的關(guān)系，關(guān)系檢測通常被認(rèn)為是一個選擇問題，主要通過計(jì)算問題與候選關(guān)系之間的語義相似度并排序來實(shí)現(xiàn)。在提取問題和候選關(guān)系特征時，文獻(xiàn)[7]使用詞級注意力來自動學(xué)習(xí)不同關(guān)系之間的聯(lián)系，文獻(xiàn)[8]使用記憶網(wǎng)絡(luò)對輸入的信息進(jìn)行建模，文獻(xiàn)[9]使用卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制從詞層和語義層來匹配問題和關(guān)系，這些方法較好學(xué)習(xí)了問題和關(guān)系之間的深層匹配信息，但在計(jì)算相似性前需要將問題和關(guān)系壓縮成固定維向量，容易導(dǎo)致一些重要信息丟失。

基于此，本文提出了一種基于實(shí)體消岐多粒度注意力機(jī)制的知識庫問答方法，該模型在實(shí)體鏈接階段，使用BiLSTM-CRF序列標(biāo)注網(wǎng)絡(luò)進(jìn)行命名實(shí)體識別，針對得到的大量同名實(shí)體的噪聲數(shù)據(jù)，根據(jù)詞性抽取問題中關(guān)系詞與候選關(guān)系進(jìn)行相似性計(jì)算并排序，達(dá)到了實(shí)體消歧的效果，減少了對后續(xù)工作的累計(jì)錯誤傳播。在關(guān)系檢測階段，為了改善信息丟失問題，提出了一種基于多粒度注意力機(jī)制的方法，分別從單詞級和關(guān)系級對候選關(guān)系進(jìn)行表示豐富關(guān)系語義信息，結(jié)合BiGRU網(wǎng)絡(luò)使用兩種注意力機(jī)制從不同的粒度對問題模式和候選關(guān)系進(jìn)行建模，注意力機(jī)制有效聚合輸入，改善了信息丟失問題，提高了關(guān)系檢測的準(zhǔn)確率。

2 模型實(shí)現(xiàn)

2.1 任務(wù)定義

本文的研究基于Freebase知識庫，F(xiàn)reebase是Facebook于2015年公開的一個針對單一事實(shí)的結(jié)構(gòu)化知識庫，該知識庫中存儲著大量描述事實(shí)的三元組，由事實(shí)主體subject、關(guān)系relation和客體object組成，其中KB={G1,G2,…Gf}，G=(S,R,O)。 SimpleQuestions中的每一個問題對應(yīng)著Freebase知識庫中的一個三元組事實(shí)，問題集合可以表示為Q={q1,q2,…qf}。 知識庫問答可以通過查詢知識庫的G來回答單關(guān)系問題，需要將問題Q和實(shí)體S、 關(guān)系R進(jìn)行查詢匹配，若匹配的實(shí)體S和關(guān)系R正確，則該三元組中最后一個元素O便是正確答案，如圖1所示，本文知識庫問答整體上分為命名實(shí)體識別、實(shí)體消岐和多粒度注意力匹配3個步驟：

(1)命名實(shí)體識別，主要識別問題中提到的實(shí)體，對于一個自然語言問題Q， 找到問題中的實(shí)體提及M, 其中M∈Q， 然后查詢實(shí)體提及M在知識庫中的映射，組成候選實(shí)體E。

(2)實(shí)體消岐，主要依據(jù)問題關(guān)系詞和候選關(guān)系的相似性對候選實(shí)體進(jìn)行排序，縮小候選實(shí)體范圍，緩解了候選實(shí)體一詞多義的問題。

(3)多粒度注意力匹配，主要為了找到最能描述問題答案的關(guān)系，從多個粒度對問題和候選關(guān)系的相關(guān)性進(jìn)行注意力匹配，最后計(jì)算問題模式P和候選關(guān)系R的語義相似性，選取相似性最高的候選關(guān)系對應(yīng)的object作為問題的答案。

圖1 知識庫問答流程

2.2 命名實(shí)體識別

命名實(shí)體識別作為知識庫問答的第一步極為重要，實(shí)體識別的準(zhǔn)確性將直接影響關(guān)系檢測，它的主要任務(wù)是正確標(biāo)注出給定問題Q中的實(shí)體提及M， 可以看作是一個0-1序列標(biāo)注模型，本文標(biāo)注實(shí)體時采用BIO模式，將問題中每個元素標(biāo)注為“B-X”、“I-X”或“O”，其中“B-X”表示此元素屬于X類型且在實(shí)體的開頭，“I-X”表示此元素屬于X類型且在實(shí)體的中間，“O”表示不屬于任何類型，如對于問題“Who is Yao Ming’s wife”經(jīng)過實(shí)體識別后標(biāo)注結(jié)果如圖2所示。

圖2 實(shí)體標(biāo)注結(jié)果

(1)

式中：A為輸出的分?jǐn)?shù)矩陣，表示在時間順序上從yi-1標(biāo)簽到y(tǒng)i標(biāo)簽的概率， p[yi-1,yi] 為輸出標(biāo)簽的轉(zhuǎn)移得分值，經(jīng)過命名實(shí)體識別后得到了實(shí)體提及，在知識庫中查詢與實(shí)體提及相同的實(shí)體組成候選實(shí)體E, E={e1,e2,…et}。

圖3 命名實(shí)體識別模型

2.3 實(shí)體消岐

一般同一個實(shí)體具有不同的類型，如“apple”既可是水果也可以是蘋果公司，為了進(jìn)一步縮小候選實(shí)體的范圍，考慮到問題中一般已包含描述實(shí)體和答案的關(guān)系詞，如問題“Who is Yao Ming’s wife？”，對應(yīng)知識庫中正確的三元組為“people/person/spouse”，問題中“wife”關(guān)系詞與三元組中候選關(guān)系“spouse”對應(yīng)，由此可知，計(jì)算問題中關(guān)系詞和候選關(guān)系的相似性有助于減少同名實(shí)體的影響。

在確定問題中關(guān)系詞時，首先去掉問題中的實(shí)體，剩下的單詞根據(jù)一定的規(guī)則進(jìn)行詞性篩選，本文使用NLTK對問題進(jìn)行分詞及詞性標(biāo)注，NLTK是自然語言處理庫，具有豐富的英文分詞工具，并且在去除停用詞、詞干化處理方面表現(xiàn)優(yōu)異。問題中常見的詞性有動詞、名詞、疑問代詞、形容詞和副詞等，跳過對計(jì)算相似性沒有價值的疑問代詞、形容詞和副詞，然后選取問題中名詞(film、wife、school等)和動詞(write、born、say等)組成問題關(guān)系詞QR，QR={Qr1,Qr2,…Qri}。

在計(jì)算問題關(guān)系詞和候選關(guān)系相似性[10]時，由于字符串相似度匹配僅考慮了字面相似度，故采用字符串相似度和語義相似度結(jié)合的計(jì)算方式，同時獲取關(guān)系詞和關(guān)系字面和語義上的匹配。其中字符串相似性sim1使用歐式距離相似度作為判斷依據(jù)，如式(2)，式中x代表關(guān)系詞字符串，y代表候選關(guān)系字符串。語義相似性sim2通過計(jì)算余弦相似性實(shí)現(xiàn)，如式(3)，式中x代表關(guān)系詞向量，y代表候選關(guān)系向量

(2)

(3)

根據(jù)相似性sim(x,y) 的高低對候選關(guān)系進(jìn)行排序，相似性由字符串相似性和語義相似性共同組成，計(jì)算如式(4)，取排名靠前的候選關(guān)系進(jìn)行實(shí)驗(yàn)，實(shí)體消岐有效篩選出與正確實(shí)體類型不同的噪聲數(shù)據(jù)，不僅縮小了候選實(shí)體的范圍，而且提高了候選關(guān)系的準(zhǔn)確性

sim(x,y)=0.5sim1+0.5sim2

(4)

2.4 多粒度注意力匹配

多粒度注意力匹配的目的是找到最能描述問題和答案的關(guān)系，通常被定義為一個序列匹配問題，盡管Freebase中問題是自然詞序問題，但如何將一個關(guān)系表示為序列仍存在挑戰(zhàn)。為了豐富關(guān)系語義，獲取問題模式和候選關(guān)系深層匹配特征信息，本文構(gòu)建了P與R之間的兩個相關(guān)級別即單詞級和關(guān)系級的匹配，并采用2個層次的注意力機(jī)制進(jìn)行細(xì)粒度對齊，問題與不同粒度關(guān)系的層次匹配有助于計(jì)算它們之間的語義相似度。計(jì)算問題模式P和候選關(guān)系R之間的每個關(guān)系r的語義相似度s(P,r)， 并選擇得分最高的關(guān)系鏈作為最終結(jié)果，多粒度注意力匹配模型如圖4所示

(5)

圖4 多粒度注意力匹配模型

2.4.1 關(guān)系編碼層

r=Bi-GRU([r1,r2,r3,…rR])

(6)

2.4.2 問題模式編碼層

為了減少實(shí)體對特征匹配的干擾，將問題中的實(shí)體用代替轉(zhuǎn)換為問題模式P， 為了更好匹配關(guān)系編碼層不同級別的關(guān)系表示，先將每個單詞用Glove預(yù)訓(xùn)練成詞向量表示，再使用一個雙向Bi-GRU網(wǎng)絡(luò)對詞向量進(jìn)行編碼以獲得問題的上下文表示。問題和關(guān)系中的單詞具有相同的詞嵌入，問題編碼定義如下

P=Bi-GRU([w1,w2,w3,…wQ])

(7)

2.4.3 多粒度注意力層

注意力層計(jì)算包括問題模式P對于候選關(guān)系r和候選關(guān)系r對于問題模式P的2個粒度的深層注意力匹配信息，2個注意力機(jī)制的計(jì)算方式相同，注意力層旨在學(xué)習(xí)問題與關(guān)系之間的細(xì)粒度交互，能夠?qū)?nèi)部經(jīng)驗(yàn)和外部感覺對齊來增加內(nèi)部區(qū)域的觀察精細(xì)度從而可以快速提取稀疏數(shù)據(jù)，關(guān)系的每個部分對問題的關(guān)注程度不同從而決定問題如何表示，將注意的程度作為問題中每個單詞的權(quán)重。以問題模式P的編碼層輸出對于候選關(guān)系r的編碼層輸出視為注意力機(jī)制表示為例，對于候選關(guān)系中的每一個關(guān)系ri， 問題模式wi的注意力表示pi計(jì)算如下

(8)

wi,j=vT·pi·WT·rj

(9)

(10)

式中：wi,j代表問題模式中單詞wi和候選關(guān)系中單詞rj之間的相似度，v和w均是可學(xué)習(xí)的矩陣，ai,j是問題中單詞與關(guān)系之間的注意權(quán)重，代表問題中第i個單詞對關(guān)系中第j個單詞的注意力權(quán)重。

2.4.4 輸出層

經(jīng)過問題和關(guān)系匹配，可以得到4個不同方面的特征匹配分?jǐn)?shù) (s1,s2,s3,s4)， 這里的運(yùn)算是兩個向量的點(diǎn)積，它們的相似性由以下公式計(jì)算

si=pi?ri(i=1,2,3,4)

(11)

為了獲取注意力層和編碼層的高級交互特征信息，最后使用一個線性層來學(xué)習(xí)它們各自對整體匹配分?jǐn)?shù)s(p,r) 的貢獻(xiàn)

s(p,r)=Sigmoid(WT[s1,s2,s3,s4])

(12)

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集及參數(shù)設(shè)置

表1 SimpleQuestions數(shù)據(jù)集劃分

在訓(xùn)練過程中，使用Glove300維詞向量初始化單詞嵌入，通過均勻采樣(-0.25，0.25)中的值，對詞匯表外的關(guān)系詞和單詞即OOV(out of vocabulary)進(jìn)行隨機(jī)初始化，嵌入值在訓(xùn)練過程中更新。關(guān)系GRU有2層，GRU隱藏層為128維，關(guān)系向量維度為300，問題模式GRU層數(shù)為2，GRU隱藏層維度為128，為了訓(xùn)練模型，使用Adam優(yōu)化器來更新參數(shù)。

3.2 整體實(shí)驗(yàn)結(jié)果對比分析

為了驗(yàn)證模型的有效性，本文將實(shí)驗(yàn)結(jié)果與最近在SimpleQuestion數(shù)據(jù)集上取得較好實(shí)驗(yàn)效果的4個模型進(jìn)行了比較，SimpleQuestions數(shù)據(jù)集準(zhǔn)確率對比見表2，另外分別分析了實(shí)體檢測和關(guān)系檢測的實(shí)驗(yàn)結(jié)果。

表2 SimpleQuestions數(shù)據(jù)集準(zhǔn)確率

4個比較模型分別為：文獻(xiàn)[11]提出基于character level的注意力機(jī)制編碼模型，很大程度改善了OOV問題；文獻(xiàn)[1]提出的記憶網(wǎng)絡(luò)模型，通過引入長期記憶組件(long-term memory component)來解決神經(jīng)網(wǎng)絡(luò)長程記憶困難的問題；文獻(xiàn)[12]使用殘差網(wǎng)絡(luò)解決訓(xùn)練時深層的LSTM陷入局部最優(yōu)解問題，獲取問題和關(guān)系之間的層次匹配；文獻(xiàn)[13]將擅長處理空間相關(guān)數(shù)據(jù)的CNN與能較好按照順序處理時間信號的RNN結(jié)合，并使用注意力機(jī)制同時跟蹤實(shí)體和關(guān)系來捕獲綜合分層信息；之前的模型忽視了問題關(guān)系詞和候選關(guān)系之間的聯(lián)系，并且無法較好解決信息丟失問題，本文通過BiLSTM-CRF模型獲得了序列級別的標(biāo)簽信息，使得標(biāo)注的性能得到了進(jìn)一步的提升，通過實(shí)體消歧提高了實(shí)體鏈接的準(zhǔn)確率，再從單詞級和關(guān)系級分別對候選關(guān)系進(jìn)行建模，使用2種注意力機(jī)制捕獲問題和關(guān)系之間的深層匹配信息，表征更加豐富，提高了模型的準(zhǔn)確率。

3.3 實(shí)體鏈接效果對比分析

為了檢驗(yàn)本文實(shí)體消岐模型的實(shí)驗(yàn)效果，分別選取文獻(xiàn)[14]和文獻(xiàn)[13]的方法與本文方法進(jìn)行對比，這些方法候選實(shí)體排名前Top K的召回率見表3。

表3 候選實(shí)體排名TopK召回率

由表3可知，本文實(shí)體鏈接模型在召回率上取得了最佳效果，驗(yàn)證了本文實(shí)體消岐方法的有效性，文獻(xiàn)[14]使用關(guān)系檢測來增強(qiáng)聯(lián)合事實(shí)選擇，利用多級編碼和多維信息來增強(qiáng)整個過程，文獻(xiàn)[13]直接檢測問題中的實(shí)體提及省略實(shí)體匹配使得模型更加簡單化，這些模型均忽視了問題中關(guān)系詞與候選關(guān)系之間的聯(lián)系，不能有效解決候選實(shí)體中存在大量不同類型的同名實(shí)體的問題，故在召回率上表現(xiàn)略不足，本文模型在進(jìn)行BiLSTM-CRF網(wǎng)絡(luò)序列標(biāo)注后，通過觀察發(fā)現(xiàn)問題關(guān)系詞與候選關(guān)系的內(nèi)在聯(lián)系，計(jì)算它們之間的相似性來對候選實(shí)體進(jìn)行消岐，不僅避免召回過多的噪聲實(shí)體，而且提高了候選實(shí)體的準(zhǔn)確率。

3.4 關(guān)系檢測效果對比分析

將本文的關(guān)系檢測模型與幾個基線模型進(jìn)行對比來驗(yàn)證實(shí)驗(yàn)有效性，基線模型包括APMCNN[15]、HR-BiLSTM[12]、ABWIM[16]和AR-SMCNN[13]，這些模型都使用編碼-比較框架，首先將問題和關(guān)系映射為向量，然后通過向量比較得到語義相似性。實(shí)驗(yàn)使用基于SimpleQuestions構(gòu)建的用來評估關(guān)系檢測的數(shù)據(jù)集，同時對本文模型進(jìn)行消融實(shí)驗(yàn)，通過去除模型中實(shí)體消岐或者單詞級匹配等來進(jìn)一步驗(yàn)證該模塊對整體實(shí)驗(yàn)效果的影響，關(guān)系檢測實(shí)驗(yàn)對比效果及消融實(shí)驗(yàn)效果見表4。

表4 SimpleQuestions關(guān)系檢測準(zhǔn)確率

由表4可知，本文基于多粒度注意力機(jī)制模型取得了較好的成績，模型準(zhǔn)確率比AR-SMCNN[13]提高0.4%，相比于AR-SMCNN，本文模型在實(shí)體鏈接時，使用了實(shí)體消歧減少了噪聲關(guān)系，減少了實(shí)體錯誤對關(guān)系檢測的影響，故關(guān)系檢測模型準(zhǔn)確率高于AR-SMCNN模型，而消融實(shí)驗(yàn)去除實(shí)體消岐時，準(zhǔn)確率下降了0.4%，驗(yàn)證了實(shí)體消岐對關(guān)系檢測任務(wù)有著重要的作用。當(dāng)去除單詞級或者關(guān)系級注意力編碼時，準(zhǔn)確率分別下降0.9%和0.5%，可看出單詞級和關(guān)系級結(jié)合編碼可以互補(bǔ)，不僅考慮了單詞和短語信息，而且包含了全局上下文信息，而多粒度注意力機(jī)制能夠捕獲稀疏數(shù)據(jù)的內(nèi)部相關(guān)性，使得重要區(qū)域的觀察精細(xì)度更高，最終聚合得到的向量對于重要信息的表達(dá)質(zhì)量更高，注意力機(jī)制從兩個層次捕獲問題和候選關(guān)系之間的深層匹配信息，豐富了語義信息從而提高了關(guān)系檢測準(zhǔn)確率。而在去除注意力機(jī)制時，關(guān)系檢測準(zhǔn)確率下降的最多為1.9%，驗(yàn)證了多粒度注意力機(jī)制的有效性。

4 結(jié)束語

由于自然語言的語義多樣性和知識庫中存在大量的關(guān)系，知識庫問答一直存在諸多的難點(diǎn)。本文提出了一種基于實(shí)體消岐和多粒度注意力的知識庫問答方法，在實(shí)體鏈接階段，使用BiLSTM-CRF進(jìn)行序列標(biāo)注，為了排除同名實(shí)體的干擾減少候選實(shí)體的范圍，使用一定的規(guī)則提取問題中關(guān)系詞并根據(jù)它與候選關(guān)系的相似性進(jìn)行實(shí)體消歧，縮短了知識庫問答的時間提高了問答的準(zhǔn)確率。在關(guān)系檢測階段，從多個粒度對關(guān)系進(jìn)行編碼，同時使用2種注意力機(jī)制對問題和多粒度關(guān)系表示分別進(jìn)行建模，學(xué)習(xí)問題和關(guān)系之間多層次的交互信息。實(shí)驗(yàn)結(jié)果表明，本文模型的準(zhǔn)確率相比之前的方法有明顯的提升。在今后的工作中，我們將繼續(xù)研究如何將模型應(yīng)用到多關(guān)系問答上。