兩階段文檔篩選和異步多粒度圖多跳問答

張雪松,李冠君,聶士佳,張大偉,呂 釗,陶建華

(1.安徽大學 計算機科學與技術學院,安徽 合肥 230601;2.中國科學院自動化研究所 模式識別國家重點實驗室,北京 100190;3.清華大學 自動化系,北京 100084)

0 引 言

問答(Question Answering,QA)是自然語言處理中的一個熱門話題。隨著深度學習的蓬勃發展,QA模型已經取得了重大進展,甚至在簡單QA基準測試中超過了人類[1]。然而大部分QA模型為單跳QA,主要聚焦從單篇文檔中尋找答案。當單篇文檔不足以獲得正確答案時,單跳QA通常缺乏從多篇文檔中推理答案的能力。

為了提高QA模型在多篇文檔中的推理能力,近年來,學者們提出了多跳QA模型,并且設計了多個專門用于評估多跳推理能力的多跳QA數據集。例如目前流行的WikiOmnia[2],HotpotQA[3]和NarrativeQA[4]。這些數據集對應的QA任務十分具有挑戰性,因為它們要求QA模型能夠在多篇文檔和文檔噪聲干擾下進行多跳推理,以獲得問題答案。尤其是在HotpotQA數據集中,QA模型除了需要預測答案,還需提供答案的支撐事實。圖1顯示了來自HotpotQA數據集的一個示例。除了“3,677 seated”這個答案外,HotpotQA數據集還在文檔中標注了答案的支撐事實句子來解釋答案。

圖1 HotpotQA數據集的示例(只顯示了兩篇文檔)

直觀地說,如果一個問題需要通過多篇文檔才能得到正確答案,通常模型需要兩個步驟:(1)篩選文檔;(2)在篩選出的文檔中預測出問題答案并找到支撐事實。

在步驟1篩選文檔任務中,大多數早期的工作要么將所有文檔作為輸入,要么單獨處理文檔,而不管大多數文檔是否與問題有關,或者對找到答案是否有幫助。一個準確的文檔篩選模塊可以提高多跳QA模型的可伸縮性,且不會降低性能[5]。最近的工作包括Tu等[6]和Wu等[7],他們附加一個多頭自注意力層(MHSA)來鼓勵文檔間的交互。Fang等[8]設計一個級聯文檔檢索模塊,但其詞法匹配引入太多的噪聲,使得檢索性能不佳。以上的工作旨在找到所有與問題相關的文檔,然而并非所有的相關文檔都對找到答案有所幫助。

為此,該文在相關文檔的基礎上進一步提取答案所需的支持文檔。將篩選文檔任務分為兩個階段。第1階段通過處理每對文檔間的信息來對文檔進行評分并選出文檔得分超過閾值g的文檔作為相關文檔,此外通過設置較小的g來盡可能多地獲取文檔,保證文檔的高召回率;第2階段訓練一個遞歸神經網絡(Recurrent Neural Network,RNN)對問題答案的推理路徑進行建模,在第1階段獲取相關文檔的基礎上再次提取文檔,保證文檔的高精確率。

在步驟2找出問題答案和支撐事實任務中,已有工作證明,圖神經網絡(Graph Neural Networks,GNN)由于其關系表示能力和歸納偏差,非常適用于多跳QA。根據HotpotQA數據集的特點,大多數工作從構建實體圖的實體中選擇答案,或通過將實體圖的信息傳播回文檔表示從而在文檔中選擇答案。然而所構建的圖大多僅用于答案預測,不足以發現支持事實。此外,上面的方法在圖更新的步驟中同步更新所有節點,忽略了不同節點具有不同優先級以及有序邏輯推理。

因此,在步驟2中將篩選后的文檔構建成一個包含問題、實體以及句子的多粒度圖,并使用不同的粒度節點執行不同的任務(例如答案預測、支撐事實預測)。此外,該文提出了一種基于多粒度圖的異步更新機制來更好地進行多跳推理。具體來說,將該更新分為兩個階段,首先是不同粒度節點之間的更新(例如問題-句子、問題-實體、句子-實體),使節點捕獲與其不同粒度節點的線索完善自身信息;其次是相同粒度節點之間的更新(例如句子-句子、實體-實體),比較相同粒度節點之間的描述性信息以更好定位答案和支撐事實,最后將更新后的節點表示傳遞到預測模塊,該模塊預測問題的答案、答案類型以及支撐事實。

該文的貢獻如下:

(1)提出一種新穎的兩階段篩選文檔方法。第1階段保證文檔的高召回率,第2階段保證文檔的高精確率。

(2)針對由文檔構成的多粒度圖,提出一種新穎的異步更新機制來進行答案預測以及支撐事實預測,以更好地進行多跳推理。

(3)在HotpotQA數據集上進行了對比試驗,驗證了所提方法的有效性。

1 相關工作

1.1 文檔篩選

對于多跳QA數據集來說,一個問題通常提供多篇文檔,其中包含許多冗余的文檔。當前的預訓練語言模型一次接受所有文檔作為輸入通常是不可行的,因為類似于BERT,其輸入的最大長度限制為512。因此,文檔篩選是必不可少的。文檔篩選的目的是減少噪聲信息,為下游任務生成高質量的上下文,即高召回率和高精確率的上下文。Qiu等[9]使用BERT模型單獨計算每個文檔的相關性,忽略了文檔之間的語義關系,因此會在篩選的文檔中引入噪聲,導致閱讀理解任務的表現不佳。因此Tu等[6]和Wu等[7]附加了多頭自注意力層(Multi-Head Self-Attention,MHSA)以鼓勵文檔交互,為了獲得更優的結果,Wu等[7]進一步采用一個級聯文檔篩選模塊,該模塊將所選的文檔作為輸入,隨后探索它們之間更深層次的關系。此外,由于他們試圖同時定位所有相關文檔,導致簡單的二分類器無法很好地執行。因此,Tu等[6]和Wu等[7]將分類目標重新制定為排名和評分目標,以符合選擇器的排名性質。與上面的方法不同的是,該文在相關文檔的基礎上進一步提取文檔用于下游任務。

1.2 多跳QA

多跳QA是機器閱讀理解的一個特殊任務,是近年來自然語言理解領域的一個極具挑戰性的課題,它更接近真實場景。HotpotQA是最具代表性的多跳QA數據集,因為它不僅要從上下文中提取正確的答案,還需要提供答案的支撐事實。現有的多跳QA工作主要分為兩大類:基于記憶檢索的遞歸推理和基于GNN的多跳推理。

第一類專注于多跳問題分解[10],并在循環網絡中通過問題和上下文的相互作用來更新潛在特征。Qi等[11]通過迭代重排序檢索系統查詢缺失的實體。Asai等[12]構建了一個帶有超鏈接的離線維基百科圖,構建推理鏈來進行多跳QA。周展朝等[13]將問題分解視作一個閱讀理解任務,更好地捕捉了多跳問題和文檔之間的交互語義信息,以此指導多跳問題分解。楊玉倩等[14]提出了一種融合事實文本的問解分解式語義解析方法,對復雜問題的處理分為分解-抽取-解析三個階段來進行多跳問題分解。

由于GNN具有固有的消息傳遞機制,可以通過圖傳播傳遞多跳信息,因此在找出問題答案和支撐事實方面有著巨大潛力[15]。對于多跳QA來說,基于GNN的多跳推理方法占主導地位。大多數的工作集中在單一層次的粒度表示上。Qiu等[9]提出了一種動態融合圖網絡,沿著實體圖動態探索,從上下文中尋找支撐實體。邵靄等[16]在表征抽取層的神經網絡隱藏部分使用參數共享和矩陣分解技術來降低模型的空間復雜度,使用點積計算方式進行答案預測。龍欣等[17]提出了一種多視圖語義推理網絡,該網絡利用全局和局部兩種視圖的信息共同進行推理。與上述方法不同的是,該文側重于多粒度圖的異步更新。

2 兩階段的文檔篩選和異步多粒度圖更新多跳問答

在本章節中,將詳細介紹文中方法。如圖2所示,提出的模型由5個主要模塊組成。

圖2 模型框架

(1)文檔篩選模塊(第2.1節),通過該模塊篩選出高召回率和高精確率的文檔,然后將其傳遞給下游任務;

(2)上下文編碼模塊(第2.2節),通過基于RoBERTa的編碼器獲得圖形節點的初始表示;

(3)多粒度圖構建模塊(第2.3節),通過該模塊構建多粒度圖以連接來自不同信息源的線索;

(4)圖推理模塊(第2.4節),基于GNN的消息傳遞算法和異步更新機制用于更新節點表示;

(5)預測模塊(第2.5節),該模塊用來執行尋找支撐事實和預測答案任務。

2.1 文檔篩選模塊

在這個模塊,目標是過濾干擾信息,為下游任務生成高召回率和高精確率的上下文。

如圖3所示,在第1階段中,對于每一篇文檔,通過連接“[CLS]+問題+[SEP]+文檔+[SEP]”來構建一個輸入,供BERT使用。通過BERT對每個問題/文檔對進行編碼,提取代表全局表示的[CLS]標記作為每個問題/文檔對的總結向量。該向量只包含了各個文檔自身的特征,但是文檔間存在一定的關系,所以通過MHSA讓文檔間的信息得到交互,再利用一個雙線性層來輸出每對文檔的相關概率。其二元交叉熵損失如下:

(1)

其中,n表示文檔數量,i,j表示第i,j篇文檔,li,j為文檔(Di,Dj)的標簽,若Di是支持文檔li,j為1反之為0。P(Di,Dj)表示Di比Dj更相關的預測概率。

最后利用評分器SCORE處理每對文檔的信息從而獲到每篇文檔的評分。為了后續g選取操作,將每篇文檔評分控制在0到100分之間。

圖3 文檔篩選模塊示意圖

其中,D={D1,D2,…,Dn},n是文檔的數量。

Dt={Dt1,Dt2,…,DtM}

Score[Dm]>g,m={1,2,…,M}

(2)

選取集合Dt作為相關文檔,其中Dt為D的子集(Dt?D),集合Dt中每篇文檔評分均大于g。

第2階段主要是從第1階段選取的文檔中檢索出獲得問題答案所需的支持文檔ySD。受Asai等[12]的啟發,該文在Dt中利用RNN和波束搜索來尋找最佳的支持文檔路徑。選擇ySD的過程如下所示:

wi=BERT[CLS](Q,Di)

ht=σ(Wht-1+Uwi+bh)

Ot=Vht+bo

(3)

其中,ht是RNN在第t個推理步驟的隱藏狀態,σ是激活函數,W,U,V,bh,bo為參數。使用波束搜索在Dt中進行檢索,當選擇到結束符號(EOE)時過程終止。最后,輸出推理路徑,選擇得分最高的路徑上的文檔作為ySD。

(4)

2.2 上下文編碼模塊

首先,將文檔篩選模塊中篩選出的文檔合并成一個上下文,然后將上下文與問題相連并輸入到預先訓練過的RoBERTa模型中,得到編碼的問題表示Q={q1,q2,…,qm}∈Rm*d的上下文表示為C={c1,c2,…,cn}∈Rn*d,其中m,n分別是問題和上下文的長度,d為隱藏狀態的大小。緊接著C需要再經過一層BiLSTM,從BiLSTM的輸出M∈Rn*2d中獲得不同節點(句子S,實體E)的表示。整張圖可以表示為H=diagram{Q,S,E}∈Rz*d,其中z為問題節點、句子節點、實體節點數量之和。

2.3 多粒度圖構建模塊

不同粒度的節點可以從不同的信息源捕獲語義,因此與同質節點的簡單圖相比,它可以更準確地定位支撐事實和答案。為了將分散在多篇文檔中的線索匯總起來,構建一個包含問題、句子以及實體的多粒度圖。不同粒度的節點針對不同的下游任務。句子節點主要用于事實預測,此外由于答案可能不在實體節點中,因此將實體節點信息融合到上下文表示中來共同預測答案。

圖4 多粒度圖的一個示例

圖4顯示了多粒度圖的一個示例。定義了不同類型的邊,如下所示:

(1)問題節點與其對應實體節點(問題里的實體)之間的邊;

(2)句子節點與其對應實體節點(句子里的實體)之間的邊;

(3)出現在同一篇文檔中的句子節點之間的邊;

(4)出現在同一個句子中實體之間的邊;

(5)具有相同實體的句子之間的邊;

(6)具有問題中的實體的句子之間的邊(問題實體可以不同);

(7)具有相同實體的問題節點和句子節點之間的邊;

(8)相同實體之間的邊。

設計前4種類型的邊使GNN能夠掌握每個文檔中呈現的全局信息。此外,跨文檔推理是通過從問題中的實體跳到未知的橋接實體或比較問題中兩個實體的屬性來實現的。因此,設計了后4種類型的邊,以更好地捕獲跨文檔推理路徑。最后多粒度圖由這8種類型的邊和3種類型的節點組成。

2.4 圖推理模塊

為了實現顯式和可解釋的圖推理,使用基于圖注意網絡[18](Graph Attention Network,GAT)的兩階段圖推理。對圖中的節點先進行異質更新再進行同質更新來進行多跳推理。例如句子節點,首先進行異質更新使其捕獲不同粒度節點的線索完善自身信息,再通過同質更新,比較句子間的描述性信息以確定支撐事實。具體來說,首先將多粒度圖H分為異質更新圖H1和同質更新圖H2。異質/同質更新圖通過屏蔽節點之間相應的連接得到,如圖5所示。

圖5 多粒度圖的分解

對于圖節點的更新表示,具體來說,首先從圖中某個節點開始推理,關注在圖上與該節點有連接的其他節點。然后通過計算它們之間的注意力分數,更新節點的特征表示。假設對于任意節點i,其相鄰節點集合為Ni,則節點i(i∈{Q,S,E})的注意力權重由下面公式得出:

Si,j=LeakyRelu(WT[hi;hj]),j∈Ni

其中,W為可訓練的線性變化矩陣,Si,j表示兩個節點之間的相關度分數,ai,j表示節點i相比于其相鄰節點的注意力權重系數。最后通過公式計算出節點i的最終的特征表示:

(5)

(6)

2.5 預測模塊

(7)

模型的訓練損失是答案跨度預測、支撐句預測、實體預測和答案類型預測損失的總和。

3 實驗及結果分析

3.1 實驗數據集

使用HotpotQA數據集,這是第一個考慮模型解釋能力的多跳QA數據集,也是一個多跳QA任務的流行基準。具體來說,該數據集中包括兩個子任務,答案預測(Ans)和支撐事實預測(Sup)。對于每個子任務都有兩個官方評估,分別為精確匹配(EM)和部分匹配(F1)。EM表示模型預測的標簽中與真實標簽完全匹配的百分比。Fl表示模型預測的標簽中與真實標簽重疊的百分比。EM和F1的聯合得分用作整體指標(Joint)。在HotpotQA Distractor驗證集上評估模型,該數據集使用整個英文維基百科轉儲作為數據集的語料庫,約有11萬個基于英文維基百科的問答對。對于該數據集上的每個問題,提供了2篇相關文檔和8篇干擾文檔,這些文檔是由英文維基百科的高質量TF-IDF檢索器收集的。

3.2 基線模型

將所提方案與以下方法進行了對比:

(1)Baseline:將HotpotQA數據集[3]中自帶的方法作為基線;

(2)QFE:Nishida等[20]通過考慮支撐事實之間的依賴關系來進行預測;

(3)DFGN:Qiu等[9]根據實體間的關系構造動態實體圖,在實體圖上進行多跳推理;

(4)GRR:Asai等[12]提出了一種基于圖的遞歸檢索查找支持文檔,然后擴展現有的閱讀理解模型回答問題;

(5)SAE:Tu等[6]提出了一個管道系統,首先選擇出相關文檔,然后使用所選文檔預測答案和事實;

(6)C2F:Shao等[21]認為圖結構不是多跳問答所必需的,提出了一種新的自注意力機制來進行預測答案和事實。

3.3 實驗結果

表1顯示了模型在HotpotQA Distractor驗證集上的實驗結果,可以看到文中模型超過了大部分已經發表的結果。在正確答案的預測上,文中模型得到的精確匹配(EM)為69.3%,F1為82.3%。所提方法與基線相比在答案預測EM上獲得24.9%的絕對改進,在答案預測F1上獲得24%的絕對改進。在下面實驗分析小節中,將詳細分析模型性能增益的來源。

3.4 實驗分析

文中的實現基于Transformer庫[9]。在閾值g的選取上,人為設置閾值g=0.000 001(接近于0),使得文檔篩選模塊第1階段盡可能多地選擇文檔。在多粒度圖構建階段,使用Manning等[22]提出的預訓練實體模型來提取命名實體。圖中的句子節點數量設置為20,實體節點數量設置為30。

在文檔篩選模塊中,當設置閾值g=0.000 001時,文檔篩選模塊第1階段文檔召回率達到99.9%。在第1階段的基礎上進行第2階段檢索再次獲取文檔,最后將文檔篩選結果和DFGN,HGN和SAE中的文檔篩選結果進行比較,如表2所示。所提方法在文檔精確率和召回率方面分別為96.7%和96.8%,相比于SAE在各個指標上均有提升。

表1 在HotpotQA Distractor驗證集上的結果 %

表2 在HotpotQA Distractor驗證集上的文檔選擇結果 %

3.5 消融實驗

消融實驗結果如表3所示。為了證明提出文檔篩選方法的有效性,對文檔篩選兩個階段進行了消融研究。在文檔篩選模塊僅使用第1階段或僅使用第2階段中篩選出的文檔用于下游任務。從表3中可以看到,僅使用第1階段篩選出的文檔用于下游任務會使模型在Joint F1指標上下降7.8百分點,僅使用第2階段檢索出的文檔用于下游任務會使模型在Joint F1指標上下降0.7百分點。在兩階段圖推理方面,當去除實體節點時,模型在ANS F1和Sup F1指標上分別下降0.1百分點和0.2百分點。在圖節點更新順序上,比較了3種不同的順序。觀察到從同質到異質的順序更新節點實驗結果較差,低于同步更新的結果。但提出的從異質到同質的方法更新圖中節點相比于同步更新在3個指標上均有提升。通過對消融實驗結果的分析,證明了所提方法的有效性。

表3 消融實驗 %

4 結束語

該文提出一種兩階段的文檔篩選方法。第1階段通過對文檔進行評分和設置較小的閾值來盡可能多地獲取文檔,保證支持文檔的高召回率。第2階段利用遞歸神經網絡對問題答案的推理路徑進行建模,結合波束搜索在第1階段的基礎上再次提取文檔,保證支持文檔的高精確率。最后將支持文檔構建成一個圖節點為問題、句子和實體的多粒度圖,并利用一種新穎的異步更新機制從多粒度圖上進行答案預測以及支撐事實預測。實驗結果證明了該模型的有效性。在未來工作中,希望結合文本構建圖形的新進展來解決更困難的推理問題。此外,希望在其他多跳問答數據集上評估該模型。