基于小句復合體的中文機器閱讀理解研究

王瑞琦,羅智勇,劉 祥,韓瑞昉,李舒馨

(北京語言大學 信息科學學院,北京 100083)

0 引言

機器閱讀理解(Machine Reading and Comprehension, MRC)任務與人類閱讀理解任務相似,是指計算機根據指定篇章文本回答相關問題的過程。近年來,隨著深度學習技術,特別是詞向量表示、預訓練語言模型方法的發展,機器閱讀理解模型的性能得到巨大提升,甚至在個別機器閱讀理解數據集評測任務中逼近或超越了人類的水平[1]。但在涉及到遠距離、深層次的語義關系時,現有的深度學習方法仍然沒有取得實質性的突破。

在機器閱讀理解任務中,這一現象主要體現在: 中文機器閱讀理解任務的篇章文本(Context)長度較長,經常包含多個標點句;且問題(Question)對應的答案與回答此問題需要的線索要素在篇章文本中跨越多個標點句,這種情況給機器閱讀理解任務的答案抽取帶來較大困難,具體示例如圖1所示。

圖1 跨標點句問答樣例

圖1中,我們使用換行縮進形式直觀地表示了篇章文本中話頭-話體共享關系[2]: 此樣例中篇章文本(Context)一共有8個標點句(用換行表示),其中,c2至c8等7個標點句均共享標點句c1中的話頭“徐珂”(用縮進表示)。Question1中的線索要素包括: “1901年”(位于c8)、“徐珂”(位于c1,“加粗”顯示),問題要素是“擔任什么職務”(用“波浪線”標記),該問題對應的答案是“1901年在上海擔任了《外交報》《東方雜志》的編輯”(位于c8,用“下劃線”標記)。線索要素與問題答案之間在篇章文本中跨越8個標點句,屬于遠距離關聯關系。在本例中,要想讓模型準確地抽取出答案,必須在標點句c1中找到標點句c8缺失的話頭“徐珂”,并將c8補充完整,再進行問答。

我們針對于這一跨標點句、遠距離關聯的現象,在CMRC2018閱讀理解數據集[3]上進行了標注,結果如表1所示。其中,跨標點句問答問題占全部訓練數據的67.89%;BERT的基線系統在跨標點句問答的問題上的精確匹配率(EM)為61.02%,相比于其他問題上的EM值72.02%,降低了11.00%,在一定程度上說明了跨標點句問答給答案的抽取帶來了一定困難。

表1 CMRC2018閱讀理解數據集跨標點句問答統計情況

目前針對中文機器閱讀理解任務的研究方法多為模型結構的更改或增加實體信息等外部知識,卻很少關注數據中普遍存在的跨標點句問答問題。本文應用小句復合體理論降低中文機器閱讀理解任務中跨標點句問答問題答案抽取的難度,提高模型的性能。小句復合體理論基于邏輯語義關系和成分共享關系研究漢語中跨標點句的句間關系,本文應用該理論對閱讀理解數據的篇章文本進行分析,使用標點句間的話頭-話體共享信息構建遠距離標點句之間的聯系。篇章文本中的標點句補全缺失的話頭話體成分,轉化為自足的話題結構后,問題的線索要素與答案要素將處于同一話頭自足句或者同一小句復合體結構內部,便于答案的抽取。標點句之間的遠距離成分共享關系可以保證標點句語義的完整性,為模型提供額外的語義信息,提高模型的語義表示能力,對于機器閱讀理解等自然語言處理任務具有基礎性的意義。

本文的主要貢獻在于: 提出將小句復合體結構自動分析任務與機器閱讀理解任務融合的策略,利用小句復合體中話頭-話體遠距離共享關系,為模型提供句級別的結構化語義信息,降低遠距離答案抽取的難度;提出了基于小句復合體的機器閱讀理解模型,并驗證了小句復合體話頭-話體共享關系在機器閱讀理解任務中的作用效果;另外,本文在CMRC2018閱讀理解數據集上的實驗結果表明: 小句復合體結構自動分析任務對機器閱讀理解任務中的遠距離跨標點句問答問題有明顯的效果,與基準模型相比,基于小句復合體的機器閱讀理解模型的整體精確匹配率(EM)提升3.26%,其中跨標點句問答問題的EM提升3.49%。

本文組織結構如下: 第1節介紹相關研究;第2節介紹相關概念和基于小句復合體的機器閱讀理解任務建模;第3節介紹基于小句復合體的機器閱讀理解模型設計;第4節介紹實驗結果及分析,第5節為總結與展望。

1 相關研究

機器閱讀理解任務的起源可以追溯到20世紀70年代,但是由于數據集規模過小和傳統的基于規則的方法的局限性,當時的機器閱讀理解系統性能較差,不能滿足實際應用的需要。1977年Lehnert等人提出基于腳本和計劃的框架QUALM[4],專注于語用問題,以及故事的上下文背景對回答問題的影響。由于機器閱讀理解任務的復雜性,很長一段時間該任務被擱置沒有進展。直至20世紀90年代,Hirschman等人[5]提出一個包含60個故事的數據集,并提出Deep Read系統,使用基于規則的詞袋模型進行淺層語言處理,加入詞干提取、指代消解等幫助理解文本。Riloff等人2000年提出的QUARC系統[6],基于詞匯和語義對應。這些基于規則的方法,準確率最高只有30%～40%。此階段,由于缺少大型的數據集,任務發展緩慢。

機器學習興起后,閱讀理解被定義為有監督問題[7],將MRC任務看作一個三元組(篇章,問題,答案),訓練一個統計學模型將篇章及問題映射到答案。MCTest[8]和ProcessBank[9]兩個數據集的提出,促進了該任務的發展。Garcia等人[8]同時提出了滑動窗口法計算篇章與問題、答案之間的信息重疊度,還提出將答案轉化為語句,然后做文本蘊含的方法。基于檢索技術的閱讀理解模型,通過關鍵詞匹配在文章中搜索答案,存在局限性,匹配度高的結果有時并不是問題的答案。此階段,機器學習模型對機器閱讀理解任務帶來的提升有限,原因在于模型使用語義角色標注系統等語言工具提取特征,這些工具多用單一領域的語料訓練,難以泛化;而且數據集過小,不足以支撐模型的訓練。

2015年以后,深度學習飛速發展,提出了很多大規模數據集(如CNN &Daily Mail[10]、SQuAD[11]等)和易于提取上下文語義信息的神經網絡模型。模型的效率與質量大幅度提升,在一些數據集上甚至可以達到人類平均水平。Hermann等人[10]于2015年提出的基于Attention的LSTM模型“Attentive Reader”和“Impatient Reader”,成為了后來許多研究的基礎,Attentive Reader將篇章和問題用雙向RNN分別表示后,利用Attention機制在篇章中尋找問題相關的信息,最后根據相關程度給出答案的預測。在SQuAD數據集的基礎上,產生了許多神經閱讀理解模型,如基線模型Logistic Regression。2018年,Google提出的BERT模型也提供了閱讀理解問答的模型架構,在SQuAD數據集上的F1值達到了93.16%。各種大規模數據集和預訓練語言模型的提出推動該任務飛速發展。

目前,預訓練語言模型存在上下文語義表示和學習不足的問題,解決方法多為添加額外的語言學知識。ELMo[12]、BERT[13]等語言模型只發掘了Character Embedding、Word Embedding等上下文敏感的特征,沒有考慮結構化的語言學信息。Zhang等人[14]于2019年提出: Semantics-aware BERT模型,將 BERT與語義角色標注任務結合,用謂詞-論元信息來提升閱讀理解模型的語言表示能力,提高了問題的準確率。該融合模型在機器閱讀理解任務上應用的有效性,表明顯式的上下文語義信息可以與預訓練語言模型的語言表示融合來提高機器閱讀理解任務的性能。Zhang等人[15]提出: ERNIE,用知識圖譜來增強語言表示,該模型在BERT的基礎上,加入了實體、短語等語義知識。這兩種方法均應用額外的語義信息增強模型的表示,提高了模型的性能,證明了結合必要外部知識對提升模型性能的有效性。但語義角色標注和實體信息并不能處理機器閱讀理解任務中遠距離跨標點句問答的問題。

現有基于CMRC2018等數據集的研究方法多為對于分詞或者模型結構的更改。排行榜中取得較好成績的模型MACBERT[16]和RoBERTa-wwm-ext-large[17]都是針對預訓練策略的更改,沒有考慮篇章文本中存在的遠距離問答的問題。而小句復合體結構分析可以提供句間的語義信息,用話頭話體的共享關系來增強標點句間的語義完整性和相關性,簡化抽取答案的難度,從而提升模型效果,故本文采用小句復合體結構分析模型與機器閱讀理解模型融合的方法解決跨標點句問答問題。

小句復合體研究任務已經歷十幾年,定義、分類及內部理論體系已經成熟,在此基礎上話頭識別工作有如下成果: 起初僅對小句復合體語料中的堆棧類型數據進行單個標點句的話頭結構分析,蔣玉茹等人[18]于2012年使用窮舉法研究,在上一個話頭自足句中找出當前標點句的全部候選話頭,再使用語義泛化和編輯距離兩種手段選出合適的話頭,識別正確率為73.36%。基于之前研究,蔣玉茹等人[19]又采用相同方法研究堆棧類型標點句序列的話頭結構識別,將各標點句的全部候選話頭存儲于樹結構中,選取概率最大的路徑獲得話頭序列,最終正確率為64.99%。由于窮舉法對系統執行效率和話題句識別的準確率存在限制,蔣玉茹[20]等人在2014年利用標點句在篇章中的位置和話頭的語法特征等信息減少生成的候選話頭的數量,從而提高模型的識別效率和效果。2018年,MAO等人[21]提出的基于 Attention-LSTM的神經網絡模型在單個標點句的話頭識別任務上的正確率達到81.74%。胡紫娟[22]2020年在前面研究的基礎上,增加了對新支、匯流、后置類型數據的分析,并且添加了標點句尾缺失成分的識別,總的正確率達93.24%,為小句復合體理論在實際任務中的應用打下基礎。

2 基于小句復合體的機器閱讀理解任務建模

2.1 機器閱讀理解任務

機器閱讀理解任務主要分為完形填空、多項選擇、跨度提取和自由回答四種類型,另外還有會話式回答、多段式閱讀理解等。本文涉及到的類型為跨度提取型閱讀理解,如圖2所示。該任務要求在原文中抽取一個片段作為答案。

圖2 跨度提取型閱讀理解樣例

2.2 跨標點句問答

本文使用線索要素、問題要素、答案要素來描述閱讀理解任務中遠距離跨標點句問答的情況:

線索要素: 問題中明確給出的關鍵詞,是尋找答案的限定條件。

問題要素: 問題的提問方式,如when、where、how,what,why、who等。

答案要素: 原文中的實體、短語、句子。閱讀理解問題的答案,與問題要素相對應。

全部要素是否跨標點句:將問題中的問題要素替換成答案要素,并轉化成陳述句,其中包含的線索要素與答案要素在原文中是否處于同一標點句。

跨標點問答分為兩種類型: 第一種答案要素較短,為詞、短語或者一個標點句,與線索要素距離較遠而跨多個標點句(如圖3中樣例所示)。另一種答案要素很長,答案在篇章文本中跨標點句(如圖11中樣例所示)。

圖3 跨標點句問答樣例

圖3中,Question1的線索要素為: “范廷頌”和“被任為主教”,問題要素是“什么時候”,答案要素是“1963年”。將問題中的問題要素替換為答案后,問句可以轉化為陳述句“范廷頌是1963年被任為主教”,該陳述句在原文中對應的標點句序列是“范廷頌樞機,圣名保祿·若瑟,是越南羅馬天主教樞機。1963年被任為主教;”,線索要素與答案要素跨越4個標點句。Question2的線索要素是“1990年”和“范廷頌”,問題要素是“擔任什么職務”,答案要素是“1990年被擢升為天主教河內總教區宗座署理”,全部要素在原文中跨越5個標點句。兩問題均屬于遠距離跨標點句問答問題。

2.3 小句復合體理論

標點句: 本文的標點句是指被逗號、分號、句號、問號、嘆號所分隔出的詞語序列。如圖4中的樣例共有13個標點句。

圖4 例2用換行縮進表示話頭話體共享關系

話頭、話體:在微觀話題角度,話語的出發點叫做話頭(Naming),話體(Telling)是對話頭的說明。

話頭結構:話頭話體間關系構造的多個標點句之間的結構稱為話頭結構。換行縮進標注體系是使用空格表明話頭結構的方式。

小句復合體:是話頭共享關系和邏輯關系都不可分割的最小標點句序列。主要有堆棧、匯流、新支、后置四種類型。本文將閱讀理解的篇章文本看作一個整體,分析各標點句之間的話頭話體共享關系。

將圖3中的標點句使用小句復合體理論進行分析,并用換行縮進格式表示其話頭結構,如圖4所示,標點句c1至c8的8個標點句處于同一小句復合體結構,c9至c11的3個標點句處于另一小句復合體結構,這種關系的劃分基于話頭-話體共享關系與邏輯語義關系(本課題不研究邏輯語義關系)。該樣例中,標點句c1成分完整,但被后面的標點句共享話頭,因此c1至c8處于一個小句復合體中。其中,c2至c6和c8共享c1中的話頭“范廷頌”,c7共享的話頭來自標點句c1和c6,為“范廷頌1994年”。c9不共享其他標點句中的話頭,且自身不缺少成分,但被c10、c11共享話頭“范廷頌”,故c9至c11這3個標點句被劃分在一個小句復合體結構中。

2.4 基于小句復合體的機器閱讀理解研究

使用小句復合體結構自動分析工具將待處理的篇章文本轉換為換行縮進模式,并補全為話頭自足句,使線索要素和答案要素處于同一標點句或同一小句復合體結構中。根據線索要素與問題要素在篇章文本中的位置來抽取答案,答案要素短的樣例在一個話頭自足句中提取即可;答案要素跨越多個標點句的樣例在一個小句復合體結構內抽取答案,同一小句復合體內的標點句由于共享話頭或話體被組織到一起,更容易把跨標點句的答案要素提取完全。

將圖4中以換行縮進模式表示的部分標點句補全缺失成分,轉化為話頭自足句(即NT小句),如圖5所示。從圖中可以看出,標點句c4“范廷頌1963年被任為主教”包含了Question1的全部線索要素與答案要素,c5“范廷頌1990年被擢升為天主教河內總教區宗座署理”包含了Question2的全部線索要素與答案要素。直接在一個標點句完成問答,化簡了答案抽取的難度。

圖5 話題自足句

2.5 機器閱讀理解任務的機器學習問題描述

本文使用的CMRC2018閱讀理解數據集的類型是片段提取,該類型任務可定義為: 將機器閱讀理解任務看做一個三元組,給定長度為n篇章上下文C={t1,t2,…,tn}以及問題Q,要求在C中提取一個子序列a={ti,ti+1,…,ti+k}(1≤i≤i+k≤n)作為正確答案,通過最大化條件概率P(a|C,Q)來獲取答案A。圖6為基于小句復合體的機器閱讀理解模型圖。

圖6 機器閱讀理解模型

2.6 小句復合體結構自動分析任務的機器學習問題描述

小句復合體結構自動分析任務可以定義為: 已知小句復合體C1,…,Cn,求對應的話頭自足句Z1,…,Zn的過程。在每個標點句首尾插入[MASK],并在[MASK]處預測話頭的位置(start,end),即預測共享的成分,補全共享的成分,便能得到相應的話頭自足句。不添加[MASK]則使用T1、Tn位置的向量預測。圖7為基于BERT的小句復合體結構自動分析模型圖。

圖7 小句復合體結構自動分析模型

3 基于小句復合體的機器閱讀理解模型

3.1 融合模型一: BERTNTC

BERTNTC模型將小句復合體結構自動分析任務作為預訓練任務,先在中文小句復合體數據集上進行預訓練,之后在機器閱讀理解數據集上對模型進行微調。此方法用于初步驗證小句復合體結構自動分析任務對于機器閱讀理解任務是否有作用。模型的結果于第5節實驗結果部分展示并分析。

3.2 融合模型二: BERT_NTC/MRC

BERT_NTC/MRC模型如圖8所示,為機器閱讀理解任務與小句復合體結構自動分析任務融合的第二種方法。本模型中采用多任務學習的方式同時訓練小句復合體結構分析任務與機器閱讀理解任務,兩任務共享一個BERT模型的參數。訓練時, 對于一個批次的數據,如果是機器閱讀理解類型的數據,經過BERT預訓練語言模型編碼, 獲取上下文語義信息及話頭-話體共享信息后,進入MRC的輸出層,進行答案片段Start/End Span的預測;如果是小句復合體結構分析類型的數據, 獲得上下文表示后進入NTC的輸出層,通過MASK位置或者標點句的首位位置的向量預測缺失的話頭話體的位置Start/End。

圖8 BERT_NTC/MRC模型

3.3 融合模型三: BERT_NTC_add_MRC

圖9中,BERT_NTC_add_MRC模型為機器閱讀理解任務與小句復合體結構自動分析任務融合的第三種方法。該模型可以分為2個模塊,分別使用獨立的預訓練語言模型。左側模型BERTntc進行話頭-話體結構信息抽取,右側BERTmrc抽取上下文及問題信息。訓練時,BERTntc模型訓練好后,保存參數,使該模型擁有表達話頭-話體信息的能力,再訓練BERTmrc模型。

圖9 BERT_NTC_add_MRC模型

3.4 融合模型三的各層設計

BERT_NTC_add_MRC模型分為三層: 編碼層、信息交互層和答案預測層。

編碼層:該層的功能是將閱讀理解任務的輸入Input=[CLS]+Context+[SEP]+Question+[SEP]轉換成計算機可以理解的向量Emrc,Emrc向量由詞向量(Token Embedding)、位置向量(Position Embedding)、句向量(Segment Embedding)拼接得到。

信息交互層:在此層Emrc通過兩個BERT預訓練語言模型獲得包含上下文信息、問題信息和話頭-話體共享信息的詞向量表示。

BERTntc模型的輸入格式為:Entc=E[CLS]+EContext+E[SEP]。

BERTmrc模型的輸入格式為:Emrc=E[CLS]+EContext+E[SEP]+EQuestion+E[SEP]。

經過BERT編碼后,分別取兩模型最后一層隱藏層的輸出Tntc與Tmrc,將二者相加T=Tmrc+Tntc,把T接全連接層得到:ON×2=FC(TN×D)。其中,D為隱藏層大小768,經全連接層FC將維度轉換為2,獲得每個字作為Start和End的Logit值。

答案預測層:本層對Start/End Logits對進行相加計算,經softmax選擇概率最高的一組,得到最后的答案。

基于小句復合體的閱讀理解模型答案預測總計算如式(1)所示。

Start/End Logit=Softmax(FC(BERTntc(Entc)+
BERTmrc(Emrc)))

(1)

4 實驗

4.1 數據集

小句復合體語料:北京語言大學中文小句復合體標注語料(簡稱小句復合體語料),包括百科全書、政府工作報告、新聞、小說4個領域,其中共有小句復合體9 256個、標點句37 635個。該語料主要用于訓練小句復合體結構自動分析模型(NTC模型)。

機器閱讀理解語料:CMRC2018閱讀理解數據集用以訓練機器閱讀理解模型。該數據集的篇章文本來自于維基百科,問題由人工撰寫,屬于片段抽取式閱讀理解任務。其中,訓練集有篇章2 403篇、問題10 142個。驗證集有篇章848篇、問題3 219個。在對CMRC2018閱讀理解數據集的研究中發現了存在大量不嚴謹的地方,如答案長度提取不一致、問題答案不對應、答案位置錯誤等。經過核對,數據集中約有20%的樣例存在此問題,現已全部修改。本文主要使用的是經過糾正后的數據集。

4.2 評估指標

本文采用的評估指標有F1、EM、AVERAGE。對于每個訓練樣例,預測的文本為prediction,長度為prediction_len,答案文本為answer,長度為answer_len,它們之間最長重合部分為lcs,lcs_len為重合文本的長度。

精確率(Precision)為正確預測為閱讀理解答案的部分占全部預測比例。定義為: Precision=lcs_len/prediction_len。

召回率(Recall)為正確預測為閱讀理解答案的部分占全部真實答案比例。定義為: Recall= lcs_len/answer_len。

模糊匹配率(F1)為精確率和召回率的調和平均數,兩個值都很高時才高,可以綜合體現預測的水平。定義為:F1=(2×Precision×Recall)/(Precision+Recall)。

精確匹配率(EM)是完全匹配的體現,當 prediction=answer時記為1,不等時記為0。

對于全部訓練樣例,Count為訓練樣例的個數,整體的F1=Σ(F1)/Count,整體的EM=Σ(EM)/Count。

AVERAGE=(F1+EM)/2,為EM與F1的平均值。

4.3 基線模型水平

如表2所示為BERT基線模型在CMRC2018閱讀理解數據集上的結果,EM為64.55%,更改數據集中不嚴謹的情況后的EM提升至69.46%。

表2 CMRC2018上機器閱讀理解任務基線模型結果

如表3所示,在小句復合體數據集中,小句復合體結構分析模型對與所有類型話頭總Accuracy為93.24%,F1為94.69%。

表3 小句復合體語料庫上小句復合體自動分析結果

4.4 實驗設置

實驗中涉及的模型均使用pytorch搭建,BERT、RoBERTa、RoBERTa_wwm_ext三個預訓練語言模型均為base版本,12層的Transformer。Batch size設置為8,Epoch為2,學習率(learning_rate)為3e-5。

4.5 實驗結果

在修改后的CMEC2018閱讀理解數據集上,對兩種基于小句復合體的機器閱讀理解模型的效果進行驗證,結果如表4所示,其中,第一行結果為BERT基線系統的結果,F1為86.83%,EM為69.46%。

表4 基于小句復合體的機器閱讀理解模型驗證集上的結果

BERTNTC模型:將小句復合體結構自動分析任務作為預訓練任務,在修改后CMRC2018閱讀理解數據集上的結果與基準模型相比F1值提升1.11%,EM值提升1.49%。該結果初步證明小句復合體結構自動分析可以為機器閱讀理解任務帶來一定幫助。

多任務學習模型BERT_NTC/MRC:與基線模型相比,F1提升1.46%,EM提升2.21%。雖然小句復合體結構分析任務與機器閱讀理解任務具有一定的相似性,但畢竟屬于兩個不同的任務。其中,MRC是根據篇章和問題在原文中找到相應的答案片段,而NTC結構分析要對每個缺失成分的標點句在原文中找到相應的話頭話體成分。從結果上看,在這樣的模型融合方式中,小句復合體結構自動分析任務雖然給機器閱讀理解任務帶來了一定的性能提升,但提升的效果并不顯著。

BERT_NTC_add_MRC模型:將CMRC2018閱讀理解數據集篇章文本部分的輸入經過兩個模型的最后一層隱藏層的表示相加,再進行答案片段的預測。這個過程使篇章文本的表示即包含詞級別的信息和篇章上下文的語義信息,也包含基于話頭話體共享關系的結構化語義信息。此模型的EM達到72.72%,與基線模型相比提高了3.26%。本文提出的三種小句復合體結構自動分析任務與機器閱讀理解任務融合的方法,均可以給機器閱讀理解任務帶來性能提升。

更換預訓練語言模型為RoBERTa后,EM為72.57%,添加小句復合體信息使EM提升1.24%。將語言模型換為RoBERTa_wwm_ext,融合模型三在CMRC2018閱讀理解數據集上的EM達到74.96%,提高1.17%。實驗結果表明,在不同的預訓練語言模型上,小句復合體結構自動分析信息的融入,均能夠給模型帶來一定的性能提升,證明了小句復合體理論在實際任務中的應用價值。

4.6 小句復合體結構分析對遠距離跨標點句問答的解決情況分析

為驗證小句復合體結構自動分析任務對機器閱讀理解任務中遠距離跨標點句問答問題的影響,在全部的數據集中標注出線索要素與答案要素在原文中是否為跨標點句,為此定義了一個新的標簽“tag”。其中,tag為0的樣例為較為簡單的閱讀理解問題;tag為1的樣例為跨標點句問答且能應用小句復合體結構信息化簡答案抽取難度的問題;tag為2的樣例中也存在跨標點句問答問題,但是由于其他因素影響不能使用話頭-話體共享信息化簡任務難度,具體標注樣例如圖10所示。

圖10 tag標注樣例

tag=0: 問題與答案的全部要素對應回原文處于同一標點句。

tag=1: 全部要素不處于同一標點句,但是處于同一小句復合體內。

tag=2: 除上述兩種情況之外的情況,包括指代消解、推理等問題。

圖10中,Question1的線索要素是“觀察家報”“報紙”,問題要素為“哪國”,答案要素為“英國”,全部要素對應回原文處于同一標點句,故tag標簽為0。Question2的線索要素為“觀察家報”“發行”,“什么時候”答案要素為“每周周日發行”,將問題轉換為陳述句為: 觀察家報每周周日發行,對應回原文跨越2個標點句,且中間分隔符號為句號,但是按照小句復合體理論,由于這兩個標點句共享話頭“觀察家報(The Observer)”,因此處于同一小句復合體內部,tag為1。Question3的線索要素為“觀察家報”“公開宣言了無黨派傾向的編輯方針”,問題要素為“哪一年”,答案要素為“1942年”,雖然跨標點句,但“該報”指代線索要素“觀察家報”為指代消解的問題,小句復合體結構分析難以解決這種情況,故tag標簽為2。

對CMRC2018閱讀理解數據集的驗證集中tag標簽的情況進行統計。結果如表5所示。數據集修改前后,驗證集上tag=1的數據的EM都小于tag=0的EM值,tag=2的問題由于需要復雜推理等較難回答,EM值最低,拉低了整體水平。符合之前的認知,跨標點句的遠距離問答會給機器閱讀理解任務的答案抽取帶來困難。Bert基礎上的融合模型三經過訓練后,tag=0樣例的完全匹配率提升2.08%,tag=1的EM提升3.49%,tag=2的EM提升4.06%。小句復合體結構分析不僅對跨標點句問答有提升,對其他類型也有幫助。

表5 CMRC閱讀理解數據集驗證集上tag標簽EM統計情況

用實例具體分析基于小句復合體的機器閱讀理解模型對跨標點句問答問題的解決情況,圖11為tag標簽為1的樣例,對模型增加小句復合體結構信息前后的答案預測結果進行分析。該樣例中,前兩個標點句單層匯流的關系,第三和第四個標點句共享第二個標點句中的話頭“于樂”,故四個標點句處于同一話頭結構內。不添加小句復合體結構信息時,預測答案較短,導致錯誤;加入話頭話體共享信息后,線索要素與答案要素雖然未處于同一標點句內,但是處于同一小句復合體結構內,模型預測出了完整答案,證明了小句復合體結構分析對于解決機器閱讀理解任務中跨標點句問答的有效性。

圖11 加入小句復合體信息后的答案預測

4.7 錯誤樣例分析

CMRC2018閱讀理解數據集的驗證集問題數為3 219,全部錯誤樣例數量為878。對全部的錯誤樣例進行分類,其中,F=0: 按照正常邏輯,可以算作正常答案,共計438個;F=1: 答案過長,預測缺失,共計77;F=2: 答案很短,預測過長,共計227;F=3: 由于復雜推理等原因,完全預測錯誤,共計130。

在如圖12所示的錯誤樣例中,對于Question1,模型預測的答案多了人物的定語,被判定預測錯誤。然而,很多標準答案中也包含加定語的答案,所以此類型的錯誤樣例可以算作正確。Question2的結果表明小句復合體結構分析對跨標點句問答有幫助,雖然該樣例沒有預測出全部的答案,但是與不加小句復合體信息時相比預測的長度更長了。當然,也存在部分樣例由于添加了話頭話體共享關系信息,預測了多余的答案。

圖12 錯誤樣例分析

如Question3所示,對于包含多個時間的情況,經常預測錯誤,但是這類問題不是小句復合體結構分析可以解決的。

Question4涉及指代消解,而且需要推理屬于中國的地區,是小句復合體結構分析解決不了的問題。

總體而言,小句復合體結構分析提供的結構化語義信息可以解決部分跨標點句問答問題,給機器閱讀理解任務帶來幫助。

5 總結與展望

在中文機器閱讀理解任務中,增加外部知識成為提高模型表現的一種熱門方向。小句復合體理論的話頭-話體共享關系保證了標點句的語義連貫性,加強了遠距離標點句之間的聯系,缺失成分的補充同時降低了答案抽取的難度。更換不同的基礎模型后,模型效果均有不同程度的提升,也體現了小句復合體結構分析任務與機器閱讀理解任務融合的有效性。

目前,在小句復合體結構自動分析任務中,實際需要預測的節點的準確率還有提升空間,雖然該任務上F1有94.6%,但預測的位置大多不缺少成分,預測的結果表現高于實際的預測水平,這對于模型融合的效果產生了影響。另外,本文中實驗沒有采取先對閱讀理解數據進行話頭-話體結構分析,補全缺失成分后,再作為機器閱讀理解任務的輸入,微調模型的方法,主要是由于機器識別話頭-話體的水平有限,且沒有對機器閱讀理解數據集進行小句復合體結構的人工標注。因此,提高小句復合體結構自動分析任務的準確率,對機器閱讀理解數據集進行小句復合體話頭-話體結構標注,探索小句復合體理論在其他自然語言處理任務中的應用是下一步的研究工作。