基于無監督預訓練的跨語言AMR解析*

范林雨,李軍輝,孔 芳

(蘇州大學計算機科學與技術學院,江蘇 蘇州 215006)

1 引言

抽象語義表示AMR(Abstract Meaning Representation)[1]是一種新興的語義解析表示形式,旨在從句子文本中抽象出語義特性,并利用圖結構呈現句子的結構化語義信息。AMR將句子語義結構表示為一個單根的有向無環圖。圖1所示示例是以德文作為目標語言文本,首先解析為AMR序列,再將AMR序列轉化為AMR圖。圖1c中的節點表示文本中的概念,如“take-01”表示“獲取”這個概念,“01”表示take的第1種詞義;圖中的邊表示概念之間的語義關系,如“:ARG0”表示概念“both”為概念“take-01”的施事者。由于AMR是對文本進行抽象語義表示,拋開了句子的語法結構保存了文本的語義信息,因此它可以被應用于許多語義相關的自然語言處理任務中,如文本摘要[2]、機器翻譯[3]等。

Figure 1 Example of cross-lingual AMR parsing圖1 跨語言AMR解析示例

近年來,AMR解析的相關研究多是圍繞英文開展。Konstas等人[4]首次將AMR解析看作是一個序列到序列的問題,引起了廣泛關注。隨后,基于Transformer序列到序列模型[5]的AMR解析成為AMR解析的主流方式。Ge等人[6]通過向序列到序列的AMR解析模型中引入句法和語義知識,提高AMR解析性能。Xu等人[7]也將AMR語義解析作為序列到序列的任務,并聯合機器翻譯任務、句法分析任務以及AMR解析任務進行預訓練,最后在AMR語料上進行微調,最終性能獲得了極大的提升。Yu 等人[8]探究在使用序列到序列模型時融入AMR圖的結構化信息,針對解碼端已經解碼的字符構建AMR子圖,再根據當前解碼端的輸入字符,在子圖中找到其祖先結點,將這部分信息融入到解碼端,輔助解析下一個字符。Bevilacqua等人[9]以預訓練模型BART(Bidirectional and Auto-Regressive Transformers)作為初始化模型。與Ge等人[6]和Xu等人[7]的工作不同的是,該文獻對AMR圖的線性化方式有所改變,使用自定義符號對AMR圖的概念進行替換,解決了AMR圖線性化過程中共入概念信息不一致的問題。

受語料資源的限制,目前大部分AMR的相關研究都是面向英文的。受啟發于句子的語義表示是跨語言的,Damonte 等人[10]首次提出跨語言AMR解析任務,其實驗結果表明AMR語義表示可以在不同語言之間共享;還對AMR數據集LDC(Linguistic Data Consortium)2015E86[1]中的測試集進行了翻譯,并公開了其他非英文(德文、西班牙文、意大利文和中文)的AMR解析測試集,即LDC2020T07[10]數據集。圖1是跨語言AMR解析的一個例子,可以看到,對于語義相同的英文和德文,它們的AMR是一致的。

在特定語言的AMR解析任務中,由于缺少人工標注的AMR語料,相關研究多集中于跨語言AMR解析,即以AMR作為公共的語義表示,實現目標語言的AMR解析。例如,Xu等人[11]利用大規模平行語料,提出多任務預訓練的方法進行跨語言AMR解析,以德文為例,在預訓練過程中聯合英-德和德-英機器翻譯、英文AMR分析、德文AMR解析、AMR-英文文本生成和AMR-德文文本生成共6種任務,并提出了多種微調方法,最終在德文AMR解析上獲得了70.45%的SmatchF1值。Cai等人[12]也借助已有的翻譯系統,將目標語言翻譯為英文,并聯合英文輸入進行跨語言AMR解析。

以上相關研究假設存在英文與目標語言的平行句對,或存在高性能的英文與目標語言翻譯系統。與這些相關工作不同的是,本文是探討在沒有平行句對或高性能翻譯系統的情況下的跨語言AMR解析。也就是說,假設僅存在英文和目標語言單語文本,如何實現高性能的跨語言AMR解析。受啟發于無監督機器翻譯任務[13]以及Xu等人[11]的相關工作,本文將AMR解析看作是序列到序列的生成任務,并與無監督機器翻譯任務一起進行基于多任務學習的預訓練。具體地,在數據方面,本文主要是圍繞單語英文語料進行,同時借助單語目標語言語料實現跨語言AMR解析任務。為了實現目標語言到AMR的映射,需要構建(英文,目標語言,AMR)三元(偽)平行語料。首先,構建平行語料(英文,AMR),本文采用AMR解析工具,對單語英文進行解析,獲得(英文,AMR)的偽平行語料;然后,構建目標語言與平行語料(英文,AMR)英文端的映射,以英文作為橋梁,構建(目標語言,AMR)訓練語料。由于不具備(英文,目標語言)平行語料,本文主要是在預訓練階段引入機器翻譯任務,實現英文到目標語言的翻譯。在任務方面,本文引入無監督機器翻譯方法構建英文到目標語言的翻譯;為了更好地指導目標語言AMR解析任務,在預訓練階段還引入英文AMR解析任務;預訓練的最后一個任務是目標語言AMR解析任務。在預訓練階段結束后,利用預訓練后模型的翻譯能力對AMR 2.0金標準語料的源端英文進行翻譯,獲得(目標語言,AMR)銀標準語料,并基于該語料進行微調。本文分別以德文、西班牙文和意大利文作為目標語言,實現跨語言AMR解析。基于LDC2020T07[10]的實驗結果表明,本文提出的方法是有效的,在德文、西班牙文、意大利文分別獲得了67.89%,68.04%和67.99%的SmatchF1值。

本文的主要工作包括:

(1)首次探索了在沒有目標語言和英文平行語料或者高性能英文-目標語言翻譯系統的情況下,如何實現高性能的跨語言AMR解析。

(2)提出了融合無監督機器翻譯和AMR解析的多任務學習預訓練方法。在預訓練過程中,隨著翻譯性能的提升,跨語言解析的質量也將逐步提升。

(3)基于LDC2020T07[10]進行實驗,實驗結果表明,以德文、西班牙文和意大利文為目標語言的跨語言AMR解析性能分別達到了67.89%,68.04%和67.99%的SmatchF1值。

2 相關工作

2.1 AMR解析

自從Banarescu等人[1]提出了英文AMR的標注準則,并且公布AMR的標注語料,就開啟了一系列針對AMR解析的研究。目前基于AMR解析的研究主要是基于以下幾種方式:首先是兩階段的AMR解析[14-17],該方法首先生成節點,然后再構建邊;其次是基于轉移的AMR解析[18-20],這種方法將源端詞匯與目標端AMR圖的概念進行對齊,隨后針對源端不同的詞匯采取不同的轉移行動來構建邊或插入節點;然后是基于圖的AMR解析[21,22],提出該方法是為了更好地建模圖結構,基于圖的遍歷順序DFS(Depth First Search)或BFS(Breadth First Search)生成節點;最后是基于序列到序列的方式進行AMR解析[7,23,24],該方法首先對AMR圖進行序列化,序列化的方法包括BFS和DFS,然后使用序列到序列模型進行AMR解析。

上述這些方法中,序列到序列的方法使用廣泛且受到很多研究人員的青睞,因為該方法實現簡單且性能可觀。且隨著預訓練模型在AMR解析任務中成功應用,使用預訓練模型進行AMR解析也逐漸形成主流。如Bevilacqua等人[9]使用BART作為預訓練模型,以序列到序列的方式進行AMR解析,通過探索不同的線性化方法達到了當時最好的性能;Bai等人[25]在BART預訓練模型的基礎上,針對AMR的圖結構提出了圖的預訓練方法,并將預訓練與微調的任務進行統一,在AMR解析任務中取得了不錯的性能提升。

2.2 跨語言AMR解析

上述所有相關的研究都是探究英文AMR解析任務。由于缺乏跨語言AMR的訓練語料,針對目標語言AMR解析任務的研究非常有限。實際上,能否將AMR應用在不同語言仍然是個開放性的問題。

Vanderwende等人[26]首次進行跨語言AMR解析任務,首先將目標語言文本解析為語義形式,然后將其作為錨點解析成AMR圖。Damonte 等人[10]試圖將目標語言詞匯與AMR的概念進行對齊,使用基于轉移的方法進行跨語言AMR解析。Xu等人[11]提出了跨語言AMR解析的預訓練模型,實現跨語言AMR解析以及AMR到文本的雙向預測。該模型主要在預訓練階段引入機器翻譯任務,聯合跨語言AMR解析任務在大量外部語料的使用下,實現模型對文本語義的理解。拋開外部語料的使用,Cai等人[12]提出了一種新的方法,將金標準AMR語料的英文端使用機器翻譯模型翻譯成目標語言,隨后以英文和目標語言為輸入,進行跨語言AMR解析。

上述研究都是在具備(英文,目標語言)或者(英文,AMR)平行語料的情況下進行的。本文主要探索僅圍繞單語英文和單語目標語言的情況下如何進行跨語言AMR解析,并提出具體的實現方案。

3 模型和數據準備

3.1 任務定義

跨語言AMR解析是以目標語言文本作為輸入,輸出為目標語言文本對應英文翻譯的AMR圖。在這個任務中,AMR圖的節點依然依托于英文單詞、PropBank(Proposition Bank)集合以及AMR關鍵詞。

以德文為例,圖1給出了跨語言AMR解析的一個例子。通過圖1可以觀察到,跨語言AMR解析的輸入為德文文本,輸出為德文文本對應的AMR序列,最后通過后處理,將AMR序列轉換為AMR圖。

3.2 序列到序列模型

本文使用Transformer[5]作為實驗的模型架構。Transformer使用了縮放的點乘自注意力機制。具體來說,該注意力機制包括查詢矩陣Q、關鍵信息矩陣K和值矩陣V。注意力矩陣的計算如式(1)和式(2)所示:

(1)

S=QKT

(2)

其中,Q,K,V∈RN×d,N表示句子長度,d表示模型維度;M是掩碼矩陣,用于屏蔽句子中無關字符的信息。

Transformer模型包含一個編碼器和一個解碼器。對于編碼器,它包含若干個堆疊的相同層,每一層都有多頭自注意力機制和全連接層。對于多頭自注意力機制的每一個頭,它的計算方法如式(1)和式(2)所示。對于解碼器,它也是由若干個堆疊的相同層構成,每一層都由多頭自注意力機制、上下文注意力機制以及全連接層組成。它的2個注意力機制的計算方式也如式(1)和式(2)所示。不同于多頭自注意力機制,上下文注意力機制的K和V來自編碼端的輸出。

3.3 數據預處理

本文的語料僅包括單語英文、單語德文、單語西班牙文以及單語意大利文。在數據準備階段,使用AMR解析器對單語英文進行解析,構建(英文,AMR)銀標準語料。對于AMR圖的序列化,本文借鑒Xu等人[7]在AMR解析中的預處理方式對AMR圖進行預處理。首先,刪除圖中的指示變量,因為指示變量只是用來指代圖中的相同節點而不具備任何語義信息,刪除后不會影響模型的訓練。本文也去除圖中的wiki鏈接(:wiki),原因為模型可能會鏈接維基百科中不存在的對象。至于共入節點,本文只是簡單地對概念進行復制。最終,將AMR圖轉換為一棵樹,使用以前序遍歷的方式線性化樹,其效果可見圖1b。

3.4 數據后處理

在測試階段,需要將模型輸出的AMR序列進行還原,才能使用評測工具對其進行性能評估。具體做法是恢復在預處理階段去除的變量、wiki鏈接以及共入節點。本文使用Noord等人[24]提供的預處理和后處理工具進行處理。

4 無監督預訓練的跨語言AMR解析

圖2以德文作為目標語言展示了本文預訓練過程的整體架構。圖2a為無監督機器翻譯的過程,包含2個子任務,分別為去噪自編碼和反向翻譯。圖2a以英文輸入為例展示預訓練過程,目標語言輸入預訓練過程與之相同。其中,虛線箭頭代表生成,虛線文本代表模型生成文本。圖2b是跨語言AMR解析過程,包含2個子任務:英文AMR解析以及目標語言AMR解析

Figure 2 Pre-training process of cross-lingual AMR parsing圖2 跨語言AMR解析的預訓練過程

4.1 無監督預訓練

實驗使用Transformer作為基礎模型架構。為了在模型中引入翻譯功能并且考慮到實驗現有的數據,本文在模型中增加了無監督機器翻譯。為了提高無監督機器翻譯的性能,Lample等人[13]使用XLM預訓練模型作為起始模型。簡單來說,本文是在XLM預訓練模型的基礎上繼續進行預訓練。本文定義序列為S,其中英文序列、目標語言序列以及AMR序列分別表示為SE、ST和SA。

4.2 無監督機器翻譯

對無監督機器翻譯而言,預訓練是關鍵因素[27,28]。Lample等人[29]的實驗結果表明,使用預訓練的跨語言詞向量去初始化模型的詞向量能夠使無監督機器翻譯取得重大進展。本文遵循Lample等人[13]的方法,使用XLM預訓練模型作為啟動模型。

無監督機器翻譯任務主要分為2個任務。任務1是去噪自編碼。該任務是針對英文和目標語言展開。先對輸入文本進行加噪,加噪的方式為刪除、打亂和遮掩;然后將輸入的噪聲文本還原為真實文本。這一任務的目的是為了提高模型的魯棒性。任務2是反向翻譯任務。該任務針對單語輸入文本,首先利用模型翻譯為對應的目標語言文本構建偽平行語料,然后進行機器翻譯。具體到本文是目標語言到英文以及英文到目標語言的雙向翻譯任務。以目標語言到英文翻譯為例,首先針對輸入SE,生成對應目標語言文本ST,構成(ST,SE)的偽平行句對,進行機器翻譯訓練。對于英文到目標語言的翻譯,是以目標語言作為輸入按上述相同的步驟進行操作。

4.3 跨語言AMR解析

由于缺乏跨語言AMR的訓練語料,本文將英文文本作為錨點。考慮到僅有單語英文和單語目標語言,如何構建目標語言到AMR的映射是主要問題。首先給定單語英文序列SE,使用AMR解析器對其進行解析,獲得(SE,SA)的偽平行句對。由于預訓練中引入了無監督機器翻譯,模型具備英文和目標語言之間翻譯的能力,因此利用模型對平行句對(SE,SA)的源端SE進行翻譯,得到目標文本ST,構建(SE,ST)的偽平行句對,最終以錨點SE形成(SE,ST,SA)的三元平行句對。

Xu等人[11]在進行跨語言AMR解析預訓練時,采用聯合多任務的方法試圖縮小英文和目標語言之間的差距,并且為了更好地指導跨語言AMR解析,又增加了一項AMR解析任務。Xu等人[11]的實驗結果表明,在預訓練中加入AMR解析任務指導目標語言到AMR序列的映射是可行的,因此本文也增加了AMR解析任務。具體來說,跨語言AMR解析主要包括2個任務:

(1)英文AMR解析任務。該任務主要是針對平行句對 (SE,SA)進行,其主要目的是指導目標任務跨語言AMR解析。

(2)目標語言AMR解析任務。該任務為本文的目標任務,在平行句對(ST,SA)上進行,該平行語料構造過程如上所述。

值得注意的是,在預訓練中跨語言AMR解析的語料始終圍繞單語英文SE進行。平行句對(SE,SA)和(SE,ST)均是通過SE進行翻譯獲得。

4.4 聯合多任務預訓練

到目前為止,預訓練階段一共包含4個任務,分別是去噪自編碼、反向翻譯、英文AMR解析和目標語言AMR解析。其中,去噪自編碼和反向翻譯任務根據輸入的語言類型又分別包含2個子任務:英文的去噪自編碼、目標語言的去噪自編碼;英文到目標語言翻譯、目標語言到英文翻譯。為了將上述任務融合到一個模型中,本文采用多任務學習訓練的方式。

算法1為預訓練階段的整體訓練過程。算法1訓練集中下標N和M表示數據集的規模。算法1第3行首先采樣訓練批數據,第4～22行分別是本文預訓練階段的4個任務。通過算法1可以看到,本文的多任務訓練方式按多個任務順序執行,對于每個任務加載對應批數據進行訓練,更新完模型后再執行下一個任務。

算法1 跨語言AMR解析預訓練過程訓練集:英文ARM Dpara∈{(SE1,SA1),(SE2,SA2),…,(SEN,SAN)},單語目標語言Dmono∈{ST1,ST2,…,STM}1:forepoch=1,…,K do2: forstep=1,…,B do3: 采樣訓練批數(XE,YA)∈Dpara,XT∈Dmono;4: #任務1:去噪自編碼5: #noisy(*)表示對輸入*進行加噪6: L1=-log(XE|noisy(XE));7: 更新模型;8: L2=-log(XT|noisy(XT));9: 更新模型;10: #任務2:反向翻譯11: #translate1(*)表示將輸入翻譯為目標語言12: L3=-log(XE|translate1(XE));13: 更新模型;14: #translate2(*)表示將輸入翻譯為英文15: L4=-log(XT|translate2(XT));16: 更新模型;17: #任務3:英文AMR解析18: L5=-log(YA|XE);19: 更新模型;20: #任務4:跨語言AMR解析21: L6=-log(YA|translate1(XE));22: 更新模型;23: end for24:end for

4.5 微調(Finetuned)

在獲得上述任務的預訓練模型后,就要將其應用在金標準語料上。在微調階段,本文使用AMR 2.0語料,即英文對應的AMR官方語料。對于英文-AMR平行句對(SE,SA),使用前述預訓練完畢的模型將源端英文文本SE翻譯為目標語言ST,構建(ST,SA)的訓練文本,形成(SE,ST,SA)的三元訓練文本。本文的目標是跨語言AMR解析,因此在微調階段只進行目標語言AMR解析。需要說明的是,本文也嘗試用預訓練階段數據在微調階段進行聯合多任務微調,但是效果并不明顯。

5 實驗及結果分析

本節以德文DE(DEntsch)、西班牙文ES(ESpaol)、意大利文IT(ITaliano)作為目標語言,通過實驗驗證本文跨語言AMR解析方法的有效性。

5.1 數據處理

在預訓練階段,對英文、德文、西班牙文以及意大利文使用WMT16的新聞領域的單語語料。對于單語英文而言,訓練數據包含4.4×106個單語句子;對于單語德文、單語西班牙文以及單語意大利文,訓練集的規模為5.0×106個單語句子。為了獲得英文到AMR的偽平行語料,需要使用AMR解析器對單語英文進行解析。本文使用Bevilacqua等人[9]的AMR解析系統,該系統在英文AMR解析任務上獲得了84.5%的SmatchF1值。

微調階段使用AMR 2.0數據集,其訓練集包含36 521個平行句對,開發集和測試集的規模分別為1 368和1 371。

5.2 實驗設置

本文使用在17種語言上(包括德文、西班牙文、意大利文)預訓練的XLM模型作為基礎模型,實驗使用的代碼為XLM的代碼。實驗使用GELU(Gaussian Error Linear Unit)激活函數,丟棄率(Dropout)設置為0.1。模型訓練使用Adam優化器對參數進行更新,其中β1=0.9,β2=0.98。實驗的預熱步數(Warm up)為4 000,學習率在 10-4～ 5×10-4,在解碼過程中使用束搜索(Beam search),束的大小設置為5。預訓練階段,模型針對不同的任務設置不同的批次大小。對于無監督機器翻譯部分,每個子任務的批次大小為2 048個形符(Token);對于跨語言AMR解析部分,每個子任務的批次大小為4 096個形符(Token);微調階段的批次大小為4 096個形符。實驗在Tesla V100 GPU上進行。對于預訓練階段,訓練分為9個階段(epoch),每個階段在單個任務上迭代了2 000次;對于微調階段,訓練分為5個階段(epoch),每個階段迭代2 000次。

5.3 評測

為了評測模型的性能,本文使用LDC2020T07[10]語料庫。該語料庫包含對AMR 2.0測試集人工翻譯的1 371個句子,翻譯的目標語種包含德文、西班牙文以及意大利文。對于AMR解析性能,使用Smatch[30]以及其他細粒度的評判指標[31]。

5.4 實驗結果

表1給出了本文的實驗結果。其中Baselinenone表示以英文為樞軸語言的跨語言AMR解析性能,即使用AMR 2.0語料訓練英文AMR分析器(SmatchF1值為72.58%);然后再將LDC2020T10[10]測試集中的德文、西班牙文以及意大利文使用本文的預訓練模型分別翻譯成英文;再調用英文AMR分析器獲得相應的AMR分析結果。Baselinepre-trained表示本文實現的無監督預訓練模型,該模型未進行微調。Finetuned為將無監督預訓練后的模型在AMR 2.0語料上按3.5節的方法進行微調的結果。從表1可以看出,本文提出的無監督預訓練方法,在性能上遠遠超過Baselinenone的,在德文、西班牙文以及意大利文上的SmatchF1值分別提高了15.24,13.57和14.62。在Baselinepre-trained的基礎上進行微調又進一步提升了跨語言AMR解析的性能,在德文、西班牙文以及意大利文上的SmatchF1值分別較Baselinepre-trained的提高了1.58,1.40和1.79。表1的實驗結果表明,本文在預訓練階段引入的無監督機器翻譯任務能夠縮小語言之間AMR分析性能的差距。Finetuned和Baselinepre-trained的對比結果表明,盡管本文在預訓練階段使用了質量較好的銀標準數據,且體現出的效果也很好,但還是和AMR金標準數據存在差異,使用金標準數據微調依然可以提升AMR解析性能。

Table 1 Performance of cross-lingual AMR Parsing 表1 跨語言AMR解析性能

表2給出了各種細粒度指標的F1值。從表2可知,本文提出的無監督預訓練+微調方法在各個細粒度指標上均遠超Baselinenone的,并且在微調后各個細粒度指標均有不同程度的提升。

5.5 翻譯性能影響

本文實現跨語言AMR解析主要借助自無監督機器翻譯任務。因為本文在預訓練以及微調階段進行跨語言AMR任務的源端數據是通過模型的翻譯功能對AMR語料的源端英文進行翻譯所得,所以本節探究在預訓練的不同階段,翻譯性能對跨語言AMR解析性能的影響。

圖3以德文為例給出了預訓練不同階段的德文AMR解析的SmatchF1值和英文到德文的BELU值,使用的測試集為AMR 2.0測試集中的英文和其對應的德文翻譯,其中橫軸表示迭代次數,縱軸分別表示SmatchF1值和BLEU值。從圖3可以看出,隨著迭代次數的增加,模型翻譯的性能得到了逐步提升,同時目標語言到AMR解析的性能也得到了逐步提升。同時,還觀察到,由于無監督機器翻譯的翻譯性能有限,導致了跨語言AMR解析的源端數據質量不高,因此如何在這種情況下繼續提升跨語言AMR解析的性能是將來研究的重點,其次在未來還將探索在更多語種上進行跨語言AMR解析。

Figure 3 Cross-lingual AMR Parsing performance versus unsupervised translation performance in pre-traing phase圖3 預訓練階段跨語言AMR解析性能 與無監督翻譯性能趨勢圖

6 結束語

本文在既無英文-目標語言平行語料又無英文-AMR平行語料的情況下,探索如何完成跨語言AMR解析任務。以單語英文為錨點構建英文-目標語言-AMR三元語料,具體地,通過在預訓練階段引入無監督機器翻譯實現英文到目標語言的翻譯;并且借助AMR解析器獲得(英文和AMR)的平行語料。以德文、西班牙文和意大利文為目標語言,實驗結果表明本文提出的方法能夠在跨語言AMR解析任務中取得很好的效果。但是,在實驗中也發現,預訓練階段和微調階段使用的目標語言-AMR銀標準訓練語料的源端目標語言和測試集的金標準語料的源端目標語言存在著質量上的差異。因此,接下來的工作中,將探索如何縮短這種差異,提高跨語言AMR解析的性能。

Table 2 Smatch F1 of fine-grained metrics for cross-lingual AMR parsing表2 跨語言AMR解析的細粒度指標的Smatch F1值 %