基于多視角匹配和比較-聚合框架的文本匹配模型

田學(xué)志 王同喜

摘要：機器理解、答案選擇和文本蘊涵等許多自然語言處理任務(wù)都需要對序列進行比較。序列間重要單元的匹配是解決這些問題的關(guān)鍵。文章引用了一種基于多角度匹配的方法來改進通用的“比較聚合”框架的文本匹配模型。給定兩個句子p和q，模型首先使用預(yù)訓(xùn)練的詞嵌入模型將其轉(zhuǎn)換為向量矩陣，然后對其進行編碼使每個詞都能獲得上下文信息，接下來對編碼后的兩個句子進行多視角匹配，然后使用卷積神經(jīng)網(wǎng)絡(luò)將匹配結(jié)果聚合成定長的匹配向量，最后基于匹配向量進行決策。將改進后的模型在WiKiQA和Quora數(shù)據(jù)集上進行了測試，實驗結(jié)果表明相比原來的模型性能有較大的提升。

關(guān)鍵詞：深度學(xué)習;自然語言處理;文本匹配;文本相似度

中圖分類號：TP311? ? ?文獻標識碼：A

文章編號：1009-3044（2022）04-0103-03

1 引言

最近，對序列匹配問題的一些研究的一個共同特點是使用了“比較-聚合”框架[1]。在這樣的框架中，兩個序列的比較是通過比較兩個分別代表整個序列的向量來完成的，然后聚合這些比較結(jié)果，做出最終決定。然而框架[2]中的比較部分的組成單元選擇過于單一，并且比較函數(shù)過于簡單，不能很好比較兩個序列中的語義相似性。所以在本文中，筆者引入了一種多視角、多比較決策的比較匹配方法[3]。

2 問題描述

可以將QA任務(wù)的每個例子表示為一個包含三個元素的元組（P， Q， y），其中P= （p1， ...， pj， ...， pM）是一個長度為M的句子，Q= （q1， ...， qi， ...， qN）是另一個長度為N的句子，y∈ Y是表示P，Q之間關(guān)系的標簽?！?br>