一種基于依存句法和WRD 的句子相似計(jì)算方法*

周 俊，石元兵，魏 忠，金貴濤，郭 紅

（衛(wèi)士通信息產(chǎn)業(yè)股份有限公司，四川 成都 610041）

0 引言

在自然語言處理技術(shù)中，句子相似度計(jì)算是一項(xiàng)重要的基礎(chǔ)研究技術(shù)，被廣泛應(yīng)用于很多領(lǐng)域。比如，在信息檢索領(lǐng)域中，可以使用句子相似計(jì)算技術(shù)計(jì)算輸入查詢句的相似檢索句子，從而得到更準(zhǔn)確的檢索結(jié)果；在敏感數(shù)據(jù)檢測(cè)領(lǐng)域，可以使用句子相似計(jì)算技術(shù)來檢測(cè)目標(biāo)文檔的句子與指定敏感句是否相似，從而判斷目標(biāo)文檔是否是敏感文檔。因此，句子相似計(jì)算技術(shù)的發(fā)展與很多領(lǐng)域的技術(shù)應(yīng)用密切相關(guān)，成為自然語言處理技術(shù)中的一個(gè)研究重點(diǎn)。

目前，主要的句子相似計(jì)算技術(shù)可以分為以下幾類。

（1）基于統(tǒng)計(jì)的相似度計(jì)算[1]，即對(duì)兩個(gè)句子的字、詞語、短語等不同成分維度的不同特征（如字頻、詞頻、TF-IDF[2]等）進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果越相近表示兩個(gè)句子越相似。這種方法的弱點(diǎn)是沒有考慮語義維度上的相似性。

（2）基于語義詞典的相似度計(jì)算[3]。因?yàn)檎Z義詞典（如同義詞詞林、知網(wǎng)等）能夠表征兩個(gè)詞語之間的語義相似關(guān)系，所以可以使用語義詞典（如同義詞詞林、知網(wǎng)等）檢測(cè)兩個(gè)句子的語義相似詞語。語義相似詞語越多，表示這兩個(gè)句子越相似。這種方法的弱點(diǎn)是語義相似詞典的詞語太少，無法滿足層出不窮的新詞語。

（3）基于向量空間模型的相似度計(jì)算，即把句子轉(zhuǎn)化為向量來表示，從而使兩個(gè)句子的相似計(jì)算轉(zhuǎn)變?yōu)閷?duì)應(yīng)的兩個(gè)向量的距離計(jì)算。常用的向量模型有VSM、LSA、Word2vec 等[4]。這種方法的弱點(diǎn)是假設(shè)句子中的所有詞語都是獨(dú)立的，沒有考慮詞語之間的內(nèi)部關(guān)聯(lián)。

針對(duì)上述3 種方法的不足，本文提出一種基于依存句法分析和Word Rotator’s Distance 語義距離技術(shù)的句子相似度計(jì)算方法。該方法首先使用依存句法分析技術(shù)對(duì)句子的詞語進(jìn)行依存關(guān)系分析，提取出句子中的主謂、定中以及狀中等結(jié)構(gòu)詞語組成特征集，然后使用Word Rotator’s Distance 語義距離技術(shù)計(jì)算兩個(gè)句子的特征集的相似關(guān)系。本文提出的句子相似度計(jì)算方法充分考慮了句法結(jié)構(gòu)關(guān)系，消除了多詞語混雜計(jì)算的弊端，能夠充分理解句子的完整語義，且實(shí)驗(yàn)效果證明了其是一種比較準(zhǔn)確的句子相似計(jì)算方法。

1 依存句法分析

句法分析是對(duì)句子進(jìn)行分析以得到句子的句法結(jié)構(gòu)或詞語之間關(guān)系的處理過程。句法分析技術(shù)是語言理解的重要一環(huán)，也能夠?yàn)槠渌匀徽Z言處理任務(wù)提供支持。

最常見的句法分析任務(wù)可以分為兩種。

（1）句法結(jié)構(gòu)分析（Syntactic Structure Parsing），又稱短語結(jié)構(gòu)分析（Phrase Structure Parsing），也叫成分句法分析（Constituent Syntactic Parsing），作用是識(shí)別出句子中的短語結(jié)構(gòu)以及短語之間的層次句法關(guān)系，用短語結(jié)構(gòu)來描述句子語法結(jié)構(gòu)并理解句子語義。

（2）依存關(guān)系分析，又稱依存句法分析（Dependency Syntactic Parsing），簡(jiǎn)稱依存分析，作用是識(shí)別句子中詞語與詞語之間的相互依存關(guān)系，用詞語與詞語之間的依存關(guān)系來描述句子語法結(jié)構(gòu)并理解句子語義。

依存句法由法國(guó)語言學(xué)家Tesniere L最先提出。在依存句法理論中，句子成分之間普遍存在支配和被支配的關(guān)系，叫做依存關(guān)系。依存關(guān)系和語義緊密關(guān)聯(lián)，可以反映出句子各成分之間的語義修飾關(guān)系，因此可以通過解析詞語之間的依存關(guān)系來分析句法結(jié)構(gòu)，實(shí)現(xiàn)對(duì)句子語義的準(zhǔn)確理解[5]。

通常一個(gè)依存關(guān)系發(fā)生在兩個(gè)詞語之間。這兩個(gè)詞語構(gòu)成了一個(gè)依存對(duì)：一個(gè)詞語是核心詞（Head），也叫支配詞；另一個(gè)詞語是修飾詞，也叫從屬詞（Dependent）。依存關(guān)系通常用一個(gè)有向弧表示，叫做依存弧。依存弧的方向由從屬詞指向支配詞。根據(jù)兩個(gè)詞語之間的不同句法關(guān)系，可以將依存關(guān)系細(xì)分為不同的類型。常見的依存關(guān)系類型如表1 所示。

表1 常見的依存關(guān)系類型

與短語結(jié)構(gòu)句法相比，依存句法具有以下優(yōu)點(diǎn)：

（1）在依存句法中，所有的依存關(guān)系都是以動(dòng)詞為核心，能夠突出句子中的核心詞語；

（2）在依存句法中，依存關(guān)系強(qiáng)調(diào)了句子各詞語之間的功能關(guān)系，更易于進(jìn)行句子的語義表示。

例如，“句子相似計(jì)算是自然語言處理技術(shù)的一個(gè)重要研究方向”的依存關(guān)系圖如圖1 所示。

對(duì)應(yīng)的依存關(guān)系如表2 所示。

圖1 依存關(guān)系圖例子

表2 依存關(guān)系例子

可以看出，對(duì)句子進(jìn)行依存句法分析能夠比較準(zhǔn)確地反映句子的結(jié)構(gòu)，且依存對(duì)的詞語能夠比較準(zhǔn)確地反映出句子的語義。

因此，通過依存句法對(duì)句子進(jìn)行語法結(jié)構(gòu)分析后得到的依存關(guān)系和詞語，能夠用來進(jìn)行句子相似計(jì)算。兩個(gè)句子同類型的依存關(guān)系越多，每類依存關(guān)系的詞語越相近，這兩個(gè)句子就越相似。

2 WRD 語義距離

詞語旋轉(zhuǎn)距離（Word Rotator’s Distance，WRD）是2020 年Yokoi S、Takahashi R 等人提出的計(jì)算兩個(gè)文檔之間距離的方法[6]。WRD 是對(duì)詞移距離（Word Mover’s Distance，WMD）算法的改進(jìn)，是在詞向量Word2vec 的基礎(chǔ)上用來衡量?jī)蓚€(gè)文檔相似度的算法。它綜合兩個(gè)文檔中所有詞語（去除停用詞）來計(jì)算文檔相似度，適用于文檔相似度和短文本相似度的計(jì)算。

Word2vec 是2013 年谷歌提出的一種將詞語表征為向量的工具[7]，是目前應(yīng)用最廣泛的詞向量技術(shù)之一。Word2vec 將詞語表示為N維空間中的點(diǎn)。在該N維空間中點(diǎn)的距離可以表征詞語間的相似度。距離越小，相似度越高。在Word2vec 詞向量空間中能夠展現(xiàn)詞語的語義特性如：

可見，利用Word2vec 能夠提取出詞語的語義關(guān)系，為計(jì)算文本相似度提供了條件。

WMD 是于2015 年由Matt J.Kusner 等人提出的一種利用詞向量計(jì)算多個(gè)詞語之間距離的算法[8]，用于表征兩個(gè)文檔之間的語義相似度（WMD 距離越大，文檔之間相似度越小）。WMD 算法基于搬土距離（Earth Mover’s Distance，EMD）模型計(jì)算文檔間的距離。EMD 模型是一種兩個(gè)概率分布間距離的度量方式，一個(gè)典型的實(shí)例是運(yùn)輸問題，即從倉(cāng)庫(kù)1、倉(cāng)庫(kù)2 運(yùn)送貨物到用戶A、用戶B 最優(yōu)運(yùn)送方式的問題，綜合考慮倉(cāng)庫(kù)貨物的存儲(chǔ)量、用戶需求量以及倉(cāng)庫(kù)到用戶距離，通過線性規(guī)劃可以找出最小代價(jià)的運(yùn)送方式。WMD 計(jì)算兩個(gè)文檔之間的相似度，是將文檔A 中的詞語視為貨物，將文檔B 中的詞語視為用戶，將詞語間的相似度視為距離，將詞語在文檔中的權(quán)重視為貨物的數(shù)量，以此將文檔A 中的詞語“轉(zhuǎn)移”到文檔B，使用EMD 模型求解最小的“轉(zhuǎn)移”代價(jià)。“轉(zhuǎn)移”過程如圖2所示。

WMD 計(jì)算文檔A 與文檔B 之間距離的步驟如下。

（1）去除停用詞。對(duì)文檔進(jìn)行分詞，并去除文檔中的停用詞。

（2）計(jì)算詞語權(quán)重。采用歸一化詞袋模型（normalized Bag-Of-Words，nBOW）計(jì)算文檔詞語權(quán)重，其中第i個(gè)詞語詞頻權(quán)重表示為：

式中，ci表示詞語i在文檔中出現(xiàn)的次數(shù)。

（3）利用EMD 模型計(jì)算文檔距離。依據(jù)前文對(duì)EMD 的介紹，使用EMD 模型需要先構(gòu)建權(quán)重矩陣和距離矩陣。

①構(gòu)建權(quán)重矩陣。文檔的權(quán)重矩陣由文檔中詞語權(quán)重向量組成，在第（2）步中已經(jīng)對(duì)文檔詞語權(quán)重進(jìn)行了計(jì)算，記文檔A 的權(quán)重矩陣為d∈Rn，文檔B 的權(quán)重矩陣為d′∈Rn。

圖2 WMD 例子

②構(gòu)建距離矩陣。Word2vec 向量空間中提供了一種天然的距離計(jì)算方式，即歐式距離。記詞語i到詞語j的距離為：

式中，c(i,j)表示從一個(gè)詞語i轉(zhuǎn)移到詞語j需要的代價(jià)。

記文檔A 中詞語i到文檔B 中詞語j的轉(zhuǎn)移量為Tij≥0。為了使文檔A 中的詞語能夠完全轉(zhuǎn)移到文檔B 中，則文檔A 中詞語i的轉(zhuǎn)出量必須等于詞語i自身的權(quán)重（倉(cāng)庫(kù)的出貨量等于儲(chǔ)存量），即：

同理，文檔B 中詞語的轉(zhuǎn)入量必須等于自身的權(quán)重（用戶的收貨量等于需求量），即：

因此，文檔A 到文檔B 的距離為：

使用EMD 模型求解，可得文檔A 與文檔B 的距離。

WRD 算法在WMD 算法上做了兩點(diǎn)改進(jìn)。

（1）對(duì)權(quán)重矩陣的改進(jìn)。在WMD 中以詞頻作為權(quán)重，而WRD 以詞向量模長(zhǎng)作為權(quán)重矩陣，即權(quán)重矩陣為：

（2）對(duì)距離矩陣的改進(jìn)。在WMD 中以詞向量的歐式距離作為詞語的距離，而WRD 以詞向量的cosine 距離作為詞語的距離，即：

改進(jìn)后的WRD充分利用了詞語語義上的特點(diǎn)，結(jié)合Word2vec 計(jì)算詞語間的語義相似度，從而更大程度地挖掘了文檔間的語義相似。WRD 以cosine距離作為距離的度量方式，使WRD 算法的取值范圍為[0，2]，利于文檔相似結(jié)果的判斷。

WRD 與WMD 對(duì)比如表3 所示。

表3 WRD 與WMD 例子對(duì)比

從表3 計(jì)算結(jié)果可以看出，WRD 語義距離在取值范圍[0，2]之間，更便于進(jìn)行輔助決策。

3 算法流程

本文提出的基于依存句法分析和WRD 語義距離技術(shù)的句子相似計(jì)算方法流程，如圖3 所示。

圖3 句子相似計(jì)算流程

3.1 步驟1：句法分析

對(duì)兩個(gè)句子A、B 分別進(jìn)行依存句法分析，得到各類依存關(guān)系的依存對(duì)。例如，句子A 的主謂關(guān)系依存對(duì)SBV_A、句子A 的定中關(guān)系依存對(duì)ATT_A 等，同一類型的依存對(duì)可能會(huì)有多個(gè)。例句A“數(shù)據(jù)安全是信息安全領(lǐng)域的一個(gè)重要環(huán)節(jié)”、例句B“對(duì)敏感數(shù)據(jù)進(jìn)行識(shí)別和保護(hù)是數(shù)據(jù)安全的一個(gè)重要研究方向”，對(duì)應(yīng)的依存對(duì)如表4 所示。

3.2 步驟2：提取詞集

提取每個(gè)依存對(duì)中的支配詞和從屬詞，組成各類依存關(guān)系的支配詞集（Word set of Head）和從屬詞集（Word set of Dependency），如表5 所示。

3.3 步驟3：計(jì)算WRD 語義距離

分別對(duì)兩個(gè)句子的同一種依存關(guān)系的同類詞集進(jìn)行WRD 語義距離計(jì)算，如果支配詞集或者從屬詞集的WRD 語義距離小于某個(gè)閾值（一般設(shè)置為0.8），表示支配詞集或者從屬詞集相似，則這兩個(gè)句子具有部分相似的該種依存關(guān)系；如果該種依存關(guān)系的支配詞集或者從屬詞集都相似，則這兩個(gè)句子之間具有完全相似的該種依存關(guān)系。

表4 例句A 與B 的依存對(duì)

表5 例句A 與B 的依存詞集

表6 例句A 與B 的依存詞集相似結(jié)果

3.4 步驟4：句子相似指數(shù)

通過對(duì)大量語言材料的統(tǒng)計(jì)分析發(fā)現(xiàn)，不同類型句子進(jìn)行相似技術(shù)應(yīng)該重點(diǎn)關(guān)注不同的依存關(guān)系，如在對(duì)政府報(bào)告、技術(shù)報(bào)告、科技文獻(xiàn)等比較正式場(chǎng)景的語言材料要較多關(guān)注主謂、動(dòng)賓、間賓等依存關(guān)系，而在對(duì)新聞、社交等比較非正式場(chǎng)景的語言材料要較多關(guān)注定中、附加等依存關(guān)系。因此，本文給每個(gè)依存關(guān)系詞集設(shè)計(jì)了一個(gè)權(quán)重，可以根據(jù)業(yè)務(wù)要求進(jìn)行調(diào)整，初始值都為1。將相似依存關(guān)系詞集的權(quán)重值進(jìn)行累加，并根據(jù)式（1）計(jì)算得到一個(gè)介于0 和1 之間的句子相似指數(shù)Indexsim。句子相似指數(shù)越接近0，表示兩個(gè)句子越不相似；越接近1，表示兩個(gè)句子越相似。

例句A“數(shù)據(jù)安全是信息安全領(lǐng)域的一個(gè)重要環(huán)節(jié)”和例句B“對(duì)敏感數(shù)據(jù)進(jìn)行識(shí)別和保護(hù)是數(shù)據(jù)安全的一個(gè)重要研究方向”，都是從科技文獻(xiàn)語言材料中摘取出來的，因此將主謂關(guān)系支配詞集和主謂關(guān)系從屬詞集的權(quán)重都設(shè)置為2，其他權(quán)重保持不變，得到兩個(gè)句子的相似指數(shù)：

它表示句子A 與句子B 之間部分內(nèi)容相似。

4 實(shí) 驗(yàn)

下面討論本文的技術(shù)方法與前文論述的3 種方法的比較。

4.1 實(shí)驗(yàn)數(shù)據(jù)說明

本文實(shí)驗(yàn)數(shù)據(jù)選取兩個(gè)教育新聞進(jìn)行相似計(jì)算，使用維基中文百科和新聞?wù)Z料訓(xùn)練的具有超800 萬詞語量的詞向量模型。

文件1：“針對(duì)最近我國(guó)赴比利時(shí)留學(xué)人員接連發(fā)生入境時(shí)被比海關(guān)拒絕或者辦理身份證明時(shí)被比警方要求限期出境的事件，教育部23 日提醒赴比利時(shí)留學(xué)人員應(yīng)注意嚴(yán)格遵守比方相關(guān)規(guī)定。據(jù)記者了解，發(fā)生以上問題的主要原因是：部分留學(xué)人員未能按大學(xué)或者語言培訓(xùn)中心錄取通知書規(guī)定的時(shí)間報(bào)到，在入境時(shí)被比海關(guān)扣留，一旦學(xué)校答復(fù)不予注冊(cè)，就被拒絕入境；有的留學(xué)人員聽信網(wǎng)上發(fā)布的信息或傳言，花錢購(gòu)買所謂‘合法’經(jīng)濟(jì)擔(dān)保，辦理身份證明；有的甚至使用假經(jīng)濟(jì)擔(dān)保辦理身份證明，比政府有關(guān)部門發(fā)現(xiàn)查證后，留學(xué)人員被要求限期離境。為防止類似事件再次發(fā)生，教育部提醒赴比利時(shí)高校或者語言培訓(xùn)中心學(xué)習(xí)的留學(xué)人員，必須嚴(yán)格遵守比利時(shí)的相關(guān)規(guī)定，要按照通知的入學(xué)注冊(cè)日期到學(xué)校報(bào)到。如果因故延遲，請(qǐng)事先與學(xué)校聯(lián)系并獲得批準(zhǔn)。另外，不要輕信網(wǎng)上或者其他人發(fā)布的可以‘有償提供合法經(jīng)濟(jì)擔(dān)保或合法身份證明’的信息，以免遭受不必要的損失。”

文件2：“在3 月24 日的法國(guó)文化開放日活動(dòng)的留學(xué)專題講座中，法駐穗總領(lǐng)事館文化處文化教育領(lǐng)事穆沙琳、法國(guó)駐華大使館語言與學(xué)術(shù)評(píng)估中心CELA 廣州地區(qū)主任沈伊莎貝爾、法國(guó)教育國(guó)際協(xié)作署廣州辦事處負(fù)責(zé)人劉媛媛就有關(guān)留學(xué)法國(guó)進(jìn)行解答。據(jù)介紹，法國(guó)的留學(xué)政策會(huì)優(yōu)先考慮理工科、商科或管理類專業(yè)、碩士及碩士以上學(xué)歷以及校級(jí)交流和獲得獎(jiǎng)學(xué)金的學(xué)生。雖然去法國(guó)讀書的大部分是經(jīng)濟(jì)類專業(yè)的學(xué)生，藝術(shù)類專業(yè)學(xué)生也不少，這些學(xué)生法國(guó)都?xì)g迎，但更歡迎理工科學(xué)生。法領(lǐng)館的人士強(qiáng)調(diào)，對(duì)學(xué)生沒有明確的分?jǐn)?shù)線要求，主要看各個(gè)學(xué)生的具體情況。有關(guān)人士表示，面試時(shí)會(huì)了解學(xué)生在中國(guó)讀書的情況、專業(yè)，去法國(guó)留學(xué)的計(jì)劃，希望拿到一個(gè)什么樣的文憑，以后想找什么樣的工作，從事什么職業(yè)等。據(jù)介紹，有的學(xué)生到法國(guó)后可能會(huì)換專業(yè)，法國(guó)方面會(huì)考慮學(xué)生本身的條件，看他選的專業(yè)對(duì)不對(duì)，并提出一些建議。”

4.2 實(shí)驗(yàn)分析

本實(shí)驗(yàn)使用句子相似計(jì)算中3 種常見方法TFIDF、語義詞典、詞向量加權(quán)平均以及本文提出的依存句法+WRD 方法進(jìn)行相似度計(jì)算，結(jié)果如表7所示。

表7 4 種句子相似結(jié)果對(duì)比

從表7 的結(jié)果來看：TF-IDF 和語義詞典的相似結(jié)果錯(cuò)誤，因?yàn)檫@兩種方法都無法準(zhǔn)確度量相似詞語；詞向量加權(quán)平均雖然得到了正確的相似計(jì)算結(jié)果，但是相似計(jì)算得分不高，因?yàn)檫@種方法對(duì)所有詞語一視同仁，沒有考慮不同句法結(jié)構(gòu)上的詞語應(yīng)該區(qū)別對(duì)待；依存句法+WRD 方法得到了較高的相似計(jì)算得分，體現(xiàn)了這兩個(gè)文檔的高度相似關(guān)系。

5 結(jié)語

準(zhǔn)確的句子相似計(jì)算對(duì)數(shù)據(jù)安全業(yè)務(wù)非常重要，可以給分類、自動(dòng)摘要等應(yīng)用提供準(zhǔn)確的決策輔助。本文通過融合依存句法分析技術(shù)和WRD 語義距離技術(shù)，設(shè)計(jì)了一種增強(qiáng)的句子相似計(jì)算方法。實(shí)驗(yàn)結(jié)果表明，該方法得到的句子相似結(jié)果更加準(zhǔn)確和全面，能夠?yàn)閿?shù)據(jù)安全防護(hù)應(yīng)用提供更好的輔助決策和更全面的業(yè)務(wù)分析手段。