相似問句判別研究

尹慶宇 張宇 劉挺

摘要：對于搜索引擎而言，如何能夠正確理解用戶提出的問題十分重要。而在識別問句的過程中，如何能夠對形式不同而語義相似的問句進行相似性識別后，歸一化處理，則會對整個搜索引擎的效果有一個明顯的提升。對此，本文提出了一種基于機器學習的問句相似性判別模型，從數據集的構建到特征的提取，探究了相應的解決方案。本文創新性地從5個方面提取了不同類型的特征，并將其應用到整個分類器的建模過程中。實驗結果表明，該方法能夠在現有的語料上取得令人滿意的結果，F值達到了83%。

關鍵詞：相似度：問句;機器學習

0引言

搜索引擎正確理解用戶輸入的查詢是十分必要的。在實際應用中對于同一個問題，不同用戶的提問形式往往不同。比如用戶想得到一個U盤格式化的方法，那么有些人會問：“如何對U盤格式化”，還有些人可能會問：“怎么對U盤格式化”，或者“U盤格式化的方法？”等等。如果一個搜索引擎能夠將這些相似問題理解為同一個意思，就能夠正確返回給用戶結果。但是，有些問題雖然形式上比較接近，用戶問的卻是完全不同的意思。比如用戶提問“姚明是誰的爸爸”和“姚明的爸爸是誰”，如果搜索引擎將這2個問題視為同一個，返回的結果之一就是錯誤的，因此，搜索引擎應該能夠將這些問題很好地區分開。

本文將相似問句判別視為一個二元分類問題，即對于兩個問句，或者二者可以歸一化，或者不可以?，F有的判別方法主要分為兩種：基于規則的和基于統計機器學習的?；谝巹t的方法是根據數據的特點抽出一些模板，然后利用模板去匹配句子，如果句子匹配的模板為相似模板，那么二者為相似的句子，反之則不是?；诮y計機器學習的方法是利用一些標注好的數據，抽取特征，選取一個適當的機器學習方法訓練一個分類器，然后利用這個分類器對新數據進行二元分類?；谝巹t的方法受模板所限覆蓋面不是很大，但是相對來說比較準確。模板的抽取方式可以采取人工方式或者從標注好的數據中自動抽取?；诮y計機器學習方法的優點是適用面比較廣，即便是對于數據集中沒有出現過的形式，如果抽取的特征恰當，仍能夠正確地對其進行分類。

1研究方法

主要研究內容分以下幾點。首先是數據問題，即如何獲取數據，以及對于獲取的數據應該做何處理。然后是具體的實現方法，這也是本課題的核心內容。最后是評價問題，即如何評價系統的判別結果的好壞。本文將對上述問題分別進行說明。

1.1數據獲取及處理

首先，需要獲取到若干問題對，然后才能對這些問題對進行分類處理（可歸一化，不可歸一化）。在中文領域，沒有公開的問題對語料，因此，選取了百度知道這個平臺，從網上抓取需要的問題對。

爬蟲算法的流程如圖1所示。其基本流程為：從一系列種子（Seed）網頁開始，使用這些種子網頁中的URL鏈接去獲取其它頁面，把這些網頁中的URL鏈接依次提取出來，訪問URL鏈接對應的頁面。在網絡爬蟲中，使用哈希表記錄一個頁面是否被訪問過，未被訪問的URL鏈接則放入隊列。由調度算法，每次從隊列中取出一個URl.然后通過HTTP協議爬取對應頁面，保存到網頁庫。整個過程不斷重復，直到有足夠的網頁被訪問過，或者已達到其它的既定目標。

由百度知道上爬取了若干網頁原始數據后，需要從中抽取有用的信息，即問題對。由此可知在一個問題的頁面中，存在有如下兩部分內容一類似問題和相關知識，這兩部分內容恰好可以構成所需要的問題對，如圖2所示。問題是：iphone好用么（http：//zhidao.baidu.com/question/542432940.html）。人們抽取了其中的“類似問題”塊同原始問題組成問題對，作為正例（可歸一化的問題對），抽取其中“相關知識”塊同原始問題組成負例（不可歸一化的問題對）。這樣，就獲取了充足的問題對。

1.2一致性判別方法

研究中采用機器學習的方法來處理兩個問句的一致性問題。采用邏輯斯蒂回歸算法進行分類。為了能夠更好地對問題進行判別，除一些基本特征外，人們還從5個方面抽取了問句的相似度信息。表1中列出了抽取的特征，下邊將分別介紹在計算相似度上所使用的方法。

HowNet（即知網）是一部詳盡的中文語義知識詞典，被廣泛應用于計算詞和句子的相似度任務上。雖然和其它的語義詞典一樣，也有一個反映知識結構的樹狀層次體系，但實際上有著本質的不同。在WordNet中，概念是描述詞義的最小單位，所以，每一個概念都是這個層次體系中的一個結點。而在知網中，每一個概念由多個義原組成，概念本身不是這個層次體系中的結點，而義原才是。

對于2個詞W₁和W₂，如果W₁有n個概念[S₁₁，S₁₂…，S_ln]，W₂有m個概念：[S₂₁，S₂₂…，S_2m]，W₁和W₂的相似度Sim（W₁，W₂）為各個概念的相似度的最大值，如公式（1）。

因為所有的概念都最終歸結于用義原來表示，所以義原的相似度計算是概念相似度的基礎。由于所有的義原根據上下位關系構成樹狀的義原層次體系，可以簡單的通過語義距離計算相似度。義原的語義距離如公式（2）。

其中，S₁，S₂表示2個義原，d是S₁，S₂在義原層次體系中的路徑長度。α是一個可調節的參數，在本課題實現的基于HowNet的詞匯語義相似度計算方法中α=0.5。2個詞的相似度計算方法如公式（3）。

樹核（String kernel）算法是通過字符串結構上的特征來計算字符串之間的相似度。Stringkernel計算預處理后的問題對之間的相似度數值，主要是基于字符串核函數的方法。即首先將給定的字符串（問題對）拆分成子串集合（子串的長度可通過參數調節），然后通過核函數計算子串集合之間的相似度，從而通過線性合并得出問題對之間的相似度。

利用Term Weight來計算相似度的方法也是基于向量空間模型（VSM）文本相似度量的一種方法。與用tfidf計算相似度的方法不同之處在于給詞項賦權的方法。本文沒有直接用詞頻等統計信息來給詞項賦權，而是利用了搜索引擎，通過搜索結果的重合率來為句子中的詞項賦權。為詞項賦權所用具體方法如下：

（1）將整個句子放進baidu中檢索，記錄前20個檢索結果。

（2）去掉一個詞，再將句子放人baidu中檢索，記錄前20個檢索結果。

（3）計算第二次的檢索結果占第一次的檢索結果的百分比，然后用1減，得到的數值即可認為是這個詞在句子中的重要性分數。詞的分數越大，說明越重要，其權重就越大。

通過這個方法可以得到一個句子中每個詞項的權重。但是，考慮到如果對每個句子都要放人搜索引擎中檢索多次，時間消耗比較大，所以采用機器學習中的SVM-RANK算法，通過學習來達到自動對句子中的詞項賦權的目的。

對于句子，首先要做預處理，預處理包括分詞，詞性標注，句法依存分析等，以獲得詞語本身的詞性特點以及詞語之間的句法上的關系。對于句子中的每個詞項選取以下特征：

（1）NOUN：該詞是否是名詞。

（2）S&C：該詞是否是主語或者賓語。

（3）TermFreq（詞頻）：詞語在整個文檔中出現的次數。

（4）DocFreq（文檔頻率）：整個文檔中出現該詞的文檔的個數，

通過這種方式，可以得到一個句子中每個詞項的權重，同tfidf方法一樣，為每個文本（問句）建立向量空間模型，通過余弦計算得到2個句對之間的相似度，

在網頁排序算法中，一般認為，如果一個網頁被很多其它網頁鏈接，那么這個網頁相對來說是比較重要的網頁。模仿這種思想，從一個句子的依存樹中，通過各個詞項的依存關系，也對各個詞的權重做出了衡量。

利用這個方法得到的權重，也能夠從一定方面反應詞項在句子中的重要性。利用這樣的方法，通過人度給一個句子中的詞賦權。對于詞w.其權重公式為W=In/Norm。這里的In表示詞W的依存鏈人度。Norm為這個句子中所有詞的人度和。賦權后，利用權重為問句建立向量空間模型，然后通過余弦計算得到2個句對之間的相似度。

其它特征的提取包括了一些比較常規的特征，如2個句對的詞數差、句對的長度差、句對的包含關系等。上文所述的種種特征都能夠從某些方面來得到2個問句的相似信息，但是并沒有對句子中的詞序做出區分。比如對于這樣兩個問句：“謝霆鋒爸爸是誰”，“謝霆鋒是誰爸爸”。已經提取的特征沒有辦法區分這種關系，因此引入了另外一類特征一句法結構特征。

在這類體征中，人們借助了二元組的思想，對于每個問句構建了一個“二元組”。構建方式如下：通過依存句法樹，然后在這顆樹上獲取HED、SBV、VOb.3個節點的信息作為句子的二元組，然后通過比較2個句子的二元組成分是否一致作為特征加入分類器。對于句子“謝霆鋒是誰兒子”，其二元組抽取為“謝霆鋒”，“是”，“誰”。而句子“謝霆鋒兒子是誰”的二元組則會被抽取為“兒子”，“是”，“誰”。通過這類特征的提取，能夠很好地從詞序的關系上獲取問句的相似信息。

1.3 評價規則

本系統中采用在自然語言處理領域常用的3個評價指標，對實驗結果進行評價。即準確率（precision）、召回率（recall）和F值（Fl Score）。

2實驗結果

實驗中共計標注了4000個問題對。采用測試和訓練的語料比例為1：4.即80%的數據用來訓練，余下20%的數據用來測試。在測試的過程中，采用5輪迭代取平均的測試方法，得到最終的準確率p.召回率R和F值見表2。

從結果中不難看出，在提問類句子歸一化問題上，基本達到了實用的水平，能夠從一定程度上對問句是否能歸一化做出判斷。

3結束語

隨著大數據時代的到來，人們被海量的信息淹沒。如何從海量的信息中找到所需要的信息是目前的一大挑戰。對于同一個問題，不同用戶的提問形式往往不同，因此如何判斷用戶輸入查詢的語義是否一致對改善搜索性能具有重要意義。本研究將這一問題定義成了一個二元分類問題，即查詢的語義是否一致。然后，在百度知道上面爬取了大量的語義查詢對，并對其進行了人工標注。為了能夠覆蓋查詢的語義信息，人們對問句從不同方面提取了幾十個特征，如HowNet相似度、String Kernel相似度、tf-idf相似度、Term Weight、依存句法分析等特征。選擇了二項邏輯斯蒂回歸方法構建分類器，該方法在標注的數據集上F值達到了0.83。本文在問句一致性的研究上提出了相對有效的語義一致性判斷算法。為提問類句子歸一化研究做出了一些探索。雖然，本文取得了不錯的實驗結果，但是還存在很多問題：例如訓練數據稀疏問題：自然語言處理工具的分析錯誤等問題，這些問題將有待進一步研究解決。