基于用戶興趣和需求的問句推薦新方法

許　笛　王　健　林鴻飛

(大連理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院　遼寧 大連 116024)

?

基于用戶興趣和需求的問句推薦新方法

許笛王健林鴻飛

(大連理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院遼寧 大連 116024)

問句推薦在CQA中主要是針對(duì)用戶提出來的新問題進(jìn)行需求分析，然后在歷史問答對(duì)中找到與用戶原始問題最相關(guān)的問題，從而在不能給用戶提供精確結(jié)果的情況下，為用戶帶來更多的選擇，從而提高用戶的體驗(yàn)。提出一種基于用戶興趣和需求的問句推薦方法，主要是利用PLSA模型根據(jù)用戶歷史回答問題的記錄去發(fā)現(xiàn)用戶的興趣，同時(shí)采用基于翻譯模型根據(jù)用戶的查詢預(yù)測(cè)用戶的需求。結(jié)合用戶的興趣和需求在問答語料庫(kù)中推薦最相關(guān)的問句。實(shí)驗(yàn)在Yahoo! Answers上抽取的真實(shí)標(biāo)注數(shù)據(jù)集上進(jìn)行，對(duì)比實(shí)驗(yàn)結(jié)果表明，該方法在性能上得到了較好的結(jié)果。

社區(qū)問答問句推薦翻譯模型

0　引　言

隨著Web2.0的快速發(fā)展，社區(qū)問答系統(tǒng)已經(jīng)成為比較流行的在線獲取信息和知識(shí)分享的平臺(tái)。例如雅虎問答，目前最大的社區(qū)問答系統(tǒng)之一，已經(jīng)積累了超過兩千三百萬的問答對(duì)，這些問題和答案都是由社區(qū)的用戶提供的。并且，每天將會(huì)有數(shù)以千計(jì)的問題被提出。然而隨著數(shù)據(jù)指數(shù)級(jí)的增長(zhǎng)，用戶將花費(fèi)大量的時(shí)間去尋找他們感興趣的問題，因此，對(duì)于問題的提出者，將會(huì)等待很長(zhǎng)的時(shí)間才能得到問題的答案。

在社區(qū)問答系統(tǒng)中，為了縮短用戶得到高質(zhì)量答案的等待時(shí)間，需要從歷史問題語料庫(kù)中找到與用戶查詢最相近問題所對(duì)應(yīng)的最佳答案。如果根據(jù)一個(gè)查詢能清楚地得到用戶的興趣，那么就可以很輕松地根據(jù)用戶的興趣去找尋與用戶興趣最相關(guān)的問句所對(duì)應(yīng)的答案。問句檢索和問句推薦都是為了找到與用戶查詢最相關(guān)的問句或潛在興趣相同的問句。對(duì)于用戶的查詢，問句檢索是從問答語料庫(kù)中找到和查詢語義最相似的問句。作為問句檢索的補(bǔ)充，問句推薦是找到和用戶原始查詢信息需求最相似和相近的問句。

為了幫助用戶找到他們感興趣的問題，從而能夠發(fā)現(xiàn)新提出來的問題，并進(jìn)行回答。在雅虎問答系統(tǒng)中我們看到了一些問句推薦技術(shù)的應(yīng)用，比如在用戶主頁將會(huì)看到一些的自動(dòng)生成的基于某些特征的問題列表，例如基于問題提出時(shí)間和等級(jí)。但是這些系統(tǒng)從本質(zhì)上來說并不是典型的推薦系統(tǒng)，因?yàn)樗麄儧]有考慮用戶的興趣，本文采用PLSA模型根據(jù)用戶之前回答的問題去分析用戶的興趣，同時(shí)采用翻譯模型根據(jù)用戶之前回答的問題去分析用戶的需求，然后綜合兩者信息根據(jù)用戶的興趣和需求去生成一個(gè)細(xì)粒度的問句推薦列表。

1　相關(guān)工作

在社區(qū)問答系統(tǒng)中，對(duì)于新提出的問題，在系統(tǒng)原始語料庫(kù)中可能不存在和新提出問題比較相關(guān)的問題。在這種情況下，問句推薦作為問句檢索的補(bǔ)充，就發(fā)揮了相當(dāng)重要的作用。

1.1問句檢索

問句檢索和問句推薦研究的領(lǐng)域從本質(zhì)上來說達(dá)到的效果是一樣的，都是給用戶提供與用戶提問問句最相近的問句。在問句檢索中，對(duì)于一個(gè)查詢問句，問句檢索主要是從問句的語義信息的角度去對(duì)比兩個(gè)問句之間的相似性，側(cè)重于從問句與問句之間詞語的角度去對(duì)比。

問句檢索最早是應(yīng)用在自動(dòng)問答系統(tǒng)(FAQ)中。 Burke等人[1]提出了結(jié)合統(tǒng)計(jì)相似性和語義相似性來對(duì)FAQ中的問句進(jìn)行排序，并取得了不錯(cuò)的效果，其中統(tǒng)計(jì)相似性采用傳統(tǒng)的向量空間模型來計(jì)算，而語義相似性則采用WordNet[2]來進(jìn)行估計(jì)。Sneiders等人[3]提出了基于模板的常見問題檢索系統(tǒng)。Lai等人[4]提出了一種自動(dòng)從Web中獲取常見的自動(dòng)問答系統(tǒng)中的問題，但是沒有研究收集問題集以后的研究。

隨著Web2.0時(shí)代的到來，問句檢索技術(shù)的研究主要集中于社區(qū)問答系統(tǒng)中，眾多學(xué)者積極參與進(jìn)來，并涌現(xiàn)出來一些不錯(cuò)的模型和方法。Shtok等人[5]采用統(tǒng)計(jì)的方法，統(tǒng)計(jì)歷史問答語料庫(kù)中的信息，根據(jù)歷史中已經(jīng)解決的問題，來盡可能多地回答還沒有解決的問題。Riahi等人[6]主要從主題模型的角度出來研究問句主題，并與LDA相比，在性能上有了一定的提高。Jeon等人[7, 8]則綜合比較了現(xiàn)有的多種檢索模型，其中包括向量空間模型、語言模型和翻譯模型等，并把這些模型在相同數(shù)據(jù)集中做了詳細(xì)的比較和分析。他們[9]隨后提出了基于翻譯的語言模型，并且把問句對(duì)象的相關(guān)答案信息也融入到了模型中，取得了不錯(cuò)的效果。以上這些方法雖然在社區(qū)問答系統(tǒng)中從不同的角度都表現(xiàn)出了良好的性能，但是這些方法僅僅以特征向量為處理對(duì)象，難以表示結(jié)構(gòu)化的特征，存在數(shù)據(jù)稀疏問題，有待進(jìn)一步的加強(qiáng)。

1.2問句推薦

相當(dāng)于問句檢索，問句推薦的研究相對(duì)來說要少一些，同時(shí)也表明這個(gè)領(lǐng)域有很大的潛力，近幾年吸引了眾多學(xué)者積極投身這一領(lǐng)域的研究，并涌現(xiàn)出一些不錯(cuò)的推薦方法。Wu等人[10]基于潛在概率語義分析提出了一種自動(dòng)增加的問句推薦模型。問句推薦在他的工作中被認(rèn)為包含用戶的興趣和相關(guān)反饋。Duan等人[11]使用tree-cut模型根據(jù)問句中的特征詞把問句表示成一個(gè)圖模型。Chen等人[12]從機(jī)器學(xué)習(xí)的角度出發(fā)，采用機(jī)器學(xué)習(xí)的方法根據(jù)文本和元數(shù)據(jù)特征建立預(yù)測(cè)模型來預(yù)測(cè)用戶問題的意圖，并根據(jù)用戶意圖推薦相關(guān)的答案，表現(xiàn)出來良好的性能。

以上這些問句查詢和問句推薦是從兩個(gè)不同的角度，從問答語料庫(kù)中檢索到相應(yīng)的相似問句。但是他們沒有考慮到根據(jù)用戶的興趣和需求去考慮問句的相似性和多樣性。本文提出的方法主要是站在用戶的角度，采用PLSA模型根據(jù)用戶之前回答的問題去分析用戶的興趣，并采用翻譯模型根據(jù)用戶之前回答的問題去分析用戶的需求，然后綜合兩個(gè)信息根據(jù)用戶的興趣和需求去生成一個(gè)細(xì)粒度的問句推薦列表，這樣能更加符合用戶的要求，同時(shí)也能更加激起用戶回答問題的欲望。

2　基于PLSA的用戶興趣預(yù)測(cè)模型

為了提高社區(qū)問題系統(tǒng)中的效率，問句推薦技術(shù)應(yīng)該給用戶推薦他們感興趣的問題，這樣才有助于新提出問題能快速等到答案，從而讓提問問題的用戶不必等待過久的時(shí)間。因此解決問句推薦技術(shù)的關(guān)鍵是獲取用戶的興趣。在本文中，我們提出了一種根據(jù)用戶以前回答問題的記錄去分析用戶的興趣。在一個(gè)典型的問答周期中，用戶總是在不知不覺中回答哪些關(guān)于同一個(gè)主題的問題或者是回答的問題之間的主題比較接近。眾所周知PLSA模型具有獲取現(xiàn)在主題的能力，正好適合我們的問題。潛在的變量在PLSA模型中表示相應(yīng)問句的主題，因此，對(duì)于一個(gè)給定的問句集合，用戶和他回答的分布可以用如下公式表示：

(1)

其中u∈u1,u2,…,un表示用戶集合，q∈q1,q2,…,qm表示問句集合，t∈t1,t2，…,tk表示k個(gè)主題，對(duì)于每個(gè)用戶獲取一個(gè)主題。

然而，在一個(gè)真實(shí)的社區(qū)問答系統(tǒng)中，對(duì)于社區(qū)問答系統(tǒng)中的每一個(gè)用戶所回答的問題數(shù)量在問題集合中的比例是很小的，這將意味著由式(1)計(jì)算出來的Pr(u,q)將會(huì)是零。為了解決這個(gè)稀疏問題，我們把計(jì)算用戶和問句的概率轉(zhuǎn)換成用戶到問句中特征詞的概率，因此式(1)將改寫為如下的式(2)表示：

(2)

其中w∈w1,w2,…,wL是問句集合中的特征詞集合，需要注意的是在PLSA模型中允許每個(gè)用戶有多個(gè)主題，反應(yīng)的事實(shí)是每個(gè)用戶可以有多個(gè)興趣。

因此對(duì)于問句集合的對(duì)數(shù)似然估計(jì)L如下：

(3)

其中c(u,w)表示在用戶u所回答問題集合中特征詞w的個(gè)數(shù)模型參數(shù)的學(xué)習(xí)可以使用EM算法在問句集合中去找到一個(gè)最大的對(duì)數(shù)似然估計(jì)：

(4)

(5)

(6)

(7)

然后我們的模型向用戶推薦問句作為后驗(yàn)概率Pr(u|q)，也就是說，用戶u可能回答問題q的概率。根據(jù)貝葉斯法則，我們將計(jì)算Pr(u|q)∝Pr(u,q)，它的結(jié)果將作為包含特征詞q的生成概率，用句子長(zhǎng)度進(jìn)行歸一化：

(8)

其中wi表示問句q中的特征詞，|q|表示問句的長(zhǎng)度。因此，根據(jù)這個(gè)等分對(duì)用戶的問句列表進(jìn)行排序，然后推薦前n個(gè)問句給用戶。

3　基于翻譯模型的用戶需求預(yù)測(cè)模型

3.1基本思想

本文之所以去預(yù)測(cè)用戶的信息需求，主要是基于兩點(diǎn)思想：首先是在社區(qū)問答系統(tǒng)中有一些問句沒有問句的主題部分，因此我們需要一個(gè)模型去預(yù)測(cè)用戶的信息需求，并且根據(jù)用戶的需求去計(jì)算出相應(yīng)的問句推薦列表。其次是信息需求的預(yù)測(cè)不僅在社區(qū)問答中扮演了一個(gè)重要的部分，并且在信息檢索中也至關(guān)重要。因?yàn)楸疚奶岢鲆环N基于翻譯模型的方法來預(yù)測(cè)用戶的信息需求。

3.2統(tǒng)計(jì)機(jī)器翻譯模型

統(tǒng)計(jì)機(jī)器翻譯模型的定義如下首先是需要一個(gè)平行的語料庫(kù)。設(shè)(f(s),e(s)),s=1,2，…,s是一個(gè)平行語料庫(kù)。在一個(gè)句子對(duì)(f,e)，源語言字符串，f=f1f2…fJ含有J個(gè)特征詞，并且e=e1e2…eI含有I個(gè)特征詞。a=a1a2…aJ表示源字符串到目標(biāo)字符串的映射信息。

統(tǒng)計(jì)機(jī)器翻譯模型主要是估計(jì)Pr(f|e)，從源字符串e到目標(biāo)字符串f的轉(zhuǎn)移概率為：

(9)

這里EM算法又來訓(xùn)練校正模型來估計(jì)參數(shù)詞典p(f|e)。

在E步，對(duì)每一個(gè)句對(duì)(f,e)：

(10)

Pr(a|f,e)=Pr(f,a|e)/Pr(a|e)

(11)

在M步,詞典參數(shù)將變成：

(12)

不同的校正模型比如IBM-1到IBM-5和HMM模型對(duì)于Pr(f,a|e)提供不同的分解方式。對(duì)于不同的校正模型對(duì)于相應(yīng)的校正和參數(shù)提供不同的方法。

3.3信息需求預(yù)測(cè)模型

我們對(duì)統(tǒng)計(jì)轉(zhuǎn)移概率預(yù)測(cè)完后，對(duì)每個(gè)特征詞w根據(jù)p(w|Q)進(jìn)行排序，從特征詞生成問句Q的概率為：

(13)

對(duì)于特征詞到特征詞之間的轉(zhuǎn)移概率Ptr(w|t)是特征詞w在問句Q中使用翻譯模型從特征詞a到t的轉(zhuǎn)移概率。上述的公式采用線性平滑，公式后半部分可以看出是語言模型。其中λ是平滑參數(shù)。P(t|Q)和p(t|C)是利用最大似然估計(jì)等到的值。

需要注意的一個(gè)重點(diǎn)是在使用統(tǒng)計(jì)翻譯模型第一次估計(jì)Pr(f|e)和計(jì)算Pr(e|f)要使用貝葉斯最小排序誤差。

(14)

4　基于用戶興趣和需求的問句推薦模型

前面介紹了基于PLSA的用戶興趣預(yù)測(cè)模型和基于翻譯模型的用戶需求預(yù)測(cè)模型，從中可以看出對(duì)于問句推薦，如果能有效地利用用戶的興趣和用戶的需求，那么問句推薦算法將能更加準(zhǔn)確、有效地進(jìn)行推薦。那么如何有效地利用者兩種有效的信息，本文采用線性加權(quán)的方式去融合這兩種信息，之所以采用這種方式，是因?yàn)椴捎镁€性加權(quán)簡(jiǎn)單有效，并且效率較高。結(jié)合式(8)和式(13)可得到如下公式：

Score(u,q)=(1-α)Pr(u,q)+αPr(w|q)

(15)

其中Score(u,q)是最后的推薦得分，Pr(u,q)是式(8)的結(jié)果，Pr(w|q)是式(13)的結(jié)果。

5　實(shí)驗(yàn)結(jié)果與分析

5.1實(shí)驗(yàn)數(shù)據(jù)

為了獲得實(shí)驗(yàn)所使用的語料，我們抓取了Yahoo! Answershttp://answers.yahoo.com的五個(gè)類別的數(shù)據(jù)，分別是關(guān)于環(huán)境、健康、運(yùn)動(dòng)、旅行和社會(huì)科學(xué)。首先對(duì)抓取的數(shù)據(jù)集進(jìn)行預(yù)處理(去停用詞、詞干化等)，同時(shí)過濾掉5個(gè)類別中只有一個(gè)答案的問句，同時(shí)5個(gè)類別的問句在都標(biāo)記了最佳的答案。數(shù)據(jù)集的統(tǒng)計(jì)如表1。對(duì)于每一個(gè)類別，我們用該類別中的85%的問答對(duì)集合(其中包含問句和相應(yīng)大答案)作為訓(xùn)練。剩余的25%作為測(cè)試集合。同時(shí)我們根據(jù)經(jīng)驗(yàn)選擇潛在的概率變量為100。

表1　相關(guān)語料集的統(tǒng)計(jì)信息情況

5.2實(shí)驗(yàn)結(jié)果與分析

為了評(píng)價(jià)本文檢索推薦的性能，采用P@N和MAP (Mean Average of Precision)兩個(gè)指標(biāo)對(duì)實(shí)驗(yàn)進(jìn)行評(píng)價(jià)，同時(shí)采用了5種不同的問句推薦系統(tǒng)進(jìn)行對(duì)比實(shí)驗(yàn)，表2是4種不同方法的描述，其中(1)和(2)分別是文獻(xiàn)[13]和文獻(xiàn)[14]中提出的方法，采用相關(guān)類中的實(shí)驗(yàn)結(jié)果如表3所示。

表2　實(shí)驗(yàn)方法和表述

表3　在相關(guān)語料集上4種模型的MAP和P@1值

從表3結(jié)果可以看出：

(1) 采用基于問句類別信息的語言模型(LM+C)比傳統(tǒng)的語言模型在MAP和P@10上都有所的提高,是因?yàn)椴捎没陬悇e信息的語言模型除了擁有傳統(tǒng)語言模型的優(yōu)勢(shì)外，還考慮了句子本身的類別信息，從中也可以看出問句的類別信息對(duì)于問句的推薦還是很有用處的，對(duì)于一個(gè)問句首先確定其類別，然后根據(jù)問句類別再進(jìn)行相應(yīng)的推薦。

(2) 采用基于PLSA的問句推薦算法不僅在MAP上比基于問句類別信息的語言模型提高了0.0313，而且在P@10上提

高了0.0243，表明基于PLSA的問句推薦算法要優(yōu)于基于問句類別信息的語言模型的方法。其主要原因在于基于PLSA的問句推薦算法根據(jù)用戶以前回答的問題，從中分析出用戶的興趣，然后根據(jù)用戶的興趣進(jìn)行定向的推薦。可以看出用戶的興趣在問句推薦中起著十分重要的作用。

(3) 采用翻譯模型的問句推薦方法比基于問句類別信息的語言模型的方法在MAP和P@10上都有所提高，可以看出用翻譯模型來預(yù)測(cè)用戶的需求信息，根據(jù)用戶的需求進(jìn)行定向的推薦，效果要好于基于類別的語言模型的方法。但是，采用翻譯模型的問句推薦方法比基于PLSA的問句推薦算法在MAP和P@10上都有所降低，表明在問句推薦中用戶的興趣起到的作用要高于用戶的需求，或者說從用戶歷史回答的問題中更容易找到用戶的興趣。

(4) 本文提出的基于用戶興趣和需求的問句推薦算法從實(shí)驗(yàn)結(jié)果中可以看出，相對(duì)于其他方法在MAP和P@10上都有所提高。同時(shí)由于在實(shí)驗(yàn)中我們發(fā)現(xiàn)在問句推薦中用戶的興趣起的作用要高于用戶的需要，因此在本文提出的方法中，我們?cè)趨?shù)設(shè)定上讓?duì)?0.7來偏重用戶的興趣。實(shí)驗(yàn)結(jié)果也證明本文提出方法是一個(gè)有效的方法。

6　結(jié)　語

社區(qū)問答系統(tǒng)作為新興的知識(shí)獲取平臺(tái)，擁有大量的用戶群，每天產(chǎn)生大量的問題與答案，如何有效地利用這些資源成為眾多學(xué)者關(guān)注的問題。本文研究的問句推薦是社區(qū)問答系統(tǒng)中必不可少的一部分，主要探討社區(qū)問答系統(tǒng)中的問句推薦方法，提出了一種基于用戶興趣和需求的問句推薦方法，對(duì)于用戶的興趣的發(fā)現(xiàn)采用PLSA模型，而對(duì)于用戶信息需要的預(yù)測(cè)采用的基于翻譯的模型。多角度對(duì)比的實(shí)驗(yàn)結(jié)果表明，本文提出的方法能夠有效地解決社區(qū)問答系統(tǒng)中句子推薦的問題。當(dāng)然，本文描述的方法尚存在著速度等方面的問題，這需要在今后的研究中加以改進(jìn)，也是以后要研究的重點(diǎn)。

[1] Burke R D, Hammond K J, Kulyukin V A, et al. Schoenberg. Question answering from frequently asked question files:Experiences with the faq finder system[J]. AI Magazine,1997,18(2):57-66.

[2] Miller G A. WordNet:A Lexical Database for English[J].COMMUNICATIONS OF THE ACM, 1995,38(11):39-41.

[3] Sneiders E. Automated Question Answering Using Question Templates That Cover the Conceptual Model of the Database[J].NLDB, 2002,45(5):110-119.

[4] Lai Y, Fung K, Wu C. Faq mining via list detection[J].Proc. of the Workshop on Multilingual Summarization and Question Answering, 2002,56(3):168-184.

[5] Shtok A, Dror G, Maarek Y. Learning from the past: answering new questions with past answers[C]//Proceedings of the 21st international conference on World Wide Web. ACM New York, NY, USA，2012:759-768.

[6] Riahi F, Zolaktaf Z, Shafiei M. Finding expert users in community question answering[C]//Proceedings of the 21st international conference companion on World Wide Web. ACM New York, NY, USA，2012:791-798.

[7] Jeon J, Croft W B, Lee J H. Finding semantically similar questions based on their answers[C]//SIGIR,2005:617-618.

[8] Jeon J, Croft W B, Lee J H. Finding similar questions in large question and answer archives[C]//CIKM, 2005:84-90.

[9] Xue X, Jeon J, Croft W B. Retrieval models for question and answer archives[C]//SIGIR, pages,2008:475-482.

[10] Collins M, Duffy N. Convolution Kernels for Natural Language[C]//Advances in Neural Information Processing Systems 14, MIT press,2001:625-632.

[11] Wang K, Ming Z Y, Chua T S. A syntactic tree matching approach to finding similar questions in community-based QA services[C]//SIGIR’09: Proceedings of the 32nd international ACM SIGIR conference on Research and development in information retrieval, Boston, MA, USA,2009:187-194.

[12] Chen L, Zhang D, Mark L. Understanding user intent in community question answering[C]//WWW’12 Companion Proceedings of the 21st international conference companion on World Wide Web. ACM New York, NY, USA，2012:823-828.

[13] Zhai C, Lafferty J D. A study of smoothing methods for language models applied to information retrieval[J]. ACM Trans. Inf. Syst., 2004, 22(2):179-214.

[14] Cao X, Cong G, Cui B, et al.The use of categorization information in language models for question retrieval[C]//CIKM’09: Proceeding of the 18th ACM conference on Information and knowledge management, Hong Kong, China, 2009:256-274.

A NEW QUESTION SENTENCE RECOMMENDATION METHOD BASED ON USER INTERESTS AND NEEDS

Xu DiWang JianLin Hongfei

(SchoolofComputerScienceandTechnology,DalianUniversityofTechnology,Dalian116024,Liaoning,China)

Questions recommendation in CQA is mainly the demand analysis for new questions ask by user, then to find in history question-answer pairs the problems most correlated to the original question of users, therefore to bring forward to users more choices under the condition of unavailable to provide users with accurate results, so that to improve users experience. This paper proposes a question recommendation method, it is based on user interests and needs, and mainly uses PLSA model to find users’ interests according to user historical records of answering questions. At the same time it predicts the needs of users according to their queries based on translation model. Then it combines user’s interest and need to recommend the most relevant questions in Q&A corpus. The experiments are conducted on truly labelled dataset extracted from Yahoo! Answers. The comparison of experimental results shows that the proposed method achieves a better result in performance.

Community question and answeringQuestion recommendationTranslation model

2015-03-16。國(guó)家自然科學(xué)基金項(xiàng)目(60673039，60973068)；國(guó)家社科基金項(xiàng)目(08BTQ025)；教育部留學(xué)回國(guó)人員科研啟動(dòng)基金和高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金課題(20090041110002，20110041110034)。許笛，碩士生，主研領(lǐng)域：文本挖掘，社區(qū)問答系統(tǒng)。王健，副教授。林鴻飛，教授。

TP391

A

10.3969/j.issn.1000-386x.2016.08.011