基于深度神經網絡的搜索引擎點擊模型構建

謝曉暉,王 超,劉奕群,張 敏,馬少平

(智能技術與系統國家重點實驗室，清華信息科學與技術國家實驗室(籌),清華大學 計算機系，北京 100084)

基于深度神經網絡的搜索引擎點擊模型構建

謝曉暉,王 超,劉奕群,張 敏,馬少平

(智能技術與系統國家重點實驗室，清華信息科學與技術國家實驗室(籌),清華大學 計算機系，北京 100084)

隨著富媒體展現形式被越來越多地引入搜索交互界面，搜索引擎的結果頁面呈異質化和二維模塊展現形式，這對傳統的點擊預測模型提出了巨大的挑戰。針對這一情況，我們對實際搜索引擎結果頁面的多模態結果進行了分析，構建了一個結合深度神經網絡和點擊模型的框架，該框架既包含了神經網絡的特性，又利用了點擊模型的預測能力。我們希望利用這個框架挖掘出多模態信息與文本信息之間的相關性，使之具有描述異質化結果和二維模塊展示形式的能力。實驗表明，我們的框架相較于傳統的點擊模型在點擊預測性能上有顯著提升，但由于搜索引擎的多模態結果內容復雜，僅利用多模態結果的底層特征，即使使用深度神經網絡，從中能夠挖據出的語義相關性較弱。

異質化結果；深度神經網絡；點擊模型

1 引言

根據2016年《CNNIC中國互聯網絡發展狀況統計報告》的數據顯示，到2015年12月為止，我國搜索引擎用戶數量達到5.66億?？梢娝阉饕嬖诨ヂ摼W用戶中的高普及率和其潛在的巨大商業價值，因此，在學術界和業界，搜索引擎都受到了極高的關注。在之前的工作中，搜索引擎結果相關度的計算有如下幾種常用的方法。除了TF-IDF[1]等統計方法和利用互聯網群體智慧來改善搜索結果相關度估計的方法[2]，研究人員也從用戶與搜索引擎的交互行為出發，提出了點擊模型[3]對用戶點擊行為進行建模分析。

隨著搜索交互技術的不斷發展，富媒體展現形式被越來越多地引入搜索交互界面。從圖1可以看出搜索引擎的結果展示頁面呈現異質化趨勢和二維模塊展現形式。對原有流行的點擊模型進行考察可以發現，大部分點擊模型都針對的是同質化的搜索結果頁面，無法描述和分析真實的拓撲結構。

在本文中，我們希望建立一個能夠描述多模態結果的點擊模型。其中，最大的難點之一是文本與多模態結果之間缺乏統一的衡量手段。經過前期的文獻調研工作，我們了解到在已有的工作中[4]，已經能夠利用卷積神經網絡框架，在搜索查詢詞和文本類型結果之間建立相似性函數，從而使得兩者之間可以進行相關度分析。由這部分工作得到啟發，對于多模態結果，我們考慮將其表征為矩陣形式，通過卷積神經網絡進行特征提取和語義挖掘，使得異質結果之間能夠進行比較。

圖1 搜索引擎結果頁面異質化結果

本文的研究任務包括：

① 建立點擊模型，使之具有針對異質展現形式結果和二維排布結果的描述能力，重點分析圖片和文本類型結果。

② 通過用戶的大規模點擊行為把圖片和文本相關信息映射到同一個relevance相關的空間中進行比較。

③ 提高模型的點擊預測性能和相關性排序性能。

本文的組織結構如下： 第2節介紹相關工作，第3節介紹本次實驗所用到的卷積神經網絡框架，第4節介紹本次實驗的數據，展示實驗結果并進行分析與討論，最后一節我們將提出下一步的工作和設想。

2 相關工作

2.1 點擊模型

點擊模型是用于描述用戶從開始搜索到結束搜索之間檢驗和點擊行為的模型。大部分點擊模型遵循了如下假設： 一個文檔被點擊需要同時滿足該文檔被用戶瀏覽過并且該文檔與查詢詞相關，并且這兩個前提是相互獨立的。如果我們用Ci=1來表示第i條結果被點擊，使用Ei=1來表示第i條結果被瀏覽檢驗過，Ri=1來表示第i條結果與查詢詞相關(在有些工作中，以P(Ri=1)=ru來表示觀測相關性的概率)，符號“→”來表示滿足某前提條件，則以上假設可以用如下公式進行表示。

根據這一假設，一個文檔是否被點擊的概率可以通過式(4)進行表示。

一些主流的點擊模型沒有將點擊的順序加以考慮，而是將點擊行為簡單地對應到搜索結果頁面的結果排序上，這些模型被稱為基于點擊位置的點擊模型。該類點擊模型認為用戶會沿著結果列表從上到下地順序瀏覽，并且搜索頁面的結果是同質的，即具有類似的展現形式，僅在內容相關度上有所區別。

級聯模型[5](cascade model)是經典的基于點擊位置的點擊模型，該模型假設當某一用戶沿著結果列表從上至下進行瀏覽時，他/她會立刻決定是否點擊當前所瀏覽的結果，如果第i+1個結果被瀏覽則意味著第i個結果被瀏覽但未被點擊，如式(5)、式(6)所示?？梢钥闯?，級聯模型能夠很好地描述僅存在一次點擊的搜索會話，例如導航類搜索等，但對于更多的瀏覽點擊行為，該模型將不具備較好的有效性。

針對級聯模型存在的局限，依賴點擊模型(DCM)[6]嘗試對用戶的多次點擊會話進行建模，DCM假設一個用戶在點擊當前結果后有一定的概率繼續瀏覽下一個文檔，并且這一概率會受到結果在列表中位置的影響。DCM可以由如下公式進行描述。其中λi表示位置i的繼續瀏覽概率。

隨后，用戶瀏覽模型(UBM)[7]進一步改進了檢驗假設，該模型假設一個結果是否被檢驗取決于之前被點擊的結果位置和兩者之間的距離，如式(9)所示。

動態貝葉斯網絡模型(DBN)[8]是第一個將搜索結果摘要造成的展現偏置考慮在內的點擊模型，該模型區分了實際相關性與察覺相關性，察覺相關性指由結果標題和摘要得出的相關性，實際相關性則代表結果主頁的相關性。以Si表示用戶對第i個文檔是否滿意，su表示該事件的概率，ru表示察覺相關性的概率，λ表示繼續瀏覽的概率。DBN可以使用如下公式進行描述。

Wang等人首先提出了一個將結果文本信息考慮在內的點擊模型[9]，并且證明這部分信息對于點擊模型是有效的，他們提出了一系列將文本信息和用戶行為信息相結合的方法。

除了基于結果位置的模型之外，部分順序點擊模型(PSCM)[10]嘗試將點擊序列信息加入模型。PSCM模型基于眼動實驗，提出了兩個附加的用戶行為假設： ①在兩次點擊之間的，用戶會跳過其中的一些結果進行瀏覽;②在兩次點擊之間，用戶傾向于沿著一個方向進行瀏覽。該模型將瀏覽順序與結果位置進行了區分，并且表現出了比基于位置的點擊模型更好的點擊預測性能。

2.2 深度學習

2.2.1 深度學習框架對于文本的處理

在近期的研究中，深度學習方法被成功地應用于多個自然語言處理和信息挖掘任務中。通過使用深度學習框架，這些技術能夠挖掘數據的高層次抽象信息和相應的特征。Salakhutdinov和Hinton等人使用深度網絡改進了LSA模型[11]，用于挖掘查詢詞和結果文檔中的多層次語義結構。他們提出了一個語義哈希方法，該方法使用了從深度自動編碼器學習到的瓶頸特征，主要用于信息檢索。基于這部分工作，Huang和Shen[12-13]提出一個新的框架去構建一系列潛在的語義模型，能夠將查詢詞和結果映射到同一個低維度的空間中，在該空間里面，查詢詞和文檔的相關度以它們之間的距離來進行衡量。他們的深度語義框架模型以最大化給定查詢詞的文本點擊的條件概率為目標，有區別地進行訓練。

雖然上述工作在搜索任務的相關度預測上取得了良好的表現，但因為工作中的哈希過程基于英文字母的N元模型，所以想要進一步在非拉丁語系的搜索環境中擴展這些模型顯得格外困難。因此，Liu等人提出了一個應用于廣告推廣搜索的卷積點擊預測模型(CCPM)[14]。這個模型能夠從包含多種元素的輸入樣例中提取出局部的關鍵特征，這一特性使得該模型能夠應用于序列廣告曝光任務中。然而，這個方法沒有能夠將結果的文本信息加以考慮。

Zhang等人提出了一個基于遞歸神經網絡(RNN)的點擊預測框架[15]。這個框架也是為廣告推廣搜索而設計，并且利用RNN 中的遞歸結構對用戶的序列行為中的依賴性進行了建模。

Severyn等人也提出了一個深度學習框架，用于對短文本進行排序[16]。這個工作使用了已有的詞向量結果對查詢詞和結果建立特征矩陣。在那之后，他們計算了查詢詞和結果之間的相關性，該模型的一個優勢是它的框架能夠直接引入一些附加特征，從而提升了學習的表現。然而這個框架沒有將用戶的行為習慣和基本假設加以考慮。

2.2.2 深度學習框架對于圖片的處理

作為深度學習框架之一，卷積神經網絡被廣泛應用于圖像識別任務中。基于圖片自身的特性，卷積神經網絡相比于普通的前饋神經網絡[17]具有局部感知和參數共享的優勢，這兩個優勢使得卷積神經網絡能夠極大地降低參數數量。

Krizhevsky等人在ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)-2012中使用改進的卷積神經網絡模型[18]達到了15.3%的錯誤率。改進的模型由七個層次組成，前五個是卷積層(有一些采用了最大池化操作)，后兩個是全連接層。輸出層由1 000個單元組成，分別對應1 000個圖像類別。該框架中對神經元使用非飽和、非線性的激活函數，相比于常用的sigmoid 和 tanh激活函數，該激活函數的訓練速度更快。

Lin等人構建了一個能夠根據自然語言問題和圖片，給出自然語言回答的卷積神經網絡框架[19]。該框架的整體模型主要由三部分卷積神經網絡組成，分別為圖像的卷積神經網絡、句子的卷積神經網絡和整合前兩者輸出的卷積神經網絡組成。

Wan等人[20]在多種設置下研究了卷積神經網絡在基于內容的圖片檢索方面的性能，探究卷積神經網絡是否能夠填補低維圖片特征和高維語義特征之間的“語義間隙”。發現在大規模圖片數據中進行預訓練后得到的深度卷積神經網絡能夠直接用于圖片的特征提取，并且能夠從圖片的原始像素中得到高質量的語義信息。

在本次工作中，我們選擇了卷積神經網絡作為我們點擊模型的框架，使用它來結合查詢詞文本信息、結果文本信息、垂直結果圖片信息和用戶行為。我們的框架主要有如下三個特點。

① 與現有的僅能預測單一信息的神經網絡框架不同，我們的框架能夠像傳統的點擊模型一樣，同時預測點擊概率，結果的相關度和用戶的檢驗信息等。

② 通過把傳統的點擊模型訓練結果作為附加信息加入到了框架中，我們能夠將文本信息、圖片信息和用戶的行為信息進行結合。

③ 不同于現存的基于卷積神經網絡的逐點學習策略，我們的框架能夠從搜索返回結果頁面中同時學習十個文本結果和四張圖片結果，這種成對學習的方法有利于整體結果排序的研究。

3 基于深度神經網絡的點擊模型

在這一節中，我們將具體闡述我們的基于深度神經網絡的點擊模型。在該框架中，為了能夠將深度神經網絡與用戶行為信息相結合，所有的特征(包括點擊模型得出的檢驗概率和相關性分數等)會在連接層和隱層進行聚合和映射,模型框架如圖2所示。

圖2 基于深度神經網絡的點擊模型框架

3.1 輸入層

3.1.1 句子矩陣構造

在前人的工作中，有許多生成基于文本的特征的方法。比如基于給定文本的N元字母構建的詞語哈希方法[12]和使用給定文本文檔的詞向量方法[14]，但正如我們在相關工作中提到的，N元字母方法不適用于非拉丁語系的語言環境?？紤]到基本所有主流的商業搜索引擎都提供CJK(Chinese，Japanese，Korean)語言的服務，選擇詞向量的方法去生成句子矩陣顯得更加合適。

在我們的工作中，我們使用了一個開源工具[21]在某商業搜索引擎超過 1 000萬個網頁中進行訓練，獲得了詞向量數據集，每一個詞向量的維度為100維。

3.1.2 圖片矩陣構造

相比于文本內容，因為圖片用其本身的顏色模型表示，在矩陣構造這方面相對比較簡便。對于一張輸入的實際圖片，可以用多種不同的表示方式來描述圖片信息，包括使用RGB三原色光模型、HSV圓柱表示法和灰度圖等。對于RGB和HSV而言，由于其每一個像素點由一個三元組表示，所以其實際對應的為三個實數矩陣，為了方便處理，我們采用縱向拼接的方式將圖片的三維表示降為兩維表示。對于灰度圖來說，其每個像素點本身就以一個實數進行表示，因此不需要進行額外處理。

3.2 卷積層

卷積層的用途是為了對文本和圖片進行采樣，從而提取出一些有效的特征。我們使用寬卷積來對句子矩陣和圖片矩陣進行卷積計算。相比于窄卷積，寬卷積能夠更好地保留文本和圖片的邊界信息。同時當卷積窗口大小大于被卷積矩陣時，寬卷積也能夠保證給出合法的輸出，這種魯棒性在大規模數據中是十分重要的。

為了使得網絡能夠學習到非線性決策邊界，每一個卷積層之后都會緊跟一個非線性的激活函數，這個激活函數會對卷積層輸出的每一個元素進行操作。在神經網絡中，前人的工作[22]顯示修正線性單元能夠克服sigmoid函數和雙曲正切函數的部分缺陷，從而取得較好的表現。因此本次框架中，我們采用了修正線性單元f(x)=max(0,x)來對卷積層輸出元素進行激活。

3.3 池化層

在大多數的深度神經網絡中，有兩種常用的池化操作方式： 平均池化操作和最大值池化操作。其中，最大值池化方法因為沒有弱化強激活值的缺點，被廣泛地使用。因為我們本次模型的目標是為了測試將點擊模型和卷積神經網絡結合后的效果，所以我們在模型中僅測試最大值池化策略。我們將其他的池化策略例如第K大值池化策略作為未來工作的一部分。

3.4 相似度計算層

在之前的操作中，我們的模型學習將輸入的文本信息和圖片信息映射成向量，這樣的話我們就能夠計算查詢詞和文本、圖片結果之間的相似性。在池化操作環節后生成了查詢詞、結果文本內容、圖片內容對應的向量，定義xq為搜索查詢詞對應的向量，xdi代表搜索引擎結果頁面第i條結果標題內容對應的向量，xpi表示圖片垂直結果中的第i張圖片內容對應的向量，我們根據Bordes等人工作中提出的方法[23]，可以通過如下公式計算各個向量之間的相似度和相互影響程度。

在這里，M是相關性矩陣，會在訓練過程中不斷更新。其中公式(13)～(14)是針對文本向量的公式，可以被看作機器翻譯中的噪聲信道法，這一方法作為打分模型，被廣泛地應用在信息檢索和問題回答任務中[24]。受公式(13)～(14)的啟發，我們針對文本與圖片、圖片與圖片定義了類似的相似度計算公式。

3.5 全連接層

全連接層的作用是為了將傳統點擊模型得到的用戶行為信息加入到我們模型的框架中。全連接層對所有的中間向量進行了串聯，包括查詢詞與圖片對應的向量和兩者之間的相似度分數，以及一些附加信息等。其中附加信息包含點擊模型給出的檢驗概率和相關性分數，還包含了四張圖片所在的結果在結果列表中的排序位置。

3.6 隱層

在全連接層得出的向量會經過一個隱層，該隱層使得全連接向量的組成元素之間可以進行交互。隱層通過式(17)進行計算。

在這里，wh是隱層的權重向量，α()是非線性變換。在經過隱層操作后，向量被傳遞給點擊模型層，在點擊模型層生成最終的點擊預測概率。

3.7 點擊模型層

點擊模型層的節點被分為兩部分，一部分代表檢驗，另一部分代表相關度。最后的點擊概率使用大部分點擊模型都會使用的檢驗假設得出：

檢驗概率與相關度通過一個sigmod函數，從輸入特征中計算得出，如以下公式所示：

P(examination=1)=

P(relevance=1)=

雖然神經網絡擁有強大的學習復雜決策函數的能力，它們在小規模數據集上也容易出現過擬合的情況。為了改善過擬合現象，我們增加了使用L2范數正則項的花銷(cost)函數，作為網絡中的節點。我們也采用了其他的正規化策略去約束檢驗節點和相關性節點所表達的物理含義。本次模型使用的花銷函數如式(21)所示。

在這里，xexam和xrel是從xm中得到的檢驗和相關性的特征。Ce和Cr是用來平衡約束項的參數，在本次實驗中，我們設置Ce=Cr=0.5。

這個模型的訓練目標就是為了最小化花銷函數的交叉熵(其中yi=0,1是實際點擊的信息，θ向量包含了被該網絡優化的所有參數)，如式(22)所示。

Loss=cost+C‖θ‖2-∑[yilogP(clicki=1)+

4 實驗結果與討論

上述的模型能夠應用于大多數基于概率圖的點擊模型，因此，本次實驗我們選擇了其中一種基于概率圖的點擊模型——用戶瀏覽模型(UBM)來測試我們框架的性能。

我們采用點擊概率預測得分(click perplexity)這一指標來評估點擊模型的性能。點擊概率預測得分是評價一個概率分布或概率模型對于測試樣例的預測準確度，該指標值越低就代表該概率分布或概率模型對于樣例的預測越精確[7，11]。預測點擊概率得分可以用公式(23)進行計算。

4.1 實驗設置

在實驗中，我們將使用其他幾個基準模型與我們的模型進行比較。接下來的部分，本次工作的基于深度神經網絡的點擊模型將被簡寫為HDCM(異質化深度點擊模型)。我們將對以下幾個模型與HDCM模型的性能對比：

① 用戶瀏覽模型(UBM)。這個基準模型主要用于考量合并了神經網絡和點擊模型后，整體的性能是否有所提高。

② 僅使用結果文本信息的HDCM(使用HDCM-text進行簡寫)。這個基準模型將主要用于比較合并了文本信息與圖片信息和僅使用純文本信息對于模型性能的影響。

③ 使用文本信息，同時將輸入圖片信息進行全零操作后作為輸入的HDCM(使用HDCM-zero進行簡寫)。這個基準模型主要用于確認HDCM模型是否真正挖掘出了圖片的語義信息。

④ 使用兩層圖片卷積層的HDCM(使用HDCM-double進行簡寫)。這個模型主要用于考察增加卷積層后是否有助于圖片信息特征的提取。

在實驗數據方面，我們采樣了一個流行的商業搜索引擎的用戶搜索日志。為了避免數據相關性帶來的實驗誤差，我們在2016年4月和2016年5月之間以固定天數間隔采樣了兩個規模不同的數據集用于實驗。并且和大多數點擊建模工作一樣，過濾了查詢次數(查詢會話數量)過多和過少的查詢詞。關于數據集的詳細說明見表1。

表1 實驗數據規模說明

4.2 不同圖片規模對于模型性能的影響

由于用戶在瀏覽搜索引擎結果頁面時，對于多模態垂直搜索結果并不會進行全部查看，眼神覆蓋范圍可能只占據多模態的局部區域。同時，為了避免稀疏，在本次實驗中，文本類信息結果的向量表示的維數為100維。因此太大的圖片矩陣可能會在神經網絡的訓練中掩蓋掉文本類信息的特征。所以我們在實際訓練中，會選擇對原始的大規格圖片進行一定的壓縮，但為此也可能會丟失一些關鍵的信息。所以，我們希望通過這一節的實驗去探究圖片規模對于模型性能的影響，考察隨著圖片大小的變化，模型的性能是不是也會有所變化。

在本節實驗中，為了控制變量，我們對于圖片類輸入統一采用RGB三原色表示法。實驗中使用了數據集1(包含4 647個查詢)，對UBM、HDCM-text、HDCM、HDCM-zero這四個模型進行了實驗。在對實驗數據進行預處理時，圖片的放縮采用了立方插值法。表2展示了圖片規模進行變化時，HDCM模型在perplexity這一指標上的性能變化。

表2 不同圖片規模下的模型性能

從表2可以看出，相較于基準模型UBM，HDCM在性能上有顯著的提升，不管是僅考察文本結果，還是同時考察了文本和圖片結果。同時，我們也注意到，使用不同的圖片規模進行輸入，對于HDCM而言，差別并不明顯。并且從表中的數據可以看出，同時包含了文本和圖片結果信息的模型相較于僅包含文本信息的模型，在性能上反而有所下降，這說明圖片信息帶來了一定的噪聲，或者說對于當前的實驗設置，我們的模型沒有從圖片信息中挖掘出語義相關性信息。為此，我們使用HDCM-zero模型對這一猜想進行了驗證。

圖3展示了HDCM模型在對圖片輸入進行全零化操作前后的性能對比。從圖中可以看出，在所有圖片規模下，使用實際圖片對模型進行訓練的結果比使用全零圖片對模型進行訓練的結果差，這說明對于這一數量級的訓練數據，該框架很難從圖片中挖掘出能夠與文本建立相關性的特征。在接下來的實驗中，我們將嘗試使用其他的圖片表示法進行實驗，考察是否圖片的其他的特性，例如亮度等，會對用戶的瀏覽點擊行為產生影響。

圖3 實際圖片輸入與全零操作后的模型性能對比

4.3 不同圖片表示法對于模型性能的影響

用戶在瀏覽搜索引擎結果頁面的時候，對于圖片類垂直搜索結果，會根據圖片內容判斷是否與自己的查詢意圖相關再選擇對該結果進行點擊。同時，用戶也會受到圖片的亮度、明暗程度等的影響。這一節中，我們希望考察不同的圖片表示法對于模型性能的影響。

在這一節的實驗中，我們將圖片規格全部統一為32×32。我們還對色相(H)、飽和度(S)、明度(V)三個維度單獨進行了考察。同時，為了驗證模型是否真正地挖掘出了圖片與文本信息之間的相關性，我們也使用HDCM-zero進行了實驗。

圖4展示了使用RGB和HSV兩種不同的圖片表示方法時，HDCM模型的點擊概率預測得分。圖5展示了使用色相圖、飽和度圖、明度圖和灰度圖幾種不同的圖片表示法時，HDCM模型的點擊概率預測得分。從圖中可以看出，雖然我們的模型相較于基準的點擊模型——用戶瀏覽模型(UBM)在點擊概率預測得分上有所提高，但是從HDCM與HDCM-text和HDCM-zero的結果比較中，我們發現，即使使用基于深度神經網絡的點擊模型，也很難從圖片的底層基本信息中提取出強語義的特征。因此在之后的實驗中我們將嘗試增加圖片的卷積層數，并嘗試增加訓練數據量，觀察模型的性能變化。

圖4 RGB與HSV圖片表示法對比

圖5 色相圖、飽和度圖、明度圖與灰度圖表示法對比

4.4 不同卷積層數對于模型性能的影響

對于深度神經網絡而言，一層卷積學到的特征一般是局部的，隨著層數的增加，神經網絡所能夠學習到的特征就逐步趨于全局化。因此，我們在原有框架中增加卷積層數，希望能夠得到圖片更加豐富的特征信息。同時我們也在數據量上進行了增加，對比了數據集1(包含4 647個查詢詞)和數據集2(包含8 147個查詢詞)，觀察結果的變化。本節實驗的圖片輸入規模均統一為32×32，圖片均以RGB三原色表示法進行表示。

表3展示了這部分實驗結果。對于兩份采樣的數據集，在對模型的圖片矩陣處理模塊增加卷積層數后，整體框架的性能相較于原本的僅有一個卷積層的框架并沒有提升。并且，將圖片輸入矩陣進行全零化操作后，整體框架的性能反而變好，這說明即使使用了深度神經網絡，在現有的實驗設置下，也很難從圖片的基本底層信息中挖掘出語義特征，換句話說，搜索引擎的結果圖片內容與查詢詞的相關度關系較弱，通過現有框架很難在圖片與文本之間建立相關性。

表3 圖片采用雙層卷積的模型性能對比

5 總結與未來工作

回顧本次的工作，我們首先考察了流行搜索引擎的實際用戶瀏覽數據，并與實際搜索頁面進行比對，確定了具有圖片垂直結果的搜索詞。然后根據提取的搜索詞列表，使用動態網頁抓取技術，進行實際搜索結果頁面(SERP)的數據抓取。接著我們設計了一個結合深度神經網絡和點擊模型信息的框架，并對框架進行了代碼實現，實驗證明我們的框架相較于原點擊模型在性能上有顯著提升。

在第四節中，我們對比了不同的圖片基礎特征對于模型性能的影響，發現這些特征的變化對模型的影響很小。實驗表明，直接應用圖片的最底層特征，即使是在深度神經網絡的框架下也很難與文本信息建立強相關性關系，可能是因為本論文的數據采自商業搜索引擎的實際用戶行為日志所致。與以往的圖片分類任務不同，實際的圖片搜索日志存在查詢詞不規范、搜索目的模糊、圖片搜索結果各異、結果質量參差不齊等問題，導致了查詢結果中部分圖片與查詢詞的相關性不高，從而在神經網絡對于語義相關性的理解過程中產生了噪聲。同時，不同用戶之間對于符合查詢需求的圖片判斷也存在差異，也使得框架的性能受到了影響。

在未來的工作中，我們將會嘗試對圖片使用更加復雜的特征提取方法。例如通過白化操作降低輸入數據的冗余信息，更好地突出圖片的邊緣特征，更加類似于人眼對于事物的識別等。同時，我們也會進一步利用圖片的點擊信息。目前的點擊日志信息，不針對具體的圖片，使得對于用戶在二維排布模塊上的點擊行為難以建模。在未來，我們會設計圖片的點擊實驗，記錄用戶在二維模塊上的瀏覽點擊行為，同時比較被點擊與未被點擊圖片之間的特征差異。

[1] Sparck J K. A statistical interpretation of term specificity and its application in retrieval[J]. Journal of documentation, 1972, 28(1): 11-21.

[2] Agichtein E, Brill E, Dumais S, et al. Learning user interaction models for predicting web search result preferences[C]//Proceedings of the 29th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2006: 3-10.

[3] Chuklin A, Markov I, Rijke M. Click models for web search[J]. Synthesis Lectures on Information Concepts, Retrieval, and Services, 2015, 7(3): 1-115.

[4] Severyn A, Moschitti A. Learning to rank short text pairs with convolutional deep neural networks[C]//Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2015.

[5] Craswell N, Zoeter O, Taylor M, et al. An experimental comparison of click position-bias models[C]//Proceedings of the 2008 International Conference on Web Search and Data Mining, ACM, 2008: 87-94.

[6] Guo F, Liu C, Wang Y M. Efficient multiple-click models in web search[C]//Proceedings of the Second ACM International Conference on Web Search and Data Mining, ACM, 2009:124-131.

[7] Dupret G E, Piwowarski B. A user browsing model to predict search engine click data from past observations[C]//Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, ACM, 2008:331-338.

[8] Chapelle O, Zhang Y. A dynamic bayesian network click model for web search ranking[C]//Proceedings of the 18th International Conference on World Wide Web, ACM, 2009:1-10.

[9] Wang H, Zhai C, Dong A, et al. Content-aware click modeling//The 23rd International World Wide Web Conference (WWW’2013), 2013.

[10] Wang C, Liu Y, Wang M, et al. Incorporating non-sequential behavior into click models[C]//Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval, ACM, 2013:283-292.

[11] Salakhutdinov R, Hinton G. Semantic hashing. International Journal of Approximate Reasoning, 2009,50(7):969-978.

[12] Huang P S, He X, Gao J, et al. Learning deep structured semantic models for web search using click through data[C]//Proceedings of the 22nd ACM International Conference on Conference on Information and Knowledge Management, ACM, 2013: 2333-2338.

[13] Shen Y, He X, Gao J, et al. Learning semantic representations using convolutional neural networks for web search[C]//Proceedings of the Companion Publication of the 23rd International Conference on World Wide Web Companion, International World Wide Web Conferences Steering Committee, 2014:373-374.

[14] Liu Q, Yu F, Wu S, et al. A convolutional click prediction model[C]//Proceedings of the 24th ACM International on Conference on Information and Knowledge Management, ACM, 2015: 1743-1746.

[15] Zhang Y, Dai H, Xu C, et al. Sequential click prediction for sponsored search with recurrent neural networks. arXiv preprint arXiv:1404.5772, 2014.

[16] Severyn A, Moschitti A. Learning to rank short text pairs with convolutional deep neural networks[C]//Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval, ACM, 2015:373-382.

[17] Bengio Y, Lecun Y. Convolutional networks for images, speech, and time-series[J]. The Handbook of Brain Theory amp; Neural, 1995(10)：3361.

[18] Krizhevsky A, Sutskever I, Hinton G E. Image net classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2012, 25(2):2012.

[19] Lin M, Lu Z, Li H. Learning to answer questions from image using convolutional neural network[C]//Proceedings of the AAAI,2016,3(7):16.

[20] Wan J, Wang D, Hoi S C H, et al. Deep learning for content-based image retrieval: A comprehensive study[C]//Proceedings of the 22nd ACM International Conference on Multimedia. ACM, 2014: 157-166.

[21] Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality[C]//Proceedings of Advances in neural information processing systems, 2013： 3111-3119.

[22] Nair V, Hinton G E. Rectified linear units improve restricted Boltzmann machines[C]//Proceedings of the 27th International Conference on Machine Learning (ICML-10), 2010:807-814.

[23] A Bordes, J Weston, N Usunier. Open question answering with weakly superised embedding models[M]. In Machine Learning and Knowledge Discovery in Databases. Springer, 2014: 165-180.

[24] Echihabi A, Marcu D. A noisy-channel approach to question answering[C]//Proceedings of the 41st Annual Meeting on Association for Computational Linguistics. Association for Computational Linguistics, 2003(1):16-23.

[25] 劉龍飛. 基于卷積神經網絡的微博情感傾向性分析[J]. 中文信息學報, 2015,29(6): 159-165.

[26] 孫曉, 何家勁, 任福繼. 基于多特征融合的混合神經網絡模型諷刺語用判別[J]. 中文信息學報,2016, 30(6): 215-223.

謝曉暉(1994—)，博士研究生，主要研究領域為互聯網搜索結果排序和用戶行為建模。

E-mail： xiexh_thu@163.com

王超(1989—)，博士，主要研究領域為互聯網搜索結果排序和用戶行為建模。

E-mail： chaowang0707@gmail.com

劉奕群(1981—)，副教授，博士生導師，主要研究領域為信息檢索與互聯網搜索技術。

E-mail： yiqunliu@tsinghua.edu.cn

ASearchEngineClickModelBasedonDeepNeuralNetwork

XIE Xiaohui， WANG Chao， LIU Yiqun， ZHANG Min，MA Shaoping

(State Key Lab of Intelligent Technology and Systems， Tsinghua University, Beijing 100084， China)

With the rich media introduced into searching interface, the result pages of the search engine appear to be heterogeneous and in a form of two-dimensional distribution. To deal with this new challenge to traditional click model, we analyze the result pages of a popular commercial search engine and build a click model based on deep neural network, trying to reveal correlations between multimedia information and text information. This framework contains both the characteristics of neural network and prediction ability of click model. The experiment demonstrates that our framework is well improved compared to original click model. However, due to the complexity of multimedia contents, even deep neural network would produce quite weak semantic correlations if we rely merely on basic characteristics of multimedia results.

heterogeneous results； deep neural network； click model

1003-0077(2017)05-0146-10

TP391

A

2016-05-16定稿日期2016-12-26

國家自然科學基金(61622208, 61532011, 61472206)；國家973計劃(2015CB358700)