基于多模態深度融合模型的廣告點擊率預估

宋永強，王 紅，王露潼

1(山東師范大學 信息科學與工程學院，濟南 250358)2(山東省分布式計算軟件新技術重點實驗室，濟南 250014)

1 引 言

隨著網絡技術的發展，互聯網憑借信息量大、操作方便等優點，在人們日常生活中占據了至關重要的地位作為互聯網衍生品，在線廣告不僅對互聯網發展做出卓越貢獻而且成為現代市場營銷的重要組成部分.國內外的眾多公司的絕大部分收入來自其廣告部分，如谷歌、亞馬遜等.據近期調查顯示，中國互聯網廣告的市場規模保持著25%的增長.因此，互聯網廣告效果研究對于提高三方利潤，增強用戶體驗等方面具有重要指導意義.

與線下廣告不同，互聯網廣告存在各種的自動決策的付費方式，而這些付費方式依據的是點擊率的預估結果.目前，互聯網廣告主要包括搜索廣告[1]和實時競價廣告兩種方式，無論哪種方式，廣告主在推送廣告之前會預估用戶點擊廣告的概率，以實現媒體收益的最大化.因此，如何提升廣告點擊率的預測準確率成為互聯網廣告精準投放的核心問題.

互聯網廣告計算領域主要以廣告點擊率預測為主，現階段點擊率預測仍面臨眾多挑戰，主要體現在：

1)無差異性假設：在廣告點擊率預測過程中會涉及到各種各樣的用戶，隨著廣告業務的發展，廣告、用戶數量以及累計用戶記錄會急劇增長，但數據研究多基于無差別假設，甚少涉及不同的用戶瀏覽方式以及瀏覽行徑等影響.

2)特征挖掘：挖掘到的用戶信息具有一定的時效性，廣告數據特征之間具有高度非線性關系，復雜度高，難以發現用戶點擊行為隱藏特征之間的交互性.

3)數據稀疏：由于廣告數目巨大，只有少數的廣告具有豐富的歷史點擊率數據，因此蘊含用戶偏好的歷史點擊記錄相當稀疏.

4)冷啟動：當新的廣告加入時，缺少足夠的歷史數據使得預測模型難以精準的預測廣告的點擊率，當新用戶加入時，預測模型對用戶相關特征缺少經驗，也無法將相關的廣告精準投放給用戶.

目前,國內外研究人員主要通過捕捉數據特征內部的復雜關系[2,3]、組合底層特征表示屬性類別特點，發現數據特征之間的關聯.本文進一步優化，主要貢獻如下：

1.通過斷點檢測消除噪音獲取用戶點擊序列,以馬爾科夫鏈分析點擊序列信息，利用頻繁序列挖掘不同用戶的點擊行為特點.

2.利用眼動追蹤實驗獲取用戶行為信息，捕獲實驗數據背后的潛在用戶興趣度，了解興趣變化情況，獲得普通實驗難以收集的用戶信息.

3.利用因式分解機模型融合廣告和用戶屬性特征映射隱空間向量，使用向量內積對特征交互建模.

4.基于在線學習算法融合混合式深度神經網絡構建多模態深度融合模型(Multimodal Depth Integration MDI)預估點擊率.

2 相關工作

互聯網廣告由于其強大的流通能力，被視為一種有效的廣告傳播方式.越來越多的企業工作人員和學術科研人員加大對互聯網廣告效果研究，互聯網廣告成為網絡公司的重要收入來源，實現互聯網廣告最大化經濟效益也成為網絡公司的研究熱點.點擊消耗(The cost per click CPC)模型[4]是互聯網廣告中最常見的支付模式，大約百分之66的廣告交易依賴于CPC，因為CPC可以準確地揭示轉化率的意義[5]，在CPC模型中，點擊率(Click Through Rate CTR)是衡量廣告投放的重要指標.

早期的點擊率預估(CTR)模型有ChaPell利用機器學習框架使用最大熵實現邏輯回歸，有效的解決大量樣本及參數問題，McMahan[6]利用邏輯回歸模型解決Google的廣告點擊率問題.上述模型以用戶信息，搜索關鍵詞，利用廣告數據等多特征為模型提供了一種在線系數學習算法，可以融合廣告中大量特征，并在分布式計算系統中有效并行化，但數據表達能力有限，無法從數據中學習復雜的映射關系.Anhphuong[7]利用特征二項式組合建立非線性模型并通過矩陣分解將高維稀疏特征向量映射到低維連續向量空間，但處理具有復雜關系的數據時，難以捕捉數據中的高階特征非線性表達和復雜的映射關系，He[8]組合梯度提升(Gradient Boosting Decision Tree GBDT)樹生成非線性特征，這種方法在近期點擊率預估中取得了不錯的效果，但由于弱學習器之間存在依賴關系，使模型難以訓練數據.

隨著深度學習架構成熟，Zhang[9]利用循環神經網絡(Recurrent Neural Networks RNN)隨時間反向傳播訓練算法(Back Propagation through time BPTT)訓練模型預估點擊率，Yu[10]進一步改進神經網絡利用長短時間記憶網絡(Long Short Term Memory LSTM)優化RNN，成功的解決了梯度消失或爆炸問題，Jiang[11]采用深度置信網絡(Deep Belief Networks DBN)和邏輯回歸(Logistic Regression LR)提出深度置信網絡(Deep Belief Networks Logistic Regression DBNLR)模型，該模型融合深度置信網絡和邏輯回歸優點研究廣告數據的關鍵特征是否被完全挖掘，特征之間的非線性關系是否被發現.Chen[12]提出利用卷積層提取視覺特征，基于視覺特征使用全鏈接網絡學習復雜的非線性關系，最后應用于邏輯回歸模型預估點擊率.Qu[13]通過在嵌入層和全連接層之間引入點擊層，提出基于乘積的神經網絡(Product-based Neural Network PNN)模型.為了更好的解決特征組合問題，Shan等[14]提出可以自動組合特征的深度交叉模型.谷歌、微軟的研究人員提出了混合網絡結構模型(Wide&Deep)[15]，在混合模型的影響下，Xiao[16]進一步提出基于注意力的因式分解機(Attention Factorization Machine AFM)模型，He[17]提出基于網絡的因式分解機(Neural Factorization Machine NFM)模型等，上述方法總結為架構深度網絡自動學習數據特征增強數據表達能力，但在訓練模型時，由于數據多來源于客體收集信息，默認用戶主體間是無差別性，忽略用戶所處的環境、情緒、心態、自身固有行為特點等信息對點擊率預估的干擾.

盡管深度網絡架構可以有效的利用結構化神經網絡模型，適應廣告數據集中復雜的非線性映射關系，但它忽略了用戶在點擊預測的實際反饋，不同特點用戶可能產生不同的點擊序列.用戶點擊行為是一個時間序列，現有數據多將點擊基于靜態特征建模處理，破壞了點擊序列的時序性，現階段，對于具有順序性、時效性的序列特征難以基于深度網絡中表達.隨著眼動追蹤技術發達，越來越多的科研人員利用眼動追蹤技術基于行為假設預測用戶點擊行為[18]，Xu[19]利用眼動追蹤實驗提出基于順序點擊的時間點擊模型(Temporal Click Model TCM)模型基于行為假設用于描述用戶在廣告搜索中的點擊序列，Wang[20]提出局部馬爾可夫鏈(Partially Observable process Makorv POM)模型基于馬爾科夫鏈建模預測用戶點擊序列，Wang[21]利用眼動追蹤分析用戶瀏覽過程，總結用戶瀏覽行為.上述實驗的成功，使點擊序列挖掘成為可能，點擊行為作為數據中重要的靜態信息直接影響點擊率預估，在實際操作中除了應用簡單數值特征和類別特征之外，往往忽略分析用戶點擊序列特征，目前利用頻繁序列挖掘技術是序列數據分析的重要工具，其本質是通過時間序列相似性度量挖掘不同用戶行為特點.基于上述研究本文收集用戶眼動實驗數據，分析用戶瀏覽過程中的點擊序列，利用頻繁序列挖掘技術，尋找用戶點擊行為特點融合多模態特征構建混合式的深度神經網絡，提出多模態深度融合模型(Multimodal Depth Integration MDI)模型預估點擊率.

3 序列挖掘

3.1 基于局部馬爾可夫鏈模型點擊序列分析

用戶點擊是一種有動機，有目標和特點日常活動[22]，點擊序列具有一定的結構、內容以及規律，但在記錄這些信息時往往只能記錄可觀察的用戶單次點擊行為，無法細化每一次的點擊動作和不可觀察行為[23]，通過局部馬爾可夫鏈模型(Partially Observable process Makorv POM)對部分可測點擊信息，挖掘相鄰點擊事件，求解隱藏數據的最大似然解，使用馬爾科夫鏈的轉移概率構造完整的點擊序列，可以獲取更多用戶信息和更準確頻繁序列的挖掘結果.進行如下定義：

定義1.用戶點擊事件是一個部分可觀察的隨機事件，如圖1所示.其中e1表示用戶的首次點擊事件，對于任意點擊行為ei，在可觀察事件序列O={e1,e2,e3…}兩個點擊行為之間，模型可以挖掘用戶可能已經點擊但是沒有被記錄的點擊行為信息.

圖1 觀察序列Fig.1 Observation sequence

定義2.對于每一條觀察序列O={e1,e2,e3…}，可能存在不同的潛在序列假設Q1或Q2如圖2所示，其中不可觀察的用戶點擊行為以虛線表示，變量Vk表示隨機點擊的第k個對象，布爾變量Sk(Sk=1沒有被點擊，Sk=0被點擊)表示是否跳過Vk.

圖2 潛在序列Fig.2 Potential sequence

定義3.對于任意一條點擊行為可能存在無限多個點擊序列假設Qi={(V1,S1)(V2,S2)…(Vni,Sni)}，每條點擊序列假設的長度記為ni，對于圖2所示假設序列的長度分別為n1=6，n2=7.觀察到的用戶點擊序列O，可能滿足以下部分可測序列的結果：

Vi=em,Vj=em+1,Si=Sj=0?Sl=1,?m,l,i

(1)

定義4.定義符號Qk可由Qk→O表示，其中Qk表示用戶點擊的部分可測事件，則存在公式：

P(O)=∑Qk→QP(Qk)

(2)

定義{V1,V2…}為觀測序列，可通過眼動追蹤實驗獲取到的掃描路徑的瀏覽行為.利用馬爾科夫鏈，對每一條點擊序列加權定義后的公式：

P(O)=∑Qk→QP(Qk)=∑Qk→OP(V1,S1)P(V2,S2|V1,S1)…P(Vnk,Snk|V1,S1…Vnk-1,Snk-1)

(3)

通過上述定義，可將傳統的預測點擊序列問題，轉化為求解點擊序列的馬爾科夫鏈問題.進一步求解模型：

對于可觀測序列Qi，求解POM模型的參數Λ′的最大似然估計：

(4)

利用迭代法改進最大似然估計求解算法，其中于第l次迭代：

(5)

由于Gibb不等式對求和項的約束，因此最大化問題可使用Gibb不等式條件解決，可將公式(5)轉化為公式(6)和公式(7)，選擇Viterbi加速近似算法優化模型.

(6)

(7)

綜上所述訓練模型步驟：

算法1.Viterbi加速近似算法

1. Start with an initial model Λ(0)

2. For iterationlapply the segmental decoding method with Λ(l-1)to find top N hypotheses for each observation.

3. Obtain Λ(l)using()

4. Repeat step 2 and 3 until the process converges

3.2 基于Prefixspan序列模式挖掘

時間序列的特點體現在每個時間節點的數值及獨特結構.頻繁序列模式可以挖掘一段時間內用戶特定行為規律，利用組合性質將原始問題分解為子問題，基于序列格的搜索技術和特定的連接操作，尋找頻繁模式序列.由于點擊行為序列是一個時間序列，因此本文基于時序信息挖掘頻繁序列模式，尋找用戶在一定時間內的點擊行徑，利用時序性序列(隨著時間改變的序列事件)和點擊廣告之間的關聯規則尋找用戶點擊廣告前后的點擊特點.在挖掘頻繁序列模式之前需要進行如下定義：

定義5.序列是完整的信息流，通過項的集合構成的有序表.對于擴展后的點擊序列記為S={At1,At2,…,Am}，其中每個A是一個觀測屬性，ti是觀測時間.序列的長度通過項的個數決定，若序列的長度為k，則記為k序列.

定義6.序列S1={At1,At2,…,Am}{t1

本文采用PrefixSpan算法[24]尋找序列的頻繁模式.PrefixSpan算法在工作不需要產生候選序列，使得投影數據集合更小、內存消耗穩定.投影數據集合的減少，有助于縮短頻繁序列模式挖掘的工作時間，通過分而治之思想掃描數據集合找到所有長度固定的序列模式，把這些序列模式作為前綴映射到多個局部投影集合，最后利用遞歸方法在集合內實現序列模式挖掘算法.算法2如下所示，給定一個序列數據集合S，根據前綴劃分，產生多個投影S1,…,SN然后再多個投影數據庫中進行遞歸挖掘，直到找到所有的頻繁序列.

算法2.PrefixSpan算法

Input:A sequence databaseS，and the minimum support threshold min_sup

Output:The complete set of sequential patterns

Parameters：α:a sequential pattern;l:the length ofα;S|α′:theαprojected database，ifα≠();otherwise，the sequence databaseS

Method:

1.ScanS|αonce，find the set of frequent itemsbsuch thatbcan be assembled to the last element ofαto form a sequential pattern;

(b)can be appended toαform a sequential pattern

2.For each frequent itemb,append it toαto form a sequential patternα′and outputα′

3.For eachα′constructα′databaseS|α′

4 多模態深度融合模型

點擊率是互聯網公司網絡流量分配的核心依據，互聯網廣告平臺精確的點擊率預估有利于最大化提升三方利益.點擊率預估技術從傳統的邏輯回歸發展到深度學習，其本質是通過設計網絡結構進行組合特征的挖掘，也可以描述為一個經典的二分類問題，依據用戶側信息、廣告測信息、上下文信息等去建模預測用戶是否會點擊廣告.本文利用經典的深度學習架構MDI模型預估點擊率，如圖3所示，由梯度提升樹(Gradient Boosting Decision Tree GBDT)[8]、因式分解機(Factorization Machines FM)[25]、域因式分解機(Field Factorization Machines FMM)[26]模塊組合而成，每一個模塊不是獨立的，是整個模型共同訓練完成.FM模塊接受低階特征信息構造特征交互，GBDT代替傳統的人工特征工程方法，可以將低階特征映射到隱向量空間;FFM模塊可以將同類別的特征組合，提出了域(field)的概念,將同類別的特征組合在同一field內便于處理，并通過卷積層(FC)構造高階特征表達，并利用Prefixspan挖掘出用戶的時序信息，更好預估點擊率.

圖3 MDI模型Fig.3 MDI model

MDI由多個模塊集成，使用GBDT代替連續特征離散化等人工特征工程，具有強的非線性擬合能力以及魯棒性，利用FM自動學習任意特征的一階交叉，擴展特征空間，吞吐稀疏特征空間，提高模型的表達能力，通過FFM將同性質特征歸于一個域，在實驗過程中自動省去零值特征，提高模型訓練速度.輸入數據為數值特征(dense)和類別特征(sparse)以及序列特征(sequence input)，模型將類別特征傳至至嵌入層，獲取多個嵌入向量，將嵌入向量和數值特征連接傳入三層全連接層(Fully Connected layer FC)，將第三層全連接層的輸出和FFM以及FM的輸出連接在一起傳入全連接層，結合頻繁序列模式挖掘到的信息學習廣告是否被點擊.

4.1 GBDT模塊

在傳統的特征處理過程中為了提升分類器準確度，針對連續特征通過離散化bin，將bin的編號作為離散特征；針對離散特征，生成笛卡積組合特征，但是上述操作需要消耗大量的資源.本文利用GBDT代替傳統特征處理方法，GBDT是基于集成學習的建立的非線性模型，其工作原理是對于每一次迭代過程，選擇在減少殘差的梯度方向新建立一顆決策樹.GBDT可以發現多種區分性的特征以及特征組合，決策樹的路徑可以直接作為不同模型的輸入，從而減少特征處理步驟.

圖4 GBDT模型Fig.4 GBDT model

GBDT算法的構造如圖4所示，圖中Tree1、Tree2為通過GBDT模塊得到的兩顆決策樹，當輸入樣本后遍歷兩顆樹，樣本落到葉子節點上，每個節點對應一個維度的特征，遍歷結束后可以得到該樣本的所有特征，樹的每條路徑通過最小化均方差分割方法進行路徑區分.舉例說明：對于圖4的第一棵樹包含3個葉節點，第二棵樹包含2個葉節點.對于某一個輸入樣本落入葉子節點2和葉子節點1，那么可以得到特征向量(0 1 0 1 0).

4.2 FM模塊

FM可以有效解決數據量大、特征稀疏等特征組合過程中的問題.本文利用FM模塊通過隱向量做內積來表示組合特征，目的是解決高、低階組合特征的提取問題，而且大大提升訓練效果.FM模塊前面兩部分是傳統的線性模型，最后一部分通過互異特征分量之間的相互關系構成.針對點擊率預估的FM模塊為：

(8)

其中，參數w0∈R,w∈Rn,V∈Rn×k.[vi,vj]表示的是兩個大小為k向量vi和vk的點積：

(9)

其中vi表示系數矩陣V的第i維向量，且vi=(vi,1,vi,2,…,vi,k)，k∈N為超參數.由于FM模型在基本線性回歸模型的基礎上引入交叉項概念，即公式(9)可由公式(10)表示：

(10)

(11)

令

(12)

則

(13)

通過上述變化關于FM模塊可由SGD算法求解：

算法3.SGD算法

Input:Training data S,regularization parametersλ,learning rateη，initializationσ

Repeat

fori∈{1,…,p}Λxi≠0do

forf∈{1,…,k}do

4.3 FFM模塊

FFM模塊是根據域(field)概念提出的FM模塊的改進，其本質是將同性質的特征引入同一個域(field).FFM針對每一個特征關于不同的field使用不同的隱向量，可以提升模型的準確率.例如′Day=26/11/15′、′Day=26/11/15′、′Day=26/11/15′三個特征都是代表日期，可以放到同一個域(field);如果以三種類型的字段：publisher、advertiser、gender分別代表媒體、廣告主、性別.假設publisher有5種數據，advertiser有10種數據，gender有男女2種，經過one-hot編碼以后，每個樣本有17個特征工.如果使用FM模型，則17個特征每一個特征對應一個隱變量.使用FFM模型，則17個特征，每個特征對應3個隱變量，即每一個類型對應一個隱變量，publisher、advertiser、gender三個域(field)各有一個隱變量.根據上面的描述，可得FFM模塊：

(14)

其中j1,j2表示特征的索引.假設j1特征屬于f1，j2特征屬于f2，則Vj1,f2表示j1特征對應f2的隱變量，Vj2f1表示j2特征對應的f1的隱變量.在實驗過程中，FFM模塊往往只保留二次型，即：

(15)

對于FFM模塊的訓練算法使用SG算法[]：

算法4.SG算法

1.Let G ∈Rn×f×kbe a tensor of all ones

2.Run the following loop for t epochs

3.fori∈{1,…,m}do

4.Sample a data point (y,x)

6.forj1∈non-zero terms in{1,…,n}do

7.forj2∈non-zero terms in {j1+1,…,n}do

8.calculate sub-gradient by

gj1,f2≡▽Vj1,f2f(V)=λ·Vj1,f2+kVj2,f1xj1xj2

gj2,f1≡▽Vj2,f1f(V)=λ·Vj2,f1+kVj1,f2xj1xj2

9.ford∈{1,…,k}do

10.Update the gradient sum by

11.Update model by

5 實驗數據收集

本文在預測點擊行為過程中，除了考慮固有特征之外還增加用戶點擊序列及性格特征等數據，但現階段缺少考慮用戶情緒狀態、認知風格等多模態特征數據，因此進行大規模的數據采集工作.

5.1 實驗對象

通過招募的方式隨機抽取本校各專業本科學生(18-21歲，平均19.7歲)自愿參加實驗.所有被試者需要進行驗光實驗，以保證被試者符合測試實驗要求.

5.2 實驗器材

選擇SMI RED眼動儀器(Version 2.4)，利用眼動儀器中的IView X、Experiment Center 和BeGaze記錄、收集、分析被試者行為及眼動數據.

5.3 實驗材料

實驗材料分為兩部分：一部分用于獲取被試者的主觀特征(例如對于用戶認知風格劃分使用鑲嵌圖形測驗(Embedded Figure Test，EFT))，另一部分用于獲取被試者的外部行為特征的搜索引擎頁面，并要求被試者在實驗過程中盡可能的遵循其日常的行為特點.

5.4 實驗程序

1.主觀特征收集.利用測試題目收集相關數據判斷用戶興趣、認知風格等特征.例如對于認知風格的測試，在實驗過程中要求被試者在較復雜的圖形中找到并描繪出隱藏在其中的簡單圖形.

2.網頁瀏覽.在整個實驗開始之前，需要對被試者進行眼睛標準矯正，使其滿足實驗測試要求.根據實驗人員的提示，被試者要像平時瀏覽網頁一樣瀏覽特點頁面，并可根據自身情況隨時停止實驗.

實驗收集鼠標特征、用戶性格特征、SERP眼動特征，廣告體的眼動特征、廣告體的特征等.類(Label)標簽用于指示是否點擊廣告：如果點擊廣告，Label的值為1；否則Label的值為0.為了后續充分評價模型性能，防止數據集合被數據時效性諸多因素的干擾，在實驗中隨機干擾原始樣本的順序，同時為了防止過擬合，實驗訓練過程采用交叉驗證[27].

6 實驗結果分析

6.1 基線模型

本文選擇邏輯回歸(logistic regression LR)、因式分解機(Factorization Machines FMS)[25]、域的因式分解機(Field Factorization Machines FFM)[26]、GBDT組合FM[10]模型作為和本文的MDI模型性能比較的基線模型.

6.2 模型性能評估度量

本文選擇Area Under Curve(AUC)[28]作為廣告CTR主要的性能評價指標.通過混淆矩陣，求解真陽率(TPR)，假陽率(FPR)的混淆矩陣對應的TPR和FPR值，得到坐標點對.點對構成接收器工作特性(ROC)曲線，AUC是ROC下面的總面積.AUC越大廣告CTR預測更準確，對應的廣告投放效果更好.

6.3 模型時間復雜度分析

6.4 損失函數

本文選擇經典的點擊率logloss(logarithmic loss function)作為廣告CTR預測的輔助性能指標.

(16)

6.5 實驗結果和分析

本文首先將MDI模型同基線模型進行比較，如圖5和圖6所示，可以發現提出的MDI模型具有最好的性能.進一步分析，傳統的LR具有較差的性能，在訓練模型過程中，可以發現LR模型訓練速度快，但效果并不理想，當LR用于預估CTR時，需要具有復雜經驗的專家通過人工實施特征工程；另一方面，LR的簡單結構限制了它的表示能力，導致LR不能學習復雜的特征交互，對異常值和缺失值不敏感，傳統的人工智能技術越來越難以直接有效地從原始廣告數據中提取和組織鑒別信息.FM性能相較于LR具有更好的表現力，FM擴展了LR的思想，在一階特征擬合的基礎上增加二階特征擬合，它可以自動從不同維度來學習任意兩個特征組合，任意兩個特征組合產生的交叉特征用嵌入向量表示，FM模型在實驗過程中有較少的人工干預，同時具有更高的效率，然而由于結構相對簡單，FM難以學習到復雜的特征相互作用.繼而GBDT+FM解決方案優于FM模型，該方法在該數據集上的AUC(logloss的0.01%)提高了0.09%以上，數據的質量對模型的效果有很大影響，由于數據中含有大量的噪聲數據，GBDT和FM組合的方式無反力支撐的疊加組合模型，在理論上對CTR預測的效果改善方面相對出眾，在數據表示能力和預測精度方面，顯示出相對較好的性能.

圖5 各個模型AUC

Fig.5 AUC of each model

圖6 各個模型損失函數

Fig.6 Loss function of each model

圖7 各個模塊效果測試Fig.7 Effectiveness test of each module

本文進一步對比各個模塊之間的準確率及收斂速度(由時間信息反饋)，定義橫坐標為時間，縱坐標為模型每個時刻的準確率，利用平滑實驗處理之后，得到結果如圖7所示.可以發現MDI模型具有最好的收斂性.進一步分析，MDI模型將各個模塊的優點結合，利用深度模塊同線性模塊結合(即wide & deep)，一部分增加了模型的表征能力，另一部分又提升了模型的準確度，因此具有最佳的實驗效果；忽略GBDT模塊，使得數據不經過GBDT處理直接輸入到模型，雖然可以在一定程度上提高模型的收斂速度，但是實驗效果比MDI模型低了5個百分點，導致模型的準確率下降；忽略FFM模塊使得模型無法將同一類型的特征歸化到同一域內，這使模型收斂時間增長，在實驗過程中無法準確學習特征的表征能力，導致準確率也大大下降；忽略FM模塊，使得模型利用兩兩組合的形式構建線性部分，大大增加了模型收斂時間，由于稀疏數據的存在，模型也無法準確的進行低緯特征組合，從而導致模型無法準確的學習模型表征能力，導致準確率降低.

7 結 語

本文針對CTR預測問題，提出一種MDI模型.將序列模式挖掘與經典的CTR預測模型結合，使得MDI模型可以處理具有點擊序列特征的數據集合，符合用戶瀏覽網頁時的實際點擊情況.由于將序列模式挖掘技術引入到該模型中，除了能夠學習高階特征交互，還可以使得處理方式更符合人們的點擊模型，有助于處理和發現有價值的信息，能在具有點擊序列的廣告數據集中表現出良好的表示能力和魯棒性.未來的工作將研究點擊率預測中用戶實時反饋情況.現階段的研究多利用用戶歷史點擊率預測其未來點擊率，這種做法還有很大的提升空間，廣告投放系統應當根據用戶的反饋實時調整廣告投放，并利用wide&deep的方式建立模型.因此，以實時反饋的方式預測點擊率也成為今后的研究方向.