一種帶標簽的協同過濾廣告推薦算法

金紫嫣, ,,1b,,華薇

(1.南昌大學 a.計算機科學與技術系; b.軟件學院,南昌330031; 2.共青科技職業學院,江西 共青 332020)

0 概述

目前,我國互聯網廣告已經有千億級規模,搜索廣告已成為在線廣告的重要形式[1]。廣告產業已從逐漸形成有針對性投放,廣告投放價值可精準度量,發展成為用戶友好型、廣告客戶有益型的廣告市場[2]。搜索引擎收益(Revenue Per Search,RPS)是搜索廣告推薦系統成功與否的重要評價指標之一,它可以通過搜索廣告的計價方式(如CPC、Cost Per Click)與廣告吸引用戶點擊的能力點擊率(Click-Through Rate,CTR)來反映,即RPS=CTR×CPC[3]。因此,如何準確預測CTR并合理利用其進行廣告推薦具有重要意義。

文獻[4]將基于用戶的協同過濾算法應用到廣告推薦領域,將用戶與廣告推薦系統中的Query頁面相對應、商品與廣告推薦系統中的廣告相對應、用戶對商品的評分矩陣用CTR相對應,即待推薦Query頁展示與其相似的Query頁上的廣告,可獲得較高的CTR。文獻[5]提出一種無位置偏見的協同過濾廣告推薦算法,該方法考慮了廣告位置對CTR的影響,利用頁面和廣告的相關性代替用戶對商品的評分。文獻[6]將對CTR的預測問題轉換成排序問題,把CTR作為已知有用信息加入至推薦模型中,使用每個廣告的預測權重值對廣告進行排序。影響CTR的因素有點擊量和展現量兩個方面:其中影響點擊量的因素有廣告的創意、展現形式、相關性、展現位置等,影響展現量的因素有廣告關鍵詞的數量、質量、出價、推廣地域及時段等。而且,在相關性計算中,廣告關鍵詞同樣擔當重要角色,其可以有效反映廣告與Query的匹配程度。因此,充分考慮廣告關鍵詞對CTR的影響并改進傳統相似性度量方法,是提高廣告推薦質量的關鍵之一。

社會化標簽(Social Tag)是Web2.0時代集體智慧的表征,是建立用戶與資源之間的橋梁。標簽系統不僅在音樂、電影、圖書等領域得到了廣泛的應用[7],也在廣告推薦中得以應用。目前,標簽廣告推薦方法主要通過分析標簽(廣告關鍵詞)、用戶和資源(廣告)三者之間的關系獲得其推薦規則。比如,文獻[8]提出一種改進的FolkRank廣告推薦方法,在用戶、資源、標簽三元組中進行迭代計算,求出推薦標簽。其中資源對應于廣告推薦系統中的廣告,標簽對應于廣告關鍵字。文獻[9]分析用戶在不同時間間隙中行為軌跡的相似性,將時隙間相似度作為權重值,將用戶在不同時隙瀏覽的廣告進行協同推薦處理。因此,如何合理找到標簽推薦技術與協同過濾技術結合點,充分挖掘廣告關鍵詞、Query頁、廣告之間的關系,是提高廣告推薦質量的關鍵之一。

本文在標簽技術和系統過濾方法的基礎上,將廣告關鍵詞作為標簽引入Query頁相似性計算中,采用Query頁加權綜合相似度度量方法,降低相似矩陣稀疏性,提出一種基于廣告關鍵詞的廣告搜索興趣模型Q-K-A(Query-Keywords-AD)。

1 相關定義

本節主要介紹與ADR-CF_T算法相關的Q-K-A興趣偏好模型、加權相似度計算以及廣告預測點擊率等相關概念。

1.1 Q-K-A興趣偏好模型

基于用戶的協同過濾推薦主要是研究用戶之間的關系[10],采用最近鄰域技術,通過分析目標用戶的興趣偏好信息向其推薦符合其興趣偏好的項目。然而,對于搜索廣告實際應用背景,建立Query頁之間的興趣偏好模型仍需要考慮諸多因素。點擊率(CTR)可以反映用戶所輸入的請求(即輸出的Query頁)對搜索引擎所選擇展現廣告的偏好程度。由于廣告關鍵詞因素不僅影響廣告的展現量,又在影響點擊量的相關性計算中充當重要角色。因此,考慮在Query頁-廣告的二維興趣偏好模型中加入廣告關鍵詞因素,建立充分描述Query頁偏好程度的三維興趣偏好模型。基于廣告關鍵詞的Q-K-A興趣模型需要考慮三方面因素:與Query頁相匹配的廣告關鍵詞信息,被Query頁展現過的廣告信息以及Query頁相匹配的廣告關鍵詞和其選擇展現的廣告之間的關系。為此,引入如下定義。

假設IS=(Q,K,A,C)為信息系統,其中,Q={q1,q2,…,qm}為Query頁集合,m為Query頁總數,K={k1,k2,…,kn}為廣告關鍵詞集合,n為廣告關鍵詞總數,A={a1,a2,…,ar}為廣告集合,r為廣告的總數,C={cq,a|q∈Q,a∈A},cq,a表示在Q中的元素q上展現A中的元素a所產生的點擊率。

定義1(廣告標簽) 令T={t1,t2,…,ts}為廣告標簽集合,其中s為廣告標簽的總數。對任意ti∈T,kj∈K(1≤i≤s,1≤j≤r),有ti=kj,當且僅當i=k。

定義2(廣告) 給定信息系統IS=(Q,K,A,C),非空有限集表示所有廣告點擊數據集,對?x∈D,有x=。對任意ai∈A,qj∈Q(1≤i≤r,1≤j≤m),x∈D,若x.a=ai,則a.q=qj在qj上展現ai所產生的點擊率cqj,ai定義如下:

(1)

定義3(點擊行為矩陣) 設矩陣是一個m×n的矩陣,其中,m行代表集合Q,n列代表集合A,表示m個Query頁對n個廣告的點擊情況。矩陣Rm×n的第i行第j列的元素rij為qi的興趣因子,用qi展現aj產生的點擊率cqi,aj表示,若qi展現aj,則rij等于cqi,aj;否則rij為0。即:

(2)

定義4(組合) 給定信息系統IS=(Q,K,A,C),設qi∈Q,al∈A(1≤i≤m,1≤l≤r)分別為任意Query頁、廣告,令qi相匹配的廣告標簽組合為Kqi,I(qi,kj,al)為qi的興趣因子,且:

(3)

Kqi可定義如下:

Kqi={kj|kj∈K,I(qi,kj,al)=1},Kqi?K

(4)

定義5(相關關系組合) 給定信息系統IS=(Q,K,A,C),設qi∈Q,kj∈K,al∈A(1≤i≤m,1≤j≤n,1≤l≤r)分別為任意Query頁、廣告標簽(關鍵詞)、廣告,令KAqi表示Query頁qi對應的廣告標簽(關鍵詞)和廣告之間的相關關系的組合,I(qi,kj,al)為qi的興趣因子,定義同式(3)。于是,可定義如下:

KAqi={|kj∈K,al∈A,I(qi,kj,al)=1}

(5)

根據定義1～定義5,所提Q-K-A模型可做如下描述:

定義6(Q-K-A興趣模型) 給定信息系統IS=(Q,K,A,C),令IM={IMi|i=1,2,…,m}為興趣模型,設qi∈Q(1≤i≤m)為任意Query頁,則qi的興趣模型為IMi=(Rqi,Kqi,KAqi)。其中,Rqi表示qi的點擊行為集合,Kqi表示qi相匹配的廣告標簽(關鍵詞)集合,KAqi表示qi的廣告標簽(關鍵詞)和廣告間的相關關系。

1.2 相似度計算

基于用戶的協同過濾算法的關鍵環節是如何尋找與目標用戶偏好程度相似的用戶,本文采用修正的余弦相似度度量,不僅可使相關度在數值上保持相近,也使得所有的評分曲線趨于平穩。令Ixy是用戶和共同評分的項目向量組合,Ix和Iy分別表示用戶和用戶的評分項目向量,則用戶和用戶之間的相似度可以表示如下:

(6)

在基于廣告標簽的搜索廣告推薦系統中,Query頁面相似性主要取決于3個方面因素:Query頁間的共擊相似性,共配標簽相似性以及共含關系相似性。本文為充分表示用戶評分差異性Query,上述三方面因素分別采用修正余弦相似度度量方法[11]、兩Query頁之間共同匹配的廣告關鍵詞的比例以及頁之間共同匹配的廣告關鍵詞與廣告相關關系的比例來計算。同時本文通過綜合加權的方法計算推薦算法中Query頁間相似度以降低相似矩陣計算的稀疏性,并使用Top-N策略減少Query頁的K-最近鄰域候選集的大小。設待計算相似性的2個Query頁分別為qi和qj,則相關定義如下:

定義7(Query頁間共擊相似性) 給定信息系統IS=(Q,K,A,C),設qi∈Q和qj∈Q(i,j=1,2,…,m)為2個Query頁,則qi與qj之間具有共同點擊行為時的相似性simQA(qi,qj)可定義為:

(7)

定義8(Query頁間共配標簽相似性) 給定信息系統IS=(Q,K,A,C),設qi∈Q和qj∈Q(i,j=1,2,…,m)為2個Query頁,則qi與qj之間具有共同匹配的廣告標簽(關鍵詞)的相似性simQK(qi,qj)可定義如下:

(8)

其中,Kqi、Kqj、Kqc分別是qi、qj、qc相匹配的廣告標簽(關鍵詞)集合。

定義9(Query頁間共含關系相似性) 給定信息系統IS=(Q,K,A,C),設qi∈Q和qj∈Q(i,j=1,2,…,m)為2個Query頁,則qi與qj之間具有共同包含的廣告標簽(關鍵詞)與廣告相關關系的相似性simQKA(qi,qj),可定義如下:

(9)

其中,KAqi、KAqj、KAqc分別是qi、qj、qc對應的廣告標簽(關鍵詞)和廣告之間的相關關系的集合。

為降低相似矩陣計算的稀疏性,減少計算誤差,基于定義7～定義9,通過綜合加權的方法得到推薦算法中Query頁間的綜合加權相似度。

定義10(Query頁間綜合加權相似性) 給定信息系統IS=(Q,K,A,C),設qi∈Q和qj∈Q(i,j=1,2,…,m)為2個Query頁,α≥0,β≥0,γ≥0為3個權重調和因子,且α+β+γ=1,則qi與qj之間的綜合加權相似性Sim(qi,qj)可定義如下:

Sim(qi,qj)=αSimQA(qi,qj)+βSimQK(qi,qj)+

γSimQKA(qi,qj)

(10)

在本文中,式(10)的權重調和因子α、β、γ的具體值是根據實驗參數調節的方法確定。

1.3 廣告預測點擊率

為獲得高質量的廣告推薦結果,帶標簽的協同過濾廣告推薦算法思路如下:

1)對目標Query頁qi與其他Query頁qx(x=1,2,…,m,但x≠i)之間的綜合加權相似度計算結果進行逆序排序(從大到小排序),采用Top-N策略取其中前K個相似度最高的Query頁得到目標Query頁qi的K-最近鄰域NK(qi),并獲得NK(qi)中Query頁上所有展現過的廣告集合作為候選推薦廣告集A′。

2)以廣告預測點擊率為廣告推薦衡量指標,對A′中每個候選展示的廣告al(l=1,2,…,s,s≤r),計算其在目標Query頁qi上展示時的預測點擊率CTRpre(qi,al),結合CTRpre(qi,al)和Top-N策略從候選推薦廣告集A′中篩選出最佳推薦廣告集A*。

目標Query頁K-最近鄰域、候選推薦廣告集和廣告預測點擊率分別定義如下:

定義11(目標Query頁K-最近鄰域) 給定信息系統IS=(Q,K,A,C),設qi∈Q為目標Query頁,qx∈Q(x=1,2,…,m,但x≠i)為其他Query頁,Sim(qi,qx)為qi與qx之間的綜合加權相似度,δ>0為給定閾值,則qi的δ-鄰域Nδ(qi)為:

(11)

若將所有其他Query頁與目標Query頁的綜合加權相似度序列按從大到小的順序排序,記為S1≥S2≥…≥SK≥…≥Sm-1,其中K

定義12(候選推薦廣告集) 目標Query頁的K-最近鄰域NK(qi)中Query頁上所有展現過且目標Query頁qi沒有展現的廣告構成集合稱為候選推薦廣告集,記為A′。顯然,A′?A。

(12)

2 帶標簽的協同過濾廣告推薦算法

依據第1節給出的相關定義和算法設計思路,帶標簽的協同過濾廣告推薦算法可描述如下:

算法帶標簽的協同過濾廣告推薦算法ADR-CF_T

輸入目標Query頁qi(i=1,2,…,m),Query頁集合Q(|Q|=r),廣告關鍵詞集合K(|K|=n),廣告集合A,CTR集合C,鄰居數N

輸出目標Query頁qi的最佳推薦廣告集A*

步驟1對集合中的每個Query頁qj,1≤j≤|Q|,j≠1,循環執行如下操作:

步驟1.1計算Query頁間共擊相似性SimQA(qi,qj)。

步驟1.2計算Query頁間共配標簽相似性SimQK(qi,qj)。

步驟1.3計算Query頁間共含關系相似性SimQKA(qi,qj)。

步驟1.4計算Query頁間綜合相似性Sim(qi,qj)。

步驟2根據Sim(qi,qj),對集合中除了目標Query頁qi的剩余對象從大到小排序。

步驟3選取集合中排序靠前的N個Query頁為目標Query頁qi的最近鄰域N(qi)。

步驟4廣告集合中的每個廣告aj,1≤j≤|Q|,循環執行如下操作:

步驟4.1若目標Query頁qi展現了廣告aj,重新返回步驟4.1;否則,跳到步驟4.2。

步驟4.2將廣告aj加入目標Query頁qi的待展示廣告集合A′中。

步驟5對于待展示廣告集合A′中的每個廣告aj,1≤j≤|A′|,循環執行如下操作:計算目標Query頁qi對未展示的廣告aj的預測點擊率CTRpre(qi,aj)。

步驟6根據CTRpre(qk,aj),對待展示廣告集合A′中的廣告從大到小排序。

步驟7選取集合A′中預測點擊率最高的前N個廣告作為TOP-N最佳推薦廣告集A*。

ADR-CF_T算法時間開銷關鍵在于Query頁之間的相似度計算,計算Query頁間共擊相似性SimQA上的時間開銷與傳統CF算法一致,都為O(m·r),計算Query頁間共配標簽相似性SimQK上的時間開銷是O(m·n),計算Query頁間共含關系相似性SimQKA上的時間開銷為O(m·n·r),因此,ADR-CF_T算法的時間復雜度為O(m·n·r)。

3 實驗結果與分析

本文選擇KDDCUP2012[12]中track2的訓練數據集作為實驗數據。該數據提供了騰訊搜搜的搜索廣告點擊數據,共10.6 GB大小,149 639 105條數據。本文選取數據屬性中的點擊次數、出現次數、廣告標示符、Query頁面標示符、廣告關鍵詞標示符這5個屬性作為搜索廣告推薦系統的實驗,即Click、Impression、AdID、QueryID、KeywordID。

3.1 數據預處理

本文首先對原數據進行隨機抽樣,選取其中的1 000 000條數據;根據本文實驗的數據需求,刪除其他7個屬性列,并刪除重復項后得到641 566條數據。其中Query頁面290 479個,廣告101 422個,廣告關鍵詞113 470個;其次,為了進一步避免嚴重的數據稀疏性問題,選擇點擊記錄不少于30的Query頁和廣告,剩下19 436條數據,包含Query頁10 936個,廣告8 789個,廣告關鍵詞10 439個,在每個Query頁面展現的廣告中,隨機選取80%的數據作為訓練集,剩余數據作為測試集。

3.2 評測指標

由于采取Top-N的推薦方式,本文實驗采用對不同鄰居數計算的準確率(Precision)、召回率(Recall)以及F度量(F-measure)來評價搜索廣告推薦系統的質量。分別對它們進行如下定義[11,13-14]:

1)準確率是指為測試集中目標Query頁推薦的廣告集合Top(q)中,有多少廣告是q展示過并且點擊率較高的廣告。令Result(q)是Query頁在訓練集中實際展現的廣告集合,每個Query頁推薦結果的準確率計算公式為:

(13)

2)召回率又稱作查全率,是指測試集中的推薦結果中,正確推薦所占的比例,則每個Query頁推薦結果的召回率計算公式為:

(14)

3)F度量是兼顧準確率和召回率的總體表現的綜合指標。F度量的計算公式為:

(15)

采用平均絕對誤差(Mean Absolute Error,MAE)對各權重調和因子預測的準確度。對測試集中的一個Query頁和廣告,令CTRreal(q,a)為Query頁對廣告的實際點擊率,CTRpre(q,a)為Query頁對廣告的預測點擊率。則平均絕對誤差(MAE)[14]的計算表達式為:

(16)

3.3 結果分析

3.3.1 參數調節

在帶標簽的協同過濾廣告推薦算法中,其關鍵的相似度計算方法是對Query頁間的共擊相似性、共配標簽相似性、共含關系相似性進行加權,使得相似性的計算更加準確。本文分別選取10%、20%、30%的數據集進行實驗,通過對α、β遍歷取值,觀察MAE(α,β)的變化,權衡各相似性度量方法的權重。考慮到α+β+γ=1,因此,只取α、β作為因變量,實驗結果如圖1～圖3所示。

圖1 10%數據集權重調節因子對MAE的影響

圖2 20%數據集權重調節因子對MAE的影響

圖3 30%數據集權重調節因子對MAE的影響

從圖1～圖3可知,α、β的變化可以影響廣告推薦算法的預測準確度,當0.2<α<0.4,0.4<β<0.6時,所提出的帶標簽的協同過濾廣告推薦算法的性能最優。本文選取α、β、γ最優值分別為0.2、0.4、0.4。

3.3.2 可擴展性驗證

為測試ADR-CF_T算法的可擴展性能,本文通過隨機選取數據集規模的20%、40%、60%、80%的數據與整體數據集的執行時間進行對比,實驗結果如圖4所示。

圖4 數據集規模與執行時間之間的關系

由圖4可知,隨著數據規模的增加,算法的執行時間從緩慢遞增變化為急劇增加,又逐漸平穩遞增。

可見,帶標簽的協同過濾廣告推薦算法在數據規模增加的情況下,其執行時間的增長在可接受的范圍內,故該算法具有較好的可擴展性。

3.3.3 推薦質量對比實驗

在本文實驗過程中將數據集分為訓練集和測試集兩部分,其中,訓練集占80%,測試集占20%。通過Top-N輸出推薦列表,并采用準確率、召回率、F度量值對實驗的推薦質量進行評測。為了更明顯地展現本文提出的帶標簽的協同過濾廣告推薦算法的有效性,將權重調和因子α、β、γ分別調為1,即得到基于用戶的協同廣告推薦算法[3]、基于標簽的廣告推薦算法[15]、基于標簽和項目關系的廣告推薦算法[16]。為了比較以上3種算法和所提出的帶標簽的協同過濾廣告推薦算法的推薦質量,本文設計了3組實驗:即TOP5推薦各算法的推薦質量對比、不同N值下各算法的推薦質量對比、推薦質量優化程度對比。

1)TOP5推薦各算法的推薦質量對比

本文實驗從準確率、召回率、F度量值3個方面,對所提出的帶標簽的協同過濾廣告推薦算法與基于用戶的協同廣告推薦算法、基于標簽的廣告推薦算法以及基于標簽和項目關系的廣告推薦算法進行比較分析,根據廣告推薦的實際應用情況,本文實驗對每個頁面推薦5個廣告,即進行Top5推薦,實驗結果如表1、圖5所示。

表1 4種算法TOP5推薦實驗評價指標結果

圖5 不同推薦算法Top5推薦質量比較

通過對比發現,本文提出的帶標簽的協同過濾廣告推薦算法在準確率上比傳統協同過濾算法提高52%,在召回率上提高25%,在F度量值上提高46%,整體效果提高近41%。由于本文在計算Query頁面之間相似性時,考慮了CTR、廣告關鍵詞以及廣告關鍵詞和廣告之間的關系三方面因素的影響,綜合的相似度計算方法可以有效地反映Query頁對廣告的偏好信息,廣告關鍵詞對于Query頁和廣告之間的相關性以及廣告本身的特征進行較完整的描述。同時,本文提出的相似性度量的權重調和因子α、β、γ,通過分析發現其取值對推薦算法的預測準確度有較大的影響。

2)不同N值下各算法的推薦質量對比

最近鄰居數的選擇對推薦算法的推薦質量同樣產生影響,因此,本文對比了最近鄰居數選擇為5、10、15、20、25、30的情況下,分別對基于用戶的協同廣告推薦算法、基于標簽的廣告推薦算法、基于標簽和項目關系的廣告推薦算法以及本文提出的帶標簽的協同過濾廣告推薦算法的準確率、召回率及F度量值進行比較,其對比結果如圖6～圖8所示。

圖6 不同N值下的準確率對比

圖7 不同N值下的召回率對比

圖8 不同N值下的F度量值

通過對比發現,當為每個頁面推薦25個廣告時,本文提出的帶標簽的協同過濾廣告推薦算法與其他3種算法相比,在準確率上提高至少17%,在召回率上提高至少0.9%,在F度量值上提高至少21%。隨著最近鄰居數的增加,出現推薦效果不增反減的現象。這是因為在廣告推薦系統中,真正相似的Query頁面的數量有限。當選擇更多的不相似鄰居后,這些Query頁面展現了來自不相似Query頁面中的點擊率較高的廣告,導致推薦質量下降。因此,只有在廣告推薦系統中正確地選擇相似的Query頁作為最近鄰居,才能得到理想的協同推薦效果。

3)推薦質量優化程度對比

表2 不同算法的系數選擇以及擬合優度指數

圖9 推薦結果的準確率和召回率高斯擬合曲線

通過高斯擬合后的曲線看出,基于用戶的協同廣告推薦算法和基于標簽和項目關系的廣告推薦算法相比,隨著召回率升高,兩條曲線產生交點,根據表2中提供的系數可以求得交點坐標約為(0.047 2,0.016 8),則在召回率區間(0,0.047 2),基于用戶的協同廣告推薦算法的準確率低于基于標簽和項目關系的廣告推薦算法,其相差程度逐漸減小;在區間[0.047 2,0.08],基于用戶的協同廣告推薦算法的準確率高于基于標簽和項目關系的廣告推薦算法,并且相差程度逐漸增大。隨著召回率增加,本文提出的帶標簽的協同過濾廣告推薦算法的準確率明顯高于其他3種算法,相比之下基于標簽的廣告推薦算法的準確率最低,與上一實驗結果一致。

綜上所述,通過分析廣告關鍵詞、廣告及其之間的關系來構建Query頁的興趣度模型,計算綜合的整體相似性,相對于利用CTR作為偏好信息以及廣告關鍵詞作為隱式偏好信息的方法,本文提出的廣告推薦算法構建的Q-K-A興趣度模型更加準確,具有較好的可擴展性,推薦的質量也得到了提高。

4 結束語

本文基于用戶的協同推薦以及基于標簽的推薦技術,探索標簽與項目之間的關聯關系,提出一種綜合整體相似性的度量算法。該算法可正確地表達搜索廣告推薦系統中Query頁面的興趣模型,使計算鄰域的準確性得到保證,進而提高了推薦的準確性。實驗結果表明,相比傳統協同過濾算法、基于標簽的推薦算法以及基于標簽和項目關系的推薦算法,帶標簽的協同過濾廣告推薦算法具有更好的可擴展性和更優的推薦質量。但該算法未考慮影響廣告點擊率的其他因素,如位置、出價等因素,因此,下一步將考慮與機器學習算法相結合,挖掘廣告本身屬性,提取特征信息,在實際應用中分析影響廣告點擊率的因素,提高推薦精確度。

[1] 王勇睿.互聯網廣告算法和系統實踐[EB/OL].[2014-10-20].https://yuedu.com.

[2] WANG Jinqiao,WANG Bo,DUAN Lingyu,et al.Interactive ads recommendation with contextual search on product topic space[J].Multimedia Tools and Applications,2014,70(2):799-820.

[3] ANASTASAKOS T,HILLARD D,KSHETRAMADE S,et al.A collaborative filtering approach to ad recom-mendation using the query-ad click graph[C]//Proceedings of the 18th ACM Conference on Information and Knowledge Management.New York,USA:ACM Press,2009:1927-1930.

[4] 霍曉駿,賀 樑,楊 燕.一種無位置偏見的廣告協同推薦算法[J].計算機工程,2014,40(12):39-44.

[5] MA H,LYU M R,ZHOU D,et al.Recommender systems with social regularization[C]//Proceedings of the 4th ACM International Conference on Web Search and Data Mining.New York,USA:ACM Press,2011:287-296.

[6] 范雙燕.基于廣告點擊率以及標簽推薦圖模型的廣告推薦方法研究[D].北京:北京交通大學,2015.

[7] 張國燕.基于標簽的個性化廣告精準營銷系統設計與實現[D].武漢:華中師范大學,2013.

[8] 范雙燕,王志海,劉海洋.基于改進的FolkRank廣告推薦及預測算法[J].軟件,2014,35(9):43-48.

[9] 田雪松.基于協同過濾的移動互聯網廣告推薦方法的研究[D].成都:西華大學,2016.

[10] BREESE J S,HECKERMAN D,KADIE C.Empirical analysis of predictive algorithms for collaborative filtering[J].Uncertainty in Artificial Intelligence,1998,98(7):43-52.

[11] JASCHKE R,MARINHO L,HOTHO A,et al.Tag recommendations in social bookmarking systems[J].AI Communications,2008,21(4):231-247.

[12] KDDCup[EB/OL].[2012-12-21].http://acm.sjtu.edu.cn/courses/kddcup/2012.

[13] NANOPOULOS A.Item recommendation in collaborative tagging systems[J].EEE Transactions on Systems Man & Cybernetics,Part A:Systems & Humans I,2011,41(4):760-771.

[14] AMANDI A,GODOY D.Hybrid content and tag-based profiles for recommendation in collaborative tagging systems[C]//Proceedings of Latin American Web Con-ference.Washington D,C.,USA:IEEE Press,2008:58-65.

[15] SCHLEE C.Targeted advertising technologies in the ICT space[M].Berlin,Germany:Springer,2013.

[16] CANTADOR I,BELLOGIN A,IGNACIO F T,et al.Semantic contextualisation of social tag-based profiles and item recommendations[J].E-Commerce and Web Tech-nologies,2011,85:101-113.