基于反事實學習及混淆因子建模的文章個性化推薦①

楊夢月,何洪波,王閏強

1(中國科學院 計算機網絡信息中心,北京 100190)

2(中國科學院大學,北京 100049)

互聯網文章推薦系統是一個幫助用戶,為用戶提供文章閱讀建議的平臺,推薦系統的存在已經成為了減輕用戶信息負載,實現文章個性化獲取的一個重要方式.互聯網推薦系統近年來在各種商業領域得到了廣泛的應用,不僅僅用在了文章領域,在社交網站,電商網站等等網站都有大量的應用[1,2].可以說,人們的日常網上生活已經離不開互聯網推薦系統.文章信息相較于其他信息來說,具有更強的主題性,其具有生命周期較短、訪問記錄稀疏、文本表示復雜的特點,所以在其基礎上的推薦系統構建相對來說更加復雜.現有的推薦算法按照訓練方法分類一般情況下主要分為兩大種類,第一類是使用在線學習(online learning)[3–6]的方法通過跟環境不斷交互的方式進行各推薦單元的期望回報預估,通過這種方法能夠適應線上動態變化的環境,并且能夠執行更好的推薦探索策略.這種方法具有很大的優勢,是因為他簡單易行,并且非常適合線上環境變化.但其劣勢也非常明顯,單一的特征處理結構不能滿足其面對的更加復雜的異構數據,并且增加模型的復雜度目前還沒有合適的數學方法能夠給出該算法所要使用的置信區間,另外線上環境執行具有不確定性,并且線下訓練采樣率非常低.第二類是使用歷史數據進行監督學習[7–10],對當前的歷史記錄進行擬合并且計算所要預測請求的回報.這類方法的優勢是能夠改變特征提取和組合的方式,使其自動提取出來的特征對分類結果更有幫助,常見的例如基于機器學習以及深度學習的推薦系統.

第一種方法需要在線環境進行交互迭代訓練,但是通常情況下,使用真實環境進行訓練的代價十分高昂,并且迭代速度緩慢.在真實的工業場景中,一般采用構建離線模擬器的方式.但是構建模擬器對于文章預測并不可行,因為文章預測沒有一定的規律性.第二種方法不需要線上環境的交互過程,監督學習的方法往往通過大量的歷史數據進行學習,但在從歷史數據中學習會產生一定的問題.那就是歷史數據往往不能包含所有的決策情況,所以,使用歷史數據預測往往會產生分布偏移的情況,使得決策策略更加傾向于歷史數據當中存在的事件.模擬線上環境的實現對于文章推薦場景來說較為困難,所以本文將關注基于歷史數據信息的學習.本文需要解決現有的從歷史數據中直接進行監督學習會產生策略分布偏差的問題,并且解決存在在無法直接觀測到的混淆因子的情況下,模型產生的偏差.

針對以上問題,本文引入了因果推斷的思想,通過反事實學習對環境中未出現的情況進行推理,進行分布建模,從而能夠避免樣本量涵蓋范圍不足產生的分布偏差.本文同時考慮推薦系統中含有大量的對結果產生影響的隱性因素(在這里把它稱為混淆因子(confounder)),提出了混淆因子存在情況下的策略學習方法.

本文主要貢獻如下:

(1)本文針對現有的各類深度學習推薦系統方法的分析結構和目標特點,構建出深度反事實學習框架,降低推薦系統依賴于歷史策略產生的偏差.

(2)本文提出了使用了變分自編碼機對推薦系統中混淆因子進行推斷,使得模型能夠在這些混淆因子的影響下構建出一個無偏傾向分數,降低模型偏差.

1 文章個性化推薦方法

1.1 基于監督學習的個性化推薦

監督學習的推薦系統一般會收集大量的歷史推薦數據,其中包括用戶被觀測到的特征,以及大量的文章特征.其中用戶需求一般被表示為一個向量,這個向量中包含一些用戶特征,通常被表示為稀疏特征.同時一般用戶會有一個隨機推薦的項目范圍,這個范圍通常情況下在針對用戶請求的召回階段是非常巨大的,通常這時會使用一些簡易的相似度匹配方法從超大樣本空間中選取出較為相似的小樣本,針對小樣本空間進行精確推薦.而我們的模型就工作在這一精確排序的層面.如下給出一些符號表示:

以X∈Rb?d作為用戶樣本集合,其中b為樣本數量,d為樣本空間維數大小.同時用戶候選推薦項目集合作為A={a1,a2,···,ak},其中ak∈Rs,s表示文章向量的向量空間大小.與此同時,Y∈Rb則代表數據集中一個請求和推薦之后得到的用戶反饋,在文章推薦系統當中,主要研究文章事件的點擊率CTR.一般情況下,一個事件可以被看作是用戶請求和推薦商品以及用戶反饋的三元組(x,a,y).

現有的監督學習模型主要分為兩種類別,其一是通過設計單一模型的最大化提取當前有效特征嵌入層,通常情況下根據推薦項目的不同有利用組織單一的多層感知機(MLP),卷積神經網絡(CNN),循環神經網絡RNN 神經網絡,或與條件隨機場CRF 的模型構建的神經網絡,這種網絡的設計需要根據數據的表現和結果的偏差進行微調,大多數情況下一種模型并不具有推廣性.

其二是使用多模型融合的方法進行聯合特征提取,比如經典的wide &deep 模型,這種方法結合了傳統機器學習和深度學習的特征提取優勢設計嵌入層融合,從而能夠得到更具有記憶性和泛性的隱藏層特征,得到偏差更小的分類模型.常用的融合方式有CNN 與RNN 網絡結構融合,CNN 與自動編碼器(Autoencoder)的融合等[11–13],這類方法在各類問題上都展現出其巨大的優勢,主要是因為其能夠利用各大網絡結構的設計特點針對原始數據進行不同程度上的特征提取,從而提升模型的無偏性.雖然一個特定的融合模型不能推廣到各類場景,但是該類方法的思想具有很強的應用價值.

如果說模型設計可以被看作一種人工的先驗知識,這個先驗知識限制了假設空間的大小,那么針對各類場景問題的特定模型設計就格外重要.

監督學習中使用的損失函數一般根據任務不同稍有偏差,在文章推薦中由于一般將CTR 作為評價指標,并且一般情況下使用較差熵損失函數:

其中,N為采樣樣本空間大小,y為樣本標簽真值,為當前模型預測值.

這種方法的優勢是其可用性強,簡單,容易操作.但存在一些缺陷:歷史數據的推薦在實際線上系統應用中存在偏差,因為針對一個在特定時間出現的用戶請求,歷史數據當中往往只包含其中一種推薦結果,換句話說,在其他情況下的推薦結果是未知的,另外由于本身收集到的數據并不能保證其不會偏向于某種特定的非最優策略分布,所以使用監督學習往往會產生訓練偏差,但這些偏差很多時候都很容易被忽略.

1.2 基于在線學習的個性化推薦

在線學習是在當推薦系統需要一定的探索性時的解決方案,算法通過直接與環境交互推薦得到的反饋結果進行更新.

在線學習的主要方法是基于置信區間上界的方法,該方法提供了一種探索策略,即在算法早期由于訓練樣本較少,所以此時針對每一種推薦的參數在早期置信度較低.該置信度可以使用霍夫丁不等式來具體衡量.早期的在線學習僅僅考慮伯努利實驗,而不考慮用戶上下文信息,在2010年,Li 等[3]提出了一種方法可以將在線學習算法擴展到上下文形式,主要使用了線性模型對上下文進行了回饋函數建模,并且使用了阿祖瑪不等式對其估計上界進行限制,從而達到一定的探索效果,該算法取得了巨大的成功,并且被工業界廣泛使用.

在線學習主要分為以下步驟:

1)首先對系統中的每個可推薦項目,都設置同樣的初始化參數模型,并進行隨機探索推薦一個推薦項目.

2)得到該推薦項目針對該用戶的推薦回報結果,并用推薦結果更新算法中參數.

3)算法計算每一個可推薦項目的期望回報結果,并且預估其置信上界,選擇當前置信上界值最高的可推薦項目進行推薦.

4)得到推薦結果之后,返回第2)步.

從以上步驟可以看出,在線學習本質上是非監督化的訓練,在沒有監督信息的情況下,對回報函數的預估和擬合會出現一定的偏差,會出現過估計的情況,即其預估值會越來越高,導致推薦結果出現偏差,其次是該方法必須需要在線執行,離線采樣率非常低,但在線訓練的代價通常很高,因為線上系統面向真正的用戶,所以在算法早期會有大量的不確定推薦因素.造成用戶損失以及公司損失.

1.3 基于反事實學習的個性化推薦

監督學習的方法雖然已經有不錯的效果,但是其需要大量的訓練數據涵蓋出各種不同的推薦情況.實際情況下,往往線上數據保留下來的記錄只是遵循一種或幾種推薦策略,并不能涵蓋出所有的推薦結果,所以如果在這種樣本上訓練的話,監督學習得到的推薦策略就有一定的傾向性.比如,當前策略下,正負樣本數量差距較大,那么期預測的正負結果數量差距可能會更大,原因是算法更傾向于對不確定的上下文執行更小可能出錯的推薦,從而算法更容易被歷史策略先驗影響.

貝葉斯網絡之父Pearl 在1986年提出使用因果實現真正的機器智能,其思想核心就是發現數據之間的因果關系[14–16].在推薦系統領域,傳統機器學習只能根據數據之間的相關性發現其中的相關關系,但是學習出相關關系之后,并不能給出一個準確推薦結果.舉個例子,陽光照射在物體上時,會在地面投射出影子,是因為陽光的位置和物體的形態位置決定了影子的形狀和大小.基于相關關系的學習僅僅只能發現三種事物相關性,但是在探索次數有限的情況下.假如想得到一種特殊形態的影子,使用監督學習很難在歷史記錄當中學習出來該如何擺放物體.而基于因果的反事實學習是在假設已經存在一個因果關系結構,通過控制變量的方法得到每次的影子投射結果,就可以對歷史中不存在的情況進行分布建模,從而能得到無偏估計,Swaminathan 等首先定義了在歷史記錄中進行反事實學習的機器學習框架[17],并且針對其模型結構在深度學習上進行推廣[18]以及進一步歸一化[19,20].此外,反事實學習也被擴展在表示學習以及日志學習領域[21,22].

2 基于因果反事實推理的個性化推薦

針對監督學習訓練模式在數據策略缺失較多的情況下,本文引入反事實學習作為訓練策略.反事實策略能夠幫助算法通過重要性采樣的方式發現完善在歷史情況下沒有被觀測到的策略結果分布,即反事實分布.

參考推薦系統訓練的一般過程,本段將給出一些符號表示:使用Y(a):a∈A表示不能直接觀測到的潛在環境回報方程,表示當前選擇文章a時環境給出的CTR 預估結果.使用Dt={Dt1,Dt2,···,Dtk},其中Dta表示觀測到第t輪時,歷史策略a的推薦指示,既如果Dta=1,則表示在時間步t時a被選擇.另外,本文將歷史數據的策略看作一個固定的策略,這個策略分布可以使用pt={pt1,pt2,···,pta}表示,訓練策略主要被表示為如下步驟:

1)假設數據集當中收集的事件三元組在每一個訓練時間步中滿足獨立同分布(i.i.d.)采樣,并且其概率服從一個特定的概率分布.

2)在每步訓練中使用神經網絡估計得到當前步的歷史策略傾向分數,通過該分布進行反事實重要性采樣,從而達到反事實學習的目的.

3)Swaminathan 等在2015年提出[19],該方法存在一定的傾向性過擬合,因為在進行該算法時,需要估計歷史策略分布值,當對該值不加限制的情況下,作為分母,如果該值過小,可能會導致嚴重的訓練不穩定性.為防止傾向性過擬合,他提出對當前計算結果進行自歸一化.

2.1 使用因果關系對歷史策略建模方法

為了防止在推薦系統中出現偏差,本文將反事實引入用于構建無偏的歷史策略分布.通過反事實學習,雖然已經可以從歷史數據中學習到無偏策略.但此時仍然需要估計歷史策略的傾向性分數,即需要估計的值,如果此時采用機器學習監督算法去直接估計計算該值,則仍然會在結果中產生偏差,其中的原因是,系統中觀測到的僅僅是當前用戶的信息,推薦項目的信息,以及最終的結果,這種觀測未考慮到混淆因子存在的情況,并且每個不同的模型都有其預測特點,不能保證其無偏性.

混淆因子是指在系統中無法觀測到的影響因素,混淆因子最早源于辛普森悖論,是指當對具有較大的腎結石患者執行療程A 時,成功治愈的可能性較高,對具有較小腎結石患者執行B 時,同樣也有較高的治愈概率.但某些情況下,療程A 對于較小腎結石者比療程B 更加有效.之所以產生該悖論的原因是系統中存在不能直接觀測的混雜因素,該混淆因素直接影響到狀態的觀察,決策,以及結果的反饋.

前人提出的估計歷史策略傾向分數的方法,大多為使用某中機器學習模型,但該做法具有較強的先驗性.會導致策略學習產生傾向一種模型策略結果的偏移,并且在使用該方法的過程中,由于未考慮環境中混淆因子的存在,及其有可能產生較大的偏差,所以為了防止該偏移的產生,本文將混淆因子進行整體建模.

文章推薦系統中的因果關系可以被構建成兩種形式.

第一種是在不考慮混淆因子的情況下,在模型中,當前觀測到的狀態X,策略A與結果Y的因果關系如圖1所示,可以觀察到當前觀測回報結果僅僅由當前所選擇的推薦項目A影響.不考慮混淆因子的存在.也就是之前大部分研究工作所采用的因果關系圖.

圖1 假設在不存在混淆因子情況下的因果關系圖

第二種考慮了系統中混淆因子U的存在下的因果關系,如圖2所示,可以看出系統中的觀測X,推薦項目A,以及最終結果Y都受到環境當中的混淆因子影響.而本文主要研究的就是在這種情況下的建模問題.

圖2 假設系統中存在未知的混淆因子變量

2.2 基于混淆因子建模的傾向分數建模

在因果推斷的框架下,混淆因子被看作環境中的隱變量,由于隱變量屬于系統中無法觀測的變量,所以可以根據其余可觀測變量對其進行推斷.本文提出的模型基于生成模型中的變分自編碼器框架對隱變量執行推斷.

首先,需要考慮潛在回饋方程,即Y(x)=h(x,a),如果潛在的混淆因子可以使用,則可以采用如下關系式對回饋方程進行建模:

式中存在未知隱變量u,在系統中表現為無法直接觀測以及施加影響的混淆因子.所以需要對該隱變量進行推斷,即推斷模型q?(u|x,y,a),在本文中,基于變分自編碼機(VAE)的思想,將混淆因子u作為隱變量,采用變分自編碼機的編碼器進行推斷.

變分自編碼機由Kingma 在2013年提出[24],其假設系統的觀測值是由少數的隱變量控制,其假設隱變量滿足一個各向同性的標準高斯分布[25,26].模型主要分為編碼器和解碼器,編碼器用于將生成分布擬合成為標準高斯分布,以達到解耦目的.解碼器根據從標準高斯分布中采樣出的隱變量獲得新的觀測數據.一般認為,變分自編碼器相較于其他的生成模型具有更高的泛化性能.

本文采用生成模型聯合訓練的方式,隱變量推斷過程參考[27],同時對隱變量和回饋函數進行推斷和學習.該學習過程參考圖2因果性所示,對于一個觀測到的推薦三元組記錄(x,a,y)來說,其對數似然如下所示:

在該方法中采用了基于隱變量推斷的生成模型.該模型的主要方法是采用變分自編碼器的訓練方法,該模型的訓練目標即為最大化似然函數(式(2)).對任意變量有如下生成模型方程,在本文中,假設x,a,y的生成都能由非線性函數控制,即:

其中,θ可以為任何非線性函數的參數,而在本文中該函數參數為神經網絡中的參數,由神經網絡優化擬合.

假設混淆因子u的先驗分布p(u)滿足一個各向同性的多元高斯分布即u～N(0,I),此時,根據VAE 假設,在本文中,生成的u的在觀察數據三元組(x,y,a)條件下的條件概率滿足一個多元高斯分布:

公式中 ?的表示變分編碼器參數.根據之前的x,y,z的生成模型,從混淆因子中解碼得到的三元組可以被表示為如下表達式:

由于在該生成模型中,u的后驗概率由歷史記錄當中的所有觀察值三元組共同決定,所以一定程度上避免了只考慮一項因素所產生的混淆偏差.

在生成模型變分推斷自編碼器(VAE)中,變分自編碼器主要采用兩層結構——編碼器和解碼器.

編碼器的作用主要是通過訓練的三元組數據得到隱變量u的后驗方程.本文假設u的先驗概率為一個各向同性的標準高斯分布,所以編碼其采用u的后驗概率與u的先驗產生的偏差作為誤差,該誤差使用分布距離KL 散度衡量.

解碼器的作用是通過從一個標準高斯分布中采樣出隱變量u,并且根據該隱變量u的值還原出觀察值,其誤差采用經驗誤差,即最小化由觀測值通過編碼器產生的隱變量經由解碼器生成的新觀測值以及訓練觀察值之間的經驗誤差.

采用監督經驗誤差作為解碼器誤差,優化目標為置信下界(ELBO).該置信下界可以被寫作如下形式:

注意到,觀測到的因果關系數據,即歷史記錄,僅僅記錄了一部分的推薦結果,為了得到無偏傾向分數(a|x).在變分自編碼機當中推斷后驗概率的同時,需要在同時估計歷史策略分布ai～q?(a|xi).所以本文提出將其加入損失函數當中,該損失函數是由Louizos[28]首次形式化成如下形式:

在該式中,q?(a|xi)為一個分類模型的似然函數,通過高斯分布擬合,通過似然函數的最大化更新參數,預測結果為各分類的分數.其中(xi,yi,ai)為數據集當中的三元組,使用最小化該損失函數中的可訓練參數θ 優化生成函數的結果,即解碼器.并且通過最小化該方程中的可訓練參數 ?用于優化傾向分數,最后可以將其用于反事實推斷.

3 實驗及結果分析

3.1 實驗設置

在推薦系統中對于在線方法直接驗證是一件比較困難的事,因為沒有直接的標簽可以用于參考.所以在這里直接使用推薦系統中的累積回報對最終反事實學習進行結果驗證.

本文實驗基于真實的文章推薦場景,數據選用Yahoo！Today’s Module 公開新聞推薦數據集.數據采集于2009年五月的Yahoo! front page,其中包括了用戶信息,新聞推薦可選擇范圍,文章推薦結果作為一個事件.數據一共包含了468 萬個事件(x,a,y),其中x包含用戶的6 維特征,是由原始特征提取出的主題特征,每一維特征都在范圍[0,1],文章特征同樣采用6 維主題特征范圍同樣在[0,1].反饋值y代表了當前推薦項目的點擊情況,其中1 代表當前用戶點擊了該新聞,0 代表用戶沒有點擊該新聞數據.實驗中隨機篩選了其中推薦最多的6 種文章,并對數據進行了充分混合,以防選擇順序對結果產生影響.最終實驗選擇一共128 萬個事件的集合.其中前100 萬個事件作為訓練集,剩余的28 萬個事件當作測試集.實驗采用的對照組分為3 類.

1)使用監督學習估計的方法

將用戶特征x與推薦新聞的新聞特征a進行拼接當作訓練數據,將回報(CTR)當作訓練標簽y,對其進行監督學習.實驗中一共嘗試了四種監督學習方法,其中包括:對率回歸(Logistic regression),梯度提升機(Gradient boosting machine),隨機森林(random forest).

2)使用監督學習方法估計傾向性分數,使用反事實學習的方法

使用對率回歸,梯度提升機和隨機森林得到的策略作為傾向性得分,使用反事實學習的方法得到最終策略,實驗結果通過測試集拒絕采樣進行驗證.

3)使用因果混淆因子建模的反事實訓練

使用對混淆因子建模的方法,計算出傾向性得分,通過該傾向性得分進行反事實學習,最終得到結果.

3.2 反事實學習神經網絡實現細節

本文假設隱變量符合標準高斯分布N(0,1),其中隱變量維度設置為8 維.編碼器中的$采用單層全聯接作為隱層模型,隱層維數為8.解碼器中的3 類三元組估計同樣采用單層全聯接作為隱層模型,其中logpθ(yi|ui,ai)隱 層維數為16,l ogpθ(ai|ui,xi)、l ogpθ(xi|ui)分別為16,8.由于模型需要同時估計策略模型q?(ai|xi)似然函數中的高斯分布參數,隱層維數為16.為了更好地提升GPU 運算效率,隱藏層維數設置為2 的倍數,另外為避免過擬合現象產生,隱層維數與解碼器均與輸入數據維數接近,均設置為8 與 16.

3.3 實驗結果分析

實驗結果圖3所示,可以看出對率回歸表現結果欠佳,是因為線性模型的假設空間的復雜度不夠高,從而不容易捕捉更加復雜的模式,所以擬合度會有一些欠缺,尤其是在數據量過大的情況下,需要的假設空間會更大.所以其表現相對于梯度提升機和隨機森林較差.

圖3 各對照組實驗的平均回報

梯度提升機和隨機森林都是基于樹結構的方法,在該實驗中,對與兩種方法試驗均采用50 個估計器以及15 層樹深度以達到最佳的精準率并防止過擬合.得到的結果相差并不多,可見這兩種方法的復雜度要比線性模型高出許多,所以表現也更加優秀.

可以從圖3中看出,采用反事實學習的策略,得到的效果比直接使用監督學習高許多,由于在反事實學習中傾向性分數作為分母,為避免過擬合,在實驗過程中對該傾向性分數做了一定的限制,要求其不為0 且與當前策略的比值不低于0.05,不高于0.95.但也可以看出,雖然采用反事實學習雖然能提高性能,但是也受到傾向性分數的影響,傾向性分數較高的,通過反事實學習也能得到更高的分數.

實驗同樣也測試了本文提出的算法,該算法得到了最佳的結果.可以看出本文提出的基于混淆因子的反事實學習算法效果最好.這是因為使用了因果建模之后,估計出來的歷史策略包含更大的范圍,所以能夠擁有更高的無偏性,降低了系統出現的偏差.

4 結論與展望

通過實驗發現了當對傾向性分數使用混淆因子建模,有利于反事實學習得到最佳結果,實驗結果證明,本文提出的基于因果混淆因子的反是學習具有更低的偏差.本文首先對推薦系統中存在的因果關系進行建模,此外,本文使用了隱變量推斷的方法對混淆因子的分布進行推斷,并同時訓練出生成模型,從而得到了反事實學習中的傾向性分數.該傾向性分數作為反事實學習重要性采樣的分母進行訓練.結合因果關系中混淆的方法,是一種創新的魯棒性的方法.未來的研究將采用一些更加復雜的主題數據,并且在該方法解決過擬合上做更多的探索.