一種基于長短期興趣的推薦算法設計

時慧琨

（淮南師范學院，安徽淮南 232038)

0 引言

隨著計算機、通信技術的發展，人類社會已經進入信息化時代，數字化、智能化已經成為社會發展趨勢，人們已經能夠從各種途徑獲取大量數據，如何從海量數據中得到用戶需要的數據或知識成為用戶面臨的新難題，推薦系統應運而生。推薦系統對數據進行處理，根據用戶的需求或興趣篩選出用戶需要的信息并推送給客戶，為用戶節省了時間，提高了信息獲取的效率。如何根據用戶需求提高推薦系統效率及用戶滿意度是各種推薦技術和推薦系統研究的重點。本文研究如何從用戶歷史會話信息中學習用戶長期及短期興趣，并利用其提高推薦的效果。

1 概述

1.1 推薦系統概述

推薦系統是從海量數據中幫助用戶以較小成本獲得感興趣的物品或信息的系統，其基本原理是根據用戶的特征或歷史記錄，再結合物品或信息的特征，對用戶的需求目標進行預測，并推送給用戶[1]。在推薦系統幫助下，用戶對海量數據的處理轉變為對推薦結果的處理，方便了用戶，提高了數據處理的效率。推薦系統自從出現以來，已經在購物、新聞、視頻等領域得到了廣泛的應用。

推薦系統的核心是推薦算法，提高推薦算法的性能和推薦效果，可以從三個方面著手:1) 增加數據。數據量的多少決定了推薦算法性能的上限,大量學習數據是推薦模型尤其是大規模推薦模型性能的直接保證，而大規模的學習模型目前越來越流行。2)在數據尤其是有效數據無法增加的情況下，從推薦場景中挖掘利用更多的信息。推薦算法中常?？紤]了物品、用戶、場景上下文、過程等多方面的信息，除此之外，還可以利用知識圖譜對信息進行擴展。3)采用不同的算法從數據中學習更多的知識。為此，推薦系統中常應用了多種算法，常見的包括基于協同過濾的算法、基于機器學習的算法、基于深度學習的算法、基于圖的推薦算法等。

1.2 基于會話及用戶興趣的推薦

在推薦系統的研究中，如何對用戶特征進行更加豐富、準確的刻畫是研究的重點之一，這要求推薦系統不但要描述用戶的靜態特征還要考慮其動態特性，會話信息為此提供了有用的線索。會話是指用戶與系統的一次連續完整的交互過程。會話為用戶的行為增加了時間信息，由此產生了基于會話的推薦及基于序列的推薦。一次會話期間用戶的行為隱含表示了用戶的需求或意圖，構成了用戶的短期興趣。在較長的時間段內，用戶經常出現的短期興趣則構成了用戶的長期興趣。興趣的出現豐富了用戶的特征表示，興趣的變化則構成了用戶的動態特征。因此，從會話序列中提取出用戶的短期或長期興趣，能夠為推薦提供更多的信息，并有助于提高推薦的效果。

定義長期興趣是指用戶在跨越多個會話的較長時間內表現出的興趣，短期興趣則時間較短，通常用一個會話內的興趣來表示。無論是長期還是短期興趣，都具有多樣性、變化性的特點。多樣性，是指不同用戶的興趣千變萬化，即使是同一個用戶，也可能存在多種不同的興趣。變化性是指用戶興趣通常都會隨著時間的遷移而發生變化，只是長期興趣保持的時間較長而已。如何對長期興趣和短期興趣進行表示，并在此基礎上產生推薦是基于會話和興趣的推薦系統研究的重點。

在基于序列和興趣的推薦系統研究方面，目前已經有了一些研究的成果。DIN模型[2]對輸入序列中的樣本按照其與目標項的相關性進行加權計算，并作為每個樣本的權重用于后期的處理；DIEN[3]模型使用一個GRU層提取用戶的興趣，并使用一個帶有注意力機制的GRU層來獲得興趣的進化特征，在此基礎上產生推薦信息。DSIN 模型[4]在DIEN 的基礎上，對行為序列建模部分進行了改進，根據設定的時間間隔，將行為序列劃分為不同的會話，分別對會話內和會話間的興趣進行建模，利用自注意力機制提取會話內的興趣，在此基礎上，對會話間興趣的演化利用Bi-LSTM進行建模，兩者拼接得到用戶最終的興趣表征。MIMN模型[5]則重新設計了序列建模的結構，借鑒神經圖靈機利用額外存儲模塊來解決長序列數據問題。模型中定義了行為細化層和多興趣提取層，使用多頭自注意力實現對用戶多興趣的提取。王鴻偉等提出的RMN 模型[6]則在循環神經網絡中增加了興趣記憶模塊，增強了興趣的表達能力。

DIEN模型中的興趣是通過將用戶的行為序列劃分為長度較短的子序列，對子序列進行學習得出的，因此學習獲得的是短期興趣表示。本文的研究是在DIEN 模型的基礎上，綜合考慮了長期和短期興趣的影響。通過對用戶行為序列的學習獲得用戶短期興趣，并通過短期興趣的學習獲得長期興趣。綜合利用長期興趣和短期興趣構造推薦模型，希望在更多信息的幫助下獲得更好的推薦效果。

2 基于長短期興趣的推薦系統設計

2.1 系統結構

本文提出的推薦模型結構如圖1 所示，由以下幾個部分組成：

圖1 基于長短期興趣的推薦模型1

1)長期興趣向量。由于用戶興趣的多樣性特點，每個用戶使用一個獨立的向量表示用戶的長期興趣；

2)嵌入層。用于將one-hot等形式表示的用戶交互記錄、目標項及用戶其他特征轉換為稠密表示的嵌入向量。

3)興趣提取層。以用戶的行為序列作為輸入，采用GRU(Gate Recurrent Unit) 模型從用戶的點擊記錄中提取用戶興趣，為了增加興趣表示的準確程度，利用正負樣本構建輔助損失函數，提高興趣學習的準確性。

4)興趣演化層。為進一步提高模型對用戶興趣動態變化特征的學習效果，本層以興趣提取層的輸出作為輸入，利用GRU 對其進一步學習，利用注意力機制計算各個階段輸出同目標項的相關程度作為更新權重，對輸出結果進行加權后用于GRU 的更新，使得更新結果對用戶感興趣目標更加側重，進一步提高了興趣表示學習的效果。

5)MLP（多層感知機）。用于預測用戶對目標項的行為。該層將用戶長期向量、短期興趣向量、目標項嵌入向量以及其他特征的嵌入向量拼接在一起作為輸入，經MLP處理后得到最終輸出。

在上述模型中，用戶行為序列中的元素、目標項以及其他特征經過嵌入層處理后轉換為嵌入向量，其中行為序列對應的嵌入向量經過興趣提取層處理后轉換為興趣隱向量，再經過興趣演化層的學習進一步獲得興趣的動態變化特征，經過注意力加權后得到用戶的短期興趣向量，將用戶長期興趣向量、短期興趣向量、目標向量及其他特征進行拼接后送到最終的多層感知機處理得到最終的輸出。同時，短期興趣向量用于長期興趣向量的更新以反應長期興趣的變化特性。

除了以上結構外，本文還提出了另外一種模型，如圖2所示。其中長期興趣向量并不作為獨立向量拼接送到MLP中，而是用于對興趣提取層的隱向量進行初始化，這樣對訓練樣本學習后得到的是綜合了用戶長期和短期興趣的綜合興趣向量。除此之外與模型1相同。

圖2 基于長短期興趣的推薦模型2

2.2 訓練及測試過程

1)長短期興趣的表示

本文用兩個相同長度的向量來分別表示用戶的長期和短期興趣，長度值dim為一個超參數。長期興趣向量用li(u)(u為用戶ID)表示，短期興趣向量由下文介紹的h(t)’表示，用于表示通過訓練樣本的學習而獲得的短期興趣，每次學習獲得的短期興趣是獨立的，并且用于更新長期興趣向量。

2)訓練過程

①b(1),b(2),…,b(t)及目標項均為物品的ID，經過嵌入層處理后得到各自的嵌入表示e(1),e(2),…,e(t),e(target),其中e(i)(i=1,2,…,t,target)∈Rdim。

②興趣提取層基于GRU對輸入e(1),e(2),…,e(t)進行處理，得到輸出h(1),h(2),…,h(t),這個輸出一方面送給興趣演化層作為輸入，另一方面則用于構造一個輔助損失函數以提供學習更準確地興趣表示。輔助損失函數構造的方法為：根據b(i),b(i+1)(i=1,2,…,t-1)的標注值是否相同構造訓練目標，如果兩者不相同則目標為0，否則目標為1。以e(i)和e(i+1)為輸入，使用二分類交叉熵損失函數(BCELoss)擬合該目標，假設系統總的損失函數為L，輔助損失函數為Laux，最終預測目標項的損失函數為Ltarget，則L=Ltarget+α·Laux,其中α是一個超參數。

③興趣演化層以h(1),h(2),…,h(t)為輸入，經過該層的GRU 處理后得到更新門輸出u(t)和重置門輸出r(t)，利用當前物品i(t)和目標項e(target)計算注意力值at=softmax(i(t)·wa·e(target))，實際更新權值為u(t)’=at×u(t),利用u(t)’對隱層輸出ht進行更新。

④興趣演化層的GRU 模型最終輸出h(t)’，將其與長期興趣向量li(u)、目標項e(target)及其他特征拼接后送給MLP 進行最終處理。該MLP 由若干全連接層組成，輸出一個softmax(2)對目標項用戶是否喜歡做出預測，最終計算得到總損失函數L，利用反向傳播更新各模型的參數。

⑤長期興趣向量li(u)的更新。利用公式li(u)=li(u)+γ·h(t)’得到更新后的li(u),其中γ 為一個超參數，表示更新的權重。

3)模型評估及預測過程

模型評估及對新數據的預測過程和訓練過程基本相同，區別在于此時興趣提取層不計算輔助損失，也不利用損失函數反向傳播更新模型的權值，但是長期興趣向量仍然更新以實現用戶興趣的遷移演化。

3 實驗及結果

3.1 測試數據

使用ml-1m數據集作為系統的訓練和測試數據，該數據集為GroupLens 研究組根據MovieLens 網站提供的用戶對電影的評分記錄創建，其中包含了6 040位用戶對3 952 部電影的1 000 209 條評分，評分值為1～5，將其中評分值>=4 轉換成1 表示用戶喜歡，否則轉換為0。對每個用戶的評分記錄按照時間排序得到評分序列，并按照窗口值=6對其截取子序列從而得到用戶的行為序列，其中前5項作為歷史點擊記錄，最后一項作為學習目標。隨機選取其中10%的數據作為測試集，其余為訓練集。在隨機選取時不進行亂序操作，從而保留用戶的興趣進化歷史。

3.2 與其它系統的分析比較

以ml-1m作為數據集，系統中的超參數選擇dim=128，α=γ=0.05,不使用其他特征，選擇DeepFM、DIN、DIEN作為比較對象，以準確率作為評價指標，測試結果如下：

從表1 可以看出，在考慮了用戶長期及短期興趣特征后，推薦系統的性能相比其它模型有了很大的提升。和DIEN模型僅考慮用戶短期交互系列提取的短期興趣相比，模型中綜合考慮了用戶的長期與短期興趣，對用戶的興趣表達更加豐富，推薦結果綜合考慮了用戶長期和短期興趣的變化，在推薦結果上利用了更多的用戶特征，從而獲得了更好的系統性能。

表1 算法性能測試結果

對本文提出的兩種不同模型來說，一種構建了長期興趣和短期興趣各自獨立的表示，拼接后送給最終的MLP 進行學習。另一種是將長期興趣和短期興趣綜合后得到綜合興趣向量作為輸入進行學習。實驗結果表明，第一種采用長短期各自獨立的興趣表示其特征表達能力更強，系統的性能更好。

4 總結

本文提出了一種結合用戶長期和短期興趣的推薦算法。利用用戶的交互記錄建立短期興趣表示，基于GRU模型建模用戶的興趣和興趣進化過程，并在短期興趣的基礎上學習獲得用戶的長期興趣，結合長期、短期興趣及物品特征產生推薦結果。與其他模型相比，結合用戶興趣的推薦系統能夠獲得更加豐富的用戶特征表示，幫助系統提升推薦效果。在下一步研究中，如何對用戶長期興趣的多樣性進行建模是模型進一步改進的方向。