基于知識圖偏好注意力網絡的長短期推薦模型及其更新方法

顧軍華，樊 帥，李寧寧，張素琪

（1.河北工業大學人工智能與數據科學學院，天津 300401；2.河北省大數據計算重點實驗室（河北工業大學），天津 300401；3.天津商業大學信息工程學院，天津 300134）

0 引言

隨著互聯網的快速發展，數據量呈現指數級的增長。由于信息超載，用戶很難在眾多的選擇中挑選出自己感興趣的物品。為了提高用戶體驗，推薦系統應運而生，已廣泛應用于音樂推薦、電影推薦和網上購物等場景。

早期的推薦系統主要采用基于協同過濾的方法，但該方法存在數據稀疏和冷啟動問題。基于知識圖譜（Knowledge Graph，KG）的推薦方法緩解了上述問題，并進一步提高了推薦的準確性、多樣性和可解釋性，因此該方法成為現階段研究的熱點。2018 年，Wang 等提出RippleNet（Ripples Network）模型，在KG 中RippleNet 通過計算項目與頭實體在關系空間的相似程度來聚合鄰域信息；2019 年，Wang 等提出知識圖譜卷積網絡（Knowledge Graph Convolutional Network，KGCN）模型，Wang 等提出了知識圖譜注意力（Knowledge Graph ATtention，KGAT）模型，在KG 中KGCN 通過計算用戶對知識圖譜中關系的偏好程度來聚合鄰域信息，KGAT 通過計算頭實體和尾實體在關系空間的距離來聚合鄰域信息。RippleNet 和KGAT 模型提出的聚合方式沒有考慮用戶信息，而用戶信息的引入對聚合鄰域信息有較好的可解釋性。KGCN 在聚合鄰域信息時，雖然考慮了用戶信息，但沒有考慮KG 中實體信息，實體的信息也會影響鄰域實體的聚合。另外，這些模型僅利用用戶的長期興趣做推薦，忽略了用戶的短期興趣，而用戶的短期興趣對用戶的整體偏好有重要的影響。因此，為了結合用戶的長期興趣和短期興趣做推薦以及解決聚合方式存在的問題，本文提出了基于知識圖偏好注意力網絡的長短期推薦（Knowledge Graph Preference Attention network based Long-and Short-term recommendation，KGPATLS）模型。該模型提出偏好注意力網絡的聚合方式以及結合用戶長期興趣和短期興趣的用戶表示方法。

當模型需要更新時，多采用基于歷史數據的全量更新和基于新數據的增量更新。然而隨著海量數據的積累，全量更新存在嚴重的計算壓力和龐大的存儲開銷，而基于新數據的增量更新方法又存在著災難性遺忘問題。為了緩解增量更新存在的災難性遺忘，針對上面提出的基于知識圖偏好注意力網絡的長短期推薦模型，本文提出了融合預測采樣和知識蒸餾的增量更新方法（incremental updating method of Fusing Predict Sampling and Knowledge Distillation，FPSKD）以緩解KGPATLS 在增量更新過程中存在的災難性遺忘問題，即減輕模型對用戶舊偏好的遺忘。

1 KGPATLS模型

圖1 為KGPATLS 模型結構。首先，為了得到項目的向量表示，需要構建以項目為中心的知識圖譜，利用知識圖偏好注意力網絡（Knowledge Graph Preference Attention network，KGPAT）模型得到項目的向量表示；然后，根據時間篩選用戶近期交互的歷史項目與待推薦的項目一塊輸入到注意力網絡（Attention Network）中，獲取用戶近期交互的項目與待推薦項目的相似性權重，基于此權重和用戶近期交互歷史項目對應加權求和，得到用戶的短期興趣表示

u

。根據用戶交互的所有歷史項目訓練得到用戶的長期興趣表示。用戶的長期興趣表示

u

和用戶的短期興趣表示

u

通過多層感知機（MultiLayer Perceptron，MLP）結合起來得到用戶的向量表示

u

；最后，通過內積的方式計算用戶對待推薦項目的評分。

圖1 KGPATLS模型結構Fig.1 KGPATLS model structure

1.1 偏好注意力網絡

偏好注意力網絡是知識圖偏好注意力網絡中鄰域信息的聚合方式。該聚合方式既考慮了用戶的信息，又綜合考慮了知識圖譜中關系和尾實體的信息，具有較好的可解釋性。

示例如圖2 所示，用戶喜歡看《泰坦尼克號》，該電影由詹姆斯·卡梅隆執導，萊昂納多·迪卡普里奧主演。《泰坦尼克號》在知識圖譜中對應的關系和尾節點分別為（執導，詹姆斯·卡梅隆）、（主演，萊昂納多·迪卡普里奧），如果用戶更關注執導關系，則執導關系占比重較大，但用戶本身如果不喜歡詹姆斯·卡梅隆，此時聚合鄰域信息，會加強噪聲的引入，影響用戶偏好。因此，需要結合關系和尾節點綜合考慮。

圖2 示例圖Fig.2 Example diagram

KGPAT 以項目為中心節點實體構建知識圖譜，每一個項目都可以構建一個知識圖譜KG，然后利用KGPAT 得到項目的向量表示。KG 可以由實體―關系―實體三元組（

h

，

r

，

t

）表示。這里的

h

∈

E

、

r

∈

R

和

t

∈

E

分別表示KG 的頭實體、關系和尾節點，

E

和

R

分別是知識圖譜中的實體集合和關系集合。圖3 為KGPAT 模型結構。圖3（a）以項目為中心構建知識圖譜，通過隨機采樣節點數和偏好注意力網絡計算權重得分獲得圖3（b）。通過式（3），即可獲得圖3（c）中的一階實體表示

v

。將上述操作重復

K

層，即可獲得實體的

K

階實體表示

v

。

圖3 KGPAT模型結構Fig.3 KGPAT model structure

下面主要介紹一層KGPAT 模型結構，最后再向多層結構做擴展。對于一個項目

v

，

N

（

v

）表示與

v

直接相連的一跳鄰域集合。使用如下偏好注意力網絡公式計算權重得分：

其中：

u

∈R、

e

∈R和

r

∈R分別為用戶、尾實體的向量表示和實體

e

和

e

之間關系，

d

為向量維度；

σ

為非線性函數；

W

∈R和

b

∈R為權重和偏置；

u

·

r

e

表示用戶對關系和實體綜合考慮的偏好程度。

其中：

e

是項目

v

鄰域實體的向量表示。式（4）為權重得分的歸一化處理：

其中：

σ

為非線性函數，

W

∈R和

b

∈R為權重和偏置。模型為多層結構，低層時可獲取低階實體信息，高層時可以挖掘高階實體信息。若將KGPAT 模型從一層擴展到多層，則間接相連的實體也會影響項目的最終表示。一個實體的

K

階向量表示是實體本身與其

K

跳鄰域實體信息聚合。使用如下公式計算項目的

K

階向量表示

v

作為最終的項目向量表示。

1.2 結合用戶長期興趣和短期興趣的用戶表示方法

考慮到實際情況，用戶的偏好是由用戶長期興趣和短期興趣組成的。為了更好地挖掘用戶特征，提高用戶偏好的可解釋性，本文提出結合用戶長期興趣和短期興趣的用戶表示方法。以歷史項目為中心建立知識圖譜，通過KGPAT 模型可得用戶近期交互項的向量表示。通過注意力網絡計算各個交互項與待推薦項目之間的相似性權重，按此權重對各個交互項表示進行加權求和，即可獲得用戶的短期興趣表示。具體為：以待推薦項目向量表示

v

為基準，{

v

，

v

，…，

v

}為用戶

u

近期交互的

L

個歷史項目向量表示，使用如下公式計算用戶的短期興趣表示

u

。

其中

α

為注意力系數，計算公式為：

其中：

W

∈R和

b

∈R為注意力機制的權重和偏置。根據用戶交互的所有歷史項目訓練得到用戶的長期興趣表示

u

，將用戶的長期興趣表示

u

∈R和用戶的短期興趣表示

u

∈R一起輸入到MLP 中，這里取一層隱藏層，即可完整地獲得用戶偏好，記為

u

∈R。

其中：

W

∈R和

b

∈R為MLP 的權重和偏置。最后，將用戶表示

u

和待推薦項目表示

v

通過內積獲得用戶交互待推薦項目的概率。

2 FPSKD

針對KGPATLS 模型可能存在的災難性遺忘問題，提出了FPSKD。首先，使用預測采樣（Predict Sampling，PS）方法得到有代表性的歷史數據來鞏固模型之前學到的知識；其次，考慮到實驗效率的問題預測采樣較少的數據是合適的。因此，僅僅依賴于預測采樣的舊數據來約束參數是不夠的。為了加強對舊模型參數的約束減輕遺忘，提出在損失函數中加入知識蒸餾損失以更好地鞏固用戶舊的偏好。將FPSKD應用到KGPATLS 模型進行模型更新。模型更新方法示意圖如圖4 所示。圖4 中，針對于某一個周期

t

做模型更新，周期

t

的數據是新數據

N

（New data），周期

t

之前的數據都是歷史數據

D

（All history data）。周期

t

前一周期

t

-1 已經訓練好的舊模型命名為

f

（

θ

）。首先，用預測采樣方法從

t

周期之前的所有歷史數據

D

（All history data）中采樣出模型

f

（

θ

）預測準確的數據

S

（Accuracy data）和預測不準確的數據

S

′

（Inaccuracy data）與

N

合并作為在線數據（Online data）更新模型，

S

用于知識蒸餾（Knowledge Distillation），聯合預測采樣和知識蒸餾的目標函數一起更新模型。

圖4 KGPATLS模型的更新方法Fig.4 Updating method of KGPATLS model

2.1 預測采樣方法

使用預測采樣方法是為了得到有代表性的歷史數據和新數據一塊更新模型，來鞏固模型之前學到的知識，緩解災難性遺忘問題。

預測采樣方法需要考慮如何采樣

S

和

S

′

。定義兩個超參數

m

和

m

，分別用來限定采樣

S

的數據量和采樣

S

′

的數據量。針對于周期

t

，

f

（

θ

）對所有的歷史數據

D

做預測，將

D

的預測結果按照順序排序。取出

S

的公式如下：

其中：

n

表示

t

-1 周期采樣出來的前

n

預測準確的數據量。取出

S

′

公式如下：

衡量預測準確與否的公式如下：

其中：

label

表示真實值（0 或1），

pre_score

表示模型對歷史數據的預測結果。

distance

越小，表明模型對該數據的預測結果和真實值越接近，即預測準確的數據；反之，即預測不準確的數據。

2.2 知識蒸餾

模型在更新過程中歷史數據會不斷地增加，考慮到實驗運行效率的問題預測采樣較少的數據是合適的，因此僅僅依賴于預測采樣的舊數據來約束參數是不夠的。為了加強對舊模型參數的約束減輕遺忘，提出在損失函數中加入知識蒸餾損失來更好地鞏固用戶舊的偏好。提出的知識蒸餾損失如下：

其中：

L

是推薦任務的損失函數，

λ

是超參數。計算公式如下：

3 實驗與結果分析

為了驗證KGPATLS 模型和FPSKD 的有效性，實驗分為兩部分：1）將KGPATLS 模型應用到MovieLens-1M 和Last.FM兩個公共數據集上，通過實驗，驗證模型的有效性；2）將提出的FPSKD 應 用 到KGPATLS 模 型，在MovieLens-1M 和Last.FM 兩個公共數據集上進行實驗分析，驗證FPSKD 在保持模型性能的同時，可以高效地更新模型。

3.1 數據集

本文選用來自電影領域和音樂領域的兩個基準數據集進行實驗。數據集內容如下：

1）MovieLens-1M：是電影推薦中廣泛使用的基準數據集，其中包含來自大約3 900 部電影的6 040 個用戶的753 772 個顯式評級。每個評級是1 到5 之間的整數。

2）Last.FM：來自在線音樂系統，其中包含來自大約4 000 部電影的1 872 個用戶的42 346 顯式評級。數據集的具體統計結果見表1。

表1 數據集統計Tab 1 Dataset statistics

3.2 評價指標

本文實驗為點擊率預測，即判斷用戶是否會對待推薦項目感興趣。評估模型性能的評價指標為曲線下面積（Area Under Curve，AUC）和準確率（Accuracy，Acc）。

3.3 KGPATLS模型的有效性驗證

3.3.1 實驗設置

實驗的參數設置見表2。

N

表示知識圖譜中鄰域節點的采樣個數，

d

表示向量維度，

K

表示知識圖譜的迭代層數，

L

表示用戶近期交互項目的個數，

λ

為正則化系數，

lr

為學習率，

batch

為批處理大小。實驗中將每一個數據集隨機劃分為訓練集、驗證集和測試集，三者的比例為6∶2∶2。每個實驗重復3 次，取平均實驗結果。

表2 實驗參數設置Tab 2 Experimental parameter setting

3.3.2

L

值選擇選取不同的

L

值，將KGPATLS 模型在兩組數據集上進行實驗。不同

L

值所對應KGPATLS 模型實驗性能實驗結果如表3 所示。

表3 不同L值下KGPATLS模型實驗性能Tab 3 Experimental performance of KGPATLS model with different L values

從表3 中可以看到，在MovieLens-1M 數據集上，當

L

=5 時模型的效果最佳；在Last.FM 數據集上，當

L

=7 時模型的效果最佳。當

L

較小時模型的效果不佳，因為當

L

值選擇過小，利用的用戶歷史項目過少，不能有效地挖掘用戶的短期興趣特征；當

L

值選擇過大，會導致過擬合，使用戶短期興趣表示不準確。

3.3.3 對比模型

將本文提出的KGPATLS 與下面的四種模型在相同的兩組數據集上進行實驗結果比較。

1）CKE（Collaborative Knowledge base Embedding）。利用TransE（Translating Embeddings）表示知識圖譜，并將該類信息與文本以及圖像信息融入到模型中以共同學習用戶和項目表示。

2）LibFM（Factorization Machine Library）。將基于特征因子分解機的方法應用在點擊率預測任務。

3）RippleNet。使用了多跳鄰域結構，通過在知識圖譜實體集上傳播用戶興趣，從而自主迭代地沿著知識圖譜中的鏈接來擴展用戶的潛在興趣。

4）KGCN。通過采樣固定數量的鄰域作為候選項目的感受野，利用圖卷積網絡自動捕獲高階結構和語義信息。

3.3.4 對比實驗結果及分析

對比實驗結果如表4 所示。可以看出，相較于經典的推薦模型CKE、LibFM 以及僅考慮用戶長期興趣的知識圖譜推薦模型RippleNet 和KGCN，本文所提模型在兩個公共數據集上性能都有所提高。相較于最優基線模型KGCN，KGPATLS模型的AUC 指標在兩個數據集上分別有2.2%和1.4%的提升，Acc 指標在兩個數據集分別有2.5%和2.9%的提升。

表4 不同模型的實驗結果Tab 4 Experimental results of different models

實驗中，CKE 表現不佳，說明TransE 方法不能有效學習知識圖譜的信息；LibFM 相較于CKE 取得了較好的性能，表明額外使用實體嵌入可以提高推薦性能。相較于上述兩種模型，RippleNet 和KGCN 表現出了滿意的性能。RippleNet 在知識圖譜上傳播用戶興趣，從而自主迭代地沿著知識圖譜中的路徑擴展用戶潛在的興趣，但沒有考慮待推薦項目的圖譜信息；KGCN 通過圖卷積網絡得到項目向量表示，但KGCN 沒有有效利用用戶的歷史項目挖掘用戶的潛在興趣。

對比上述四種模型，KGPATLS 模型取得了較好的實驗結果。KGPATLS 模型根據用戶歷史交互信息較全面地分析用戶的長期興趣和短期興趣，結合用戶的長期興趣表示和短期興趣表示得到用戶的表示，而且通過KGPAT 有效地利用了項目的知識圖譜信息。

3.4 FPSKD的有效性驗證

3.4.1 增量更新的數據集劃分

將MovieLens-1M 數據集均分為9 份，分別命名為train，day，day，…，day。每一份數據集都是按照用戶索引和時間戳預處理順序排序。使用train 數據集來訓練初始的模型Base Model，day，day，…，day這8 天的數據集用來模擬增量更新。

針對Last.FM 數據集，將50%的Last.FM 數據劃分為train，然后從完整的Last.FM 數據集中再均等地劃分4 個數據集命名為day，day，…，day。同樣使用train 數據集來訓練初始的模型Base Model，day，day，…，day這4 天的數據集用來模擬增量更新。

3.4.2 增量更新的實驗設置

增量更新的實驗設置如圖5 所示。day中的train用來做增量訓練，eval用來評估模型，day用來測試模型。其中，train和eval的劃分比例為6∶4。如train 數據中的train用來訓練得到初始模型Base Model，train 數據中的eval用來評估該模型，day數據用來測試該模型。

圖5 增量更新實驗設置Fig.5 Setting of incremental updating experiment

實驗采用評價指標AUC、Acc 和訓練時間（Training Time）來驗證模型的性能。

AUC、Acc：每次模型更新，對應測試數據的實驗結果是取最優模型所對應的AUC、Acc 值作為實驗的結果。

Training Time：

i

表示模型更新的次數。本實驗取

i

次運行時間的總和作為評估指標。為了評估增量更新應用到KGPATLS 模型的有效性，模擬真實的場景，使用第

t

天的數據來訓練和評估模型，第

t

+1天的數據來測試模型。對于AUC、Acc 使用增量更新過程中

i

次實驗結果評估指標的平均值作為最后增量更新方法的評估結果。對Training Time，使

i

次模型更新花費時間的總和作為最后增量更新方法的評估結果。保存Base Model 中評估指標AUC 最好實驗結果所對應的參數。使用該保存好的參數做接下來的模型更新。對數據集MovieLens-1M，Last.FM 保存的Base Model 參數如表5 所示。

表5 Base Model的參數Tab 5 Parameters of Base Model

3.4.3 增量更新方法對比

為了證明FPSKD 在KGPATLS 模型上的有效性，對比增量更新方法。

FT（Fine Tune）：只使用新數據來更新舊模型。

RS（Random Sampling）：使用新數據和隨機采樣的一部分舊數據來更新模型。

FPSKD：結合預測采樣和知識蒸餾的增量更新方法。考慮到實驗效率的問題預測采樣較少的數據是合理的，因此僅僅依賴于預測采樣的舊數據來約束參數是不夠的。為了加強對舊模型參數的約束避免遺忘，提出在損失函數中加入知識蒸餾損失更好地鞏固用戶老的興趣。

FB（Full Batch）：每次更新模型，都使用舊數據和新數據全部的數據來重新訓練模型。

3.4.4 增量更新的實驗結果及分析

在MovieLens-1M 和Last.FM 兩個數據集上，模型更新的具體實驗結果如表6 所示。

表6 增量更新方法的對比結果Tab 6 Comparative experimental results of incremental updating methods

針對MovieLens-1M，表6 中的AUC、Acc 使用增量更新過程中7 次實驗結果的平均值作為增量更新方法的評估結果。Training Time中

i

=7；針對Last.FM，表6 中的AUC、Acc 使用增量更新過程中3 次實驗結果的平均值作為增量更新方法的評估結果。Training Time，

i

=3。通過實驗結果的對比可以發現：1）在MovieLens-1M 數據集上，FT 已經具有較好的實驗結果，與FB 實驗結果相差不多，災難性遺忘不嚴重。在AUC和Acc 指標上，FPSKD 的優于FT 和RS，與FB 實驗結果相接近，而且在AUC 指標上優于FB；在Training Time指標上，FPSKD 明顯優于FB。2）在Last.FM 數據集上，FT 與FB 比MovieLens-1M 數據集上存在更嚴重的災難性遺忘問題。FPSKD 的AUC 和Acc 優于FT 和RS，與FB 實驗結果相差不大，且FPSKD 的Training Time明顯優于FB。

圖6 展示了每次模型更新的實驗結果和實驗數據的整體趨勢。

圖6 各數據集上模型每次更新的AUC和Acc值Fig.6 ACC and Acc values of each update by different models on different datasets

綜上可以得出實驗結論，FPSKD 是有效的增量更新方法，可以在保持模型性能的前提下，高效地更新模型。

3.4.5 FPSKD消融實驗對比

為了分析預測采樣和知識蒸餾在FPSKD 中起到的作用，進行了FPSKD 的消融實驗，實驗結果如表7 所示。PS 是基于預測采樣的增量更新方法，使用預測采樣得到的兩部分數據和用戶最近交互的新數據合并形成在線數據來更新舊模型，沒有融合知識蒸餾。PA（Predict Accuracy）是只采樣舊模型預測準確的數據和新數據合并形成在線數據更新模型的方法；PI（Predict Inaccuracy）是只采樣舊模型預測不準確的數據和新數據合并形成在線數據更新模型的方法。

表7 FPSKD變體實驗結果的對比Tab 7 Comparison of experimental results of FPSKD variants

實驗結果表明，PS 比PA 和PI 應用到KGPATLS 模型上表現出更好的性能。因此，PS 是合理的。FPSKD 優于PS，說明知識蒸餾在解決災難性遺忘的問題上起到了一定的作用。

4 結語

本文首先提出基于知識圖偏好注意力網絡的長短期推薦模型，該模型提出偏好注意力網絡的聚合方式以及結合用戶長期興趣和短期興趣的用戶表示方法；其次，將融合預測采樣和知識蒸餾的增量更新方法應用于該模型進行模型更新；最后，通過實驗證明了本文提出模型和增量更新方法的有效性。在未來，考慮到用戶的長期興趣是穩定的不容易變化的，而用戶的短期興趣是容易隨時間改變的，針對長短期模型的特性，分別設計用戶的長期興趣和短期興趣不同的增量更新方法來更新模型。