分布式隱私保護單類協同過濾算法研究

崔煒榮 杜承烈

1(安康學院電子與信息工程學院 陜西 安康 725000)2(西北工業大學計算機學院 陜西 西安 710072)

0 引 言

在如今的大數據時代，作為解決“信息過載”最為有效的手段，推薦系統被廣泛應用于內容分發、商品推薦等場景中。協同過濾(Collaborative Filtering,CF)是當前推薦系統中廣泛采用的機制，其通過用戶對物品的歷史評價數據以及用戶或物品之間的相似性生成推薦模型。CF所使用的用戶歷史評價數據分為數值型評價和單類評價兩類。數值型評價表現為評分，是用戶對物品的顯性反饋。而單類評價表現為用戶是否點擊、閱讀、購買某一物品，是用戶對物品的隱性反饋。由于單類評價的采集更加容易，因此單類協同過濾推薦系統在現實中的應用更加廣泛。本文主要針對單類協同過濾推薦系統中的隱私保護問題展開研究。

推薦系統收集的用戶數據具有較強的隱私屬性，其在模型的訓練過程中可能會造成三類用戶隱私泄露：第一類為值泄露，即服務器或未經授權的第三方獲取了用戶的歷史評價。第二類為存在性泄露，即服務器或未經授權的第三方知曉了用戶是否對一件物品進行過評價。第三類為模型泄露，即未經授權的第三方獲取了推薦模型。單類協同過濾推薦系統主要面臨的是存在性泄露和模型泄露。

為了能夠在實現準確推薦的同時保護用戶隱私，本文提出一種基于分布式計算架構的隱私保護單類協同過濾推薦算法(Distributed Privacy Preserving one class rating Collaborative Filtering,DPPCF)。與傳統的CF算法相比，DPPCF利用分布式計算架構和在矩陣分解(Matrix Factorization,MF)過程中所引入的梯度混淆機制防止了用戶單類評價泄露和模型泄露，從而有效保護了用戶的隱私。

1 相關工作

推薦系統隱私保護一直是數據安全和隱私保護方面的研究熱點，現有的方法主要分為兩類：

1) 混淆和擾動。在原始數據中加入一定分布的隨機噪聲是實現隱私保護的常規思路。文獻[1-3]均采用了這種方法，但其安全性無法得到有效證明。文獻[4-9]引入了差分隱私保護的概念，能夠提供可證明的隱私安全保障。

2) 同態加密。利用同態加密技術，客戶端和服務器端可以在不必解密的情況下完成針對明文的相關計算，從而實現隱私保護。文獻[10-12]提出了基于同態加密技術的隱私保護推薦系統。同態加密能夠提供強安全性保障，但高計算開銷成為制約其實際應用的瓶頸。

上述方法雖然能保護用戶評價及推薦模型，但無法防止“存在性”數據泄露。本文提出的DPPCF算法除了能夠實現對模型的保護外也能夠實現對“存在性”的保護，適用于單類評價協同過濾推薦系統。

與本文最為相似的工作來自文獻[13]。該文提出了名為SDBPRMF的隱私保護矩陣分解方法，通過在梯度更新中引入隨機響應機制[14]實現用戶單類評價保護。然而，這種保護方法在MF過程中造成梯度更新損失，因此降低了系統的準確性。與之相比，DPPCF中的梯度混淆是無損的，既能夠有效保護用戶隱私，也能夠保證系統的推薦準確性。

2 問題定義與假設

2.1 系統輸入與輸出

圖1 單類評價矩陣

(1)

2.2 隱私保護需求

在本文中，DPPCF所需滿足的隱私保護需求體現在兩個方面：

1) 模型保護：令Θ為算法生成的推薦模型，則任意用戶和服務器都無法知曉Θ的完整內容，也不能通過所掌握的部分信息推測出Θ的完整內容。

3 貝葉斯單類評價推薦算法

也就是說，若用戶u評價過i，沒有評價過j，則(u,i,j)∈DS。

令所要訓練的模型為Θ，則其貝葉斯后驗概率分布p(Θ|DS)∝p(DS|Θ)p(Θ)?；诖艘暯?，提出優化標準BPR-OPT：

BPR-OPT:=lnp(Θ|DS)=

lnp(DS|Θ)p(Θ)=

(2)

式中：λΘ為正則化參數；σ為邏輯Sigmoid函數。

(3)

(4)

針對BPR-OPT,該文中提出運用隨機梯度下降優化算法(Stochastic Gradient Descent,SGD)獲得Θ的最佳近似估計。

4 算法設計

4.1 總體框架

DPPCF算法總體框架如圖2所示。為了實現隱私保護的目標，系統采用了分布式的計算架構，用戶和服務器共同參與訓練推薦模型并各自保存模型的不同部分。系統中的通信分為兩種模式，用戶和服務器基于C/S架構進行通信，而用戶之間通過P2P網絡進行匿名通信。

圖2 系統框圖

具體而言，令模型Θ=(W,H)，則用戶潛在因子矩陣W的每一行保存在對應的用戶端，而物品潛在因子矩陣H保存在服務器端。每一輪迭代中，每個用戶都從服務器端下載更新后的H。之后，用戶u從DSu中選取(u,i,j)，分別計算hi、hj的更新梯度，并將計算結果傳送回服務器。服務器聚合所有用戶傳回的梯度更新信息后，對H進行更新。由于服務器僅僅知道H的更新梯度信息，用戶也只知道自己的潛在因子向量，因此該架構能夠很好地防止推薦模型的泄露。此外，在每輪迭代的末尾，用戶通過將自己所計算出的梯度更新信息與來自其他用戶的梯度更新信息rgduj進行混淆，能夠防止服務器通過所接收的梯度更新序列推測出用戶的歷史單類評價，從而有效地防止了用戶單類評價的泄露。

4.2 梯度更新算法

本文設計的DPPCF是在隱私保護約束條件下對BPR的改進。

p(W,H|Ds)∝P(DS|W,H)P(W)P(H)

F(W,H)=lnp(W,H|DS)=

lnp(DS|W,H)+lnp(W)+

lnp(H)+C=

(5)

式中：C為常數。為了求得W、H的最大后驗估計，本文采用SGLD優化算法[16]進行迭代計算。具體而言，在每一次迭代中，對于u,i,j∈DS：

(6)

(7)

(8)

(9)

(10)

(11)

(12)

式中：η0為初始學習速率；t為迭代次數；γ為衰減因子；I為單位矩陣。令gradu(hi)、gradu(hj)分別表示hi、hj的加擾梯度，則：

(13)

(14)

根據圖2，gradu(hi)、gradu(hj)均由用戶u計算得出并發送至服務器端。由于服務器僅得知梯度信息，因此保護了用戶的潛藏因子信息。

4.3 梯度混淆

使用上述梯度更新算法雖然能夠防止模型信息的泄露，但仍不足以保護用戶隱私。服務器可以從所接收到的梯度更新序列中推測出特定用戶的單類評價。為了防止這一泄露的發生，本文設計了梯度混淆過程。

在梯度混淆過程中，對于每一個gradu(hi)，用戶u以概率f選擇將其值匿名發送給隨機選取的另一用戶，之后將其置零。收到gradu(hi)的用戶u′將其與自身的gradu′(hi)相加。具體而言，假設用戶uk所計算出的梯度值分別為graduk(hi1),graduk(hi2),…,graduk(hiq)，SG為空集，則uk依據算法1實施混淆。

算法1梯度混淆

fort=i1toiq

根據概率f選取graduk(ht)

ifgraduk(ht) 被選中 then

SG←SG∪{graduk(ht)}

graduk(ht)←0

end if

end for

經過上述對梯度更新值序列的處理后，uk將篩選出來的梯度更新值集合SG發送給隨機選取的用戶ul。對于ul而言，若其收到來自ul的SG，則對于每一個graduk(hi)∈SG，ul將其與自己的對應梯度更新值進行合并，即計算混淆梯度：

(15)

圖3舉例描述了這一過程。其中，行向量表示用戶在第t次迭代過程中所計算并分解的梯度更新信息。值為0表示該輪迭代中用戶并未計算對應hi的梯度更新值。這表明用戶并未對hi進行過單類評價。曲線箭頭表示混淆過程。以u2為例，其根據概率fu2選取了梯度更新值gu2h1和gu2h4，并將其發送給了u1。同時，u2又收到來自u3的gu3h2。因此，最終u2生成的混淆梯度為(0,gu2h2,gu3h3,0)。每輪迭代完成后，u2將混淆后的梯度更新值發送至服務器。

圖3 梯度混淆過程

(16)

4.4 整體推薦算法描述

算法2server

輸出：物品潛在因子矩陣H。

1.初始化H

2.t←0

4. 遠程調用client(u,t)

5.end for

6.t←1

7.while 沒有收斂 do:

9. 初始化C為全0

10. 遠程調用client(u,t)

11. while Ture do:

15.C[i]←C[i]+1

16. end for

18. break

19. end while

22. end for

24.t←t+1

25. end while

算法3client(u,t)

1. ift=0 then 初始化wu

2. ift>0 then

3. 從服務器下載H

5.count▽u←0,COUNTh←0

11.count▽u←count▽u+1

13.COUNTh[i]←COUNTh[i]+1

15.COUNTh[j]←COUNTh[j]+1

16. end for

17. 生成概率參數f∈[0,1]

19. ifCOUNTh[i]≠0 then

24. end for

29. end for

30. end for

5 隱私保護分析

根據2.2節所述的隱私保護目標，本節將從模型保護和用戶歷史單類評價保護兩方面進行分析，說明DPPCF能夠滿足提出的隱私保護需求。

5.1 模型保護

5.2 用戶單類評價保護

最后如4.1節所示，用戶之間采用匿名P2P網絡進行通信，能夠有效防止用戶間信息的相互泄露。

6 實 驗

根據算法2和算法3所述，本文開發了DPPCF的原型并與BPRMF算法[15]以及文獻[13]中提出的SD-BPRMF方法進行了比較。

6.1 數據集及實驗方法

使用了3個公共評分數據集用以實驗，具體包括：兩個MovieLens數據集(ML-100K和ML-1M)一個Netflix數據子集(包含10 000個用戶和5 000個物品)[17]。對于每一個數據集，使用留一法交叉驗證以評估推薦系統的準確性。令Strain和Stest分別表示訓練集和測試集，評估指標AUC可表示為：

(16)

式中：E(u):={(i,j)|(u,i)∈Stest∧(u,j)?(Stest∪Strain)}。對于所要比較的推薦系統，AUC值越高，預測效果越準確。

6.2 結果及分析

在ML-100K、ML-1M和Netfilx數據集上的單類評價預測結果如圖4所示。其中ε為SD-BRPMF中的差分隱私保證參數。ε值越小，則SD-BRPMF的隱私保護強度越大，而其準確度就越低。盡管DPPCF和SD-BPRMF都可以實現模型保護和用戶歷史評價保護，但從圖中看出，DPPCF所生成模型的預測準確性明顯高于SD-BPRMF所生成的模型。其原因在于DPPCF和SD-BPRMF采用了不同的梯度混淆機制。SD-BPRMF采用基于隨機響應的方式模糊用戶的評價行為，但這種方式意味著每輪迭代客戶端上傳給服務器的更新梯度是有損的。而DPPCF所采用的安全求和方法能夠在隱藏用戶單類評價的同時確保其上傳給服務器的梯度信息是無損的，從而在實現隱私保護的同時最大限度地保障推薦準確度。

圖4 單類評價預測結果

7 結 語

針對推薦系統的隱私保護問題，本文設計了DPPCF協同過濾推薦算法。整個模型的計算過程由服務器和各個用戶共同配合完成。服務器端只能收到客戶端發來的物品隱藏因子向量梯度，避免了模型的泄露。引入梯度混淆過程保護了用戶評價的“存在性”。與現有方法相比，DPPCF在實現隱私保護的同時能夠提供更好的推薦準確度。然而，由于將推薦模型計算任務分擔給了客戶端，在增強隱私保護的同時不可避免地降低了計算的效率，今后，將針對如何提高推薦效率方面展開進一步研究。