基于生成對抗網(wǎng)絡(luò)的差分隱私生成數(shù)據(jù)方法

楊 順，郝曉燕，馬 垚，于 丹，陳永樂

(太原理工大學(xué) 信息與計算機(jī)學(xué)院，山西 晉中 030600)

0 引 言

隨著互聯(lián)網(wǎng)時代的迅速發(fā)展，人們發(fā)現(xiàn)深度學(xué)習(xí)[1]模型在圖像處理[2]、語音識別[3]等領(lǐng)域有著巨大優(yōu)勢，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)出現(xiàn)在人類生活中的方方面面。其中，生成對抗網(wǎng)絡(luò)(generative adversarial network，GAN)[4]是無監(jiān)督學(xué)習(xí)領(lǐng)域[5]最具有前景的深度學(xué)習(xí)模型之一，它由生成器和判別器兩部分構(gòu)成，生成器通過生成“假”數(shù)據(jù)，再與判別器進(jìn)行動態(tài)調(diào)整，最終生成用戶所需的數(shù)據(jù)。但生成對抗網(wǎng)絡(luò)模型，在給用戶帶來便利的同時也會給攻擊者提供一個竊取用戶敏感數(shù)據(jù)的機(jī)會，例如當(dāng)癌癥診斷模型受到成員推理攻擊[6]時，攻擊者通過分析深度學(xué)習(xí)模型中的數(shù)據(jù)信息，從而可以推斷出某個病人是否患有某種癌癥，那么用戶的隱私信息就很有可能被攻擊者所竊取。為了降低隱私泄露的風(fēng)險，Zhang提出利用差分隱私(differential privacy，DP)[7]在保障數(shù)據(jù)隱私方面的優(yōu)越特性，在生成對抗網(wǎng)絡(luò)模型中混入差分隱私機(jī)制[8]，從而達(dá)到保障原始數(shù)據(jù)安全的目的。

然而，雖然可以利用差分隱私技術(shù)保障用戶數(shù)據(jù)隱私安全，但與此同時也會降低生成數(shù)據(jù)的質(zhì)量(例如：生成圖片清晰度下降)，而生成數(shù)據(jù)質(zhì)量的損失將嚴(yán)重影響用戶對生成數(shù)據(jù)的使用。如何在有限的隱私成本下設(shè)計一種生成數(shù)據(jù)模型，既可以保護(hù)用戶的隱私又能夠生成高質(zhì)量的數(shù)據(jù)，仍然是我們所面臨的一個巨大挑戰(zhàn)。

為了解決上述問題，平衡生成數(shù)據(jù)質(zhì)量和模型隱私保護(hù)之間的關(guān)系，我們提出一種基于生成對抗網(wǎng)絡(luò)的差分隱私生成數(shù)據(jù)方法。本文的貢獻(xiàn)如下：

(1)在生成對抗網(wǎng)絡(luò)判別器的梯度中加入了差分隱私，從而讓模型具有抵御攻擊的能力。

(2)提出自適應(yīng)剪裁、學(xué)習(xí)率下降和參數(shù)分組聚類策略來保障生成對抗網(wǎng)絡(luò)的梯度能夠收斂，并使用了一種追蹤隱私開銷更加嚴(yán)格的RDP(rényi differential privacy)[9]代替了之前工作中傳統(tǒng)的差分隱私，以此來提升生成數(shù)據(jù)的質(zhì)量。

(3)通過實(shí)驗驗證，該方法具有抵御攻擊、生成較高質(zhì)量和可用性數(shù)據(jù)的能力。

1 相關(guān)工作

差分隱私技術(shù)因為其嚴(yán)格的數(shù)學(xué)證明和強(qiáng)有力的隱私保證，近年來一直都是隱私保護(hù)領(lǐng)域關(guān)注的焦點(diǎn)。之前已經(jīng)有研究工作證實(shí)可以在基本機(jī)器學(xué)習(xí)模型梯度中注入差分隱私噪聲來保護(hù)數(shù)據(jù)隱私安全[10]，Abadi等[11]在前人研究的基礎(chǔ)上提出一種差分隱私隨機(jī)梯度下降(differentially private SGD，DP-SGD)算法，他們通過在已經(jīng)被“清洗”的深度神經(jīng)網(wǎng)絡(luò)梯度中加入高斯噪聲實(shí)現(xiàn)隱私保護(hù)。Papernot[12，13]引入了PATE(private aggregation of teacher ensemble)模型，他們將原始數(shù)據(jù)劃分成多個互不相交的數(shù)據(jù)集，然后讓“教師”模型單獨(dú)訓(xùn)練每一部分?jǐn)?shù)據(jù)集，將每次預(yù)測結(jié)果視為一次投票，在聚合“教師”模型的過程中，對投票數(shù)最高的一項加入差分隱私噪聲，從而對投票的結(jié)果進(jìn)行擾動。最后“教師”模型對一些數(shù)據(jù)進(jìn)行標(biāo)記，再用“學(xué)生”模型來訓(xùn)練這些已被標(biāo)記的數(shù)據(jù)，并只讓“學(xué)生”模型對外界提供服務(wù)。這樣即使“學(xué)生”模型受到了攻擊，也只會泄露出“學(xué)生”模型的參數(shù)，不會泄露出原始數(shù)據(jù)集中的隱私。

Xie等[14]把差分隱私與生成對抗網(wǎng)絡(luò)結(jié)合起來，提出了差分隱私生成對抗網(wǎng)絡(luò)(DP-GAN)，他通過在Wasserstein 距離上梯度加入噪聲從而實(shí)現(xiàn)差分隱私保障生成對抗網(wǎng)絡(luò)安全。Torkzadehmahani等[15]利用條件生成對抗網(wǎng)絡(luò)(conditional generative adversarial network，CGAN)[16]的特性，他在原有的研究基礎(chǔ)上提出了差分隱私條件生成對抗網(wǎng)絡(luò)(DP-CGAN)，DP-CGAN不僅可以生成高質(zhì)量的數(shù)據(jù)，而且生成的數(shù)據(jù)也能夠攜帶所對應(yīng)的標(biāo)簽，這極大擴(kuò)展了生成數(shù)據(jù)的可用性。Jordon等[17]將PATE框架與GAN結(jié)合起來提出了PATE-GAN，他用PATE框架取代了生成對抗網(wǎng)絡(luò)中的判別器部分，這樣就可以保證生成對抗網(wǎng)絡(luò)中依舊可以使用差分隱私來保障數(shù)據(jù)安全。GANobfuscator[18]對DP-GAN中加入噪聲的方式進(jìn)行了優(yōu)化，他們設(shè)計了更加精細(xì)的擾動策略。之前一些工作的重心都放在了集中式數(shù)據(jù)集上，Xin等[19]考慮了原始數(shù)據(jù)在分布式場合下的情形，他們結(jié)合聯(lián)邦學(xué)習(xí)和生成對抗網(wǎng)絡(luò)，提出了差分隱私FL-GAN框架。

雖然上述的一些工作在平衡生成數(shù)據(jù)質(zhì)量和模型隱私保護(hù)之間做出了巨大貢獻(xiàn)，但依然存在加入噪聲的方式復(fù)雜、生成數(shù)據(jù)可用性不足等問題。為此，本文提出了一種新的差分隱私生成對抗網(wǎng)絡(luò)。

2 相關(guān)知識

2.1 差分隱私

如果任意一個算法M想要滿足差分隱私，那么對兩個最多有一條數(shù)據(jù)是不相同的相鄰數(shù)據(jù)集D和D′，以及M的任意輸出結(jié)果S，我們有以下不等式

Pr[M(D)∈S]≤eεPr[M(D′)∈S]+δ

(1)

其中，ε表示隱私預(yù)算，隱私預(yù)算越小，隱私保護(hù)的能力就越強(qiáng)，但原始數(shù)據(jù)的可用性就會越低，松弛項δ表示差分隱私被破壞的可能性，Pr表示事件發(fā)生的概率。

2.2 高斯機(jī)制

我們首先定義任意函數(shù)f的敏感度Sf，它表示改變單條數(shù)據(jù)對f輸出結(jié)果的最大影響。如果我們用L2范式來表示敏感度，D和D′為兩個相鄰數(shù)據(jù)集，則有式(2)

(2)

高斯機(jī)制是實(shí)現(xiàn)差分隱私的幾種方式之一，它通過向函數(shù)f的輸出結(jié)果中添加高斯噪聲以此來實(shí)現(xiàn)差分隱私，高斯機(jī)制的實(shí)現(xiàn)方式如式(3)所示

(3)

其中，Sf表示敏感度，σ是噪聲尺度，I是單位矩陣，N(0，(Sfσ)2I) 是平均值為0，標(biāo)準(zhǔn)差為Sfσ的高斯分布。

3 基于生成對抗網(wǎng)絡(luò)的差分隱私生成數(shù)據(jù)方法

3.1 方法原理

本文設(shè)計的基于生成對抗網(wǎng)絡(luò)的差分隱私生成數(shù)據(jù)方法(DPKG)如圖1所示。真實(shí)樣本會被直接輸送到生成對抗網(wǎng)絡(luò)的判別器中，但樣本中通常會包含一些隱私數(shù)據(jù)，所以我們希望利用差分隱私來阻止泄露原始數(shù)據(jù)中的隱私信息。本文運(yùn)用差分隱私的方式不同于直接對原始數(shù)據(jù)或最終數(shù)據(jù)進(jìn)行混淆，我們只在生成對抗網(wǎng)絡(luò)運(yùn)行中加入差分隱私。一般來說，我們可以同時在生成器和判別器中加入噪聲，但由于生成對抗網(wǎng)絡(luò)目標(biāo)函數(shù)的最大最小特性，如果兩部分網(wǎng)絡(luò)都加入噪聲會讓我們很難精確地追蹤每次隱私損失，從而導(dǎo)致模型不能正常收斂[18]。而且在整個訓(xùn)練階段，只有判別器能夠接觸到真實(shí)數(shù)據(jù)，判別器的結(jié)構(gòu)相較于生成器又更加簡單，參數(shù)也相對較少，再綜合之前的研究工作，我們選擇只在判別器的梯度中加入差分隱私。在實(shí)際訓(xùn)練過程中，生成器會收到來自判別器的反饋信息，所以我們認(rèn)為如果判別器是足夠安全的，那么生成器的安全也會隨之受到保障，即使生成器遭受了敵對攻擊，它也不會泄露用戶數(shù)據(jù)中的隱私信息。但在生成對抗網(wǎng)絡(luò)中，加入噪聲會對最終生成數(shù)據(jù)造成嚴(yán)重干擾，我們希望在不損失原有的隱私保護(hù)水平的前提下，盡可能提升生成數(shù)據(jù)的質(zhì)量，為此提出了以下優(yōu)化策略。

圖1 DPKG整體框架

3.2 優(yōu)化策略

我們觀察到原始數(shù)據(jù)集通常包含多種類型的數(shù)據(jù)，每一類數(shù)據(jù)單獨(dú)進(jìn)行訓(xùn)練會比在整個數(shù)據(jù)集生成更好的數(shù)據(jù)。因此我們首先通過K-Means對原始數(shù)據(jù)進(jìn)行一次預(yù)處理，將原始數(shù)據(jù)集劃分成多個不同的簇，之后分別將每一個簇輸送到生成對抗網(wǎng)絡(luò)模型中。因為簇中包含的都是相似的樣本，所以相比直接將整個數(shù)據(jù)集當(dāng)作輸入樣本，生成對抗網(wǎng)絡(luò)可以更迅速地學(xué)習(xí)到樣本中的細(xì)節(jié)特征，從而可以在更短的時間內(nèi)生成更接近與真實(shí)樣本的數(shù)據(jù)。最后將所有差分隱私生成對抗網(wǎng)絡(luò)所生成的數(shù)據(jù)合并在一起，形成了完整的生成數(shù)據(jù)集。為了保障整個階段都是有隱私保護(hù)的，我們在使用K-Means更新聚類中心時也對其加入了差分隱私。

生成對抗網(wǎng)絡(luò)中存在一些超參數(shù)，它們在生成高質(zhì)量數(shù)據(jù)時起著關(guān)鍵性作用，我們通常采取地是根據(jù)經(jīng)驗將其設(shè)置為一個固定的值，但這顯然存在許多不足。本文對設(shè)置梯度剪裁邊界和學(xué)習(xí)率進(jìn)行了優(yōu)化。

(4)

(5)

算法1：學(xué)習(xí)率下降

輸入：迭代次數(shù)step

輸出：學(xué)習(xí)率α

(1)If step<1000

(2)α=0.1/step+2*10-3

(3)Elseα=10-3//學(xué)習(xí)率下降

(4)Returnα

[27]Selected Works of Jawaharlal Nehru, Second Series, Vol.10, New Delhi: Oxford University Press, 1997, p.397.

之前一些工作的是把生成對抗網(wǎng)絡(luò)中所有參數(shù)的梯度都聚集起來，然后統(tǒng)一的進(jìn)行梯度剪裁。這種方式雖然可以把每次的隱私預(yù)算降到最低，但也會給某些參數(shù)增加過多的噪聲，從而造成模型收斂變慢。但如果給每個參數(shù)的梯度單獨(dú)進(jìn)行梯度剪裁，又會消耗更多的隱私預(yù)算。在生成對抗網(wǎng)絡(luò)實(shí)際運(yùn)行中，我們發(fā)現(xiàn)偏置b的梯度往往趨近于0，而權(quán)重w的梯度又是一個非常大值，為此我們把權(quán)重與偏置進(jìn)行了分離，提出了一種參數(shù)分組聚類策略。因為偏置的數(shù)量一般比較龐大，而且偏置的梯度又趨近于0，所以我們選擇將偏置的梯度都聚集在一起進(jìn)行梯度剪裁，這樣既可以降低隱私預(yù)算，又不會對收斂速度造成嚴(yán)重干擾。而對于權(quán)重梯度，本文提出了一種權(quán)重梯度聚類算法，將同一類的權(quán)重梯度進(jìn)行梯度剪裁。

我們首先利用自適應(yīng)梯度剪裁邊界算法計算出每個權(quán)重wi的梯度g(wi) 和剪裁邊界c(wi)， 并把所有的g(wi) 標(biāo)記為未被訪問。然后隨機(jī)選取一個g(wi) 設(shè)置為已訪問，尋找g(wi) 領(lǐng)域半徑內(nèi)所有權(quán)重梯度，當(dāng)成集合N(wi)。 如果集合中的個數(shù)大于等于密度閾值，則創(chuàng)建一個類Si，類的剪裁邊界等于c(wi)。 然后從N(wi) 中任選一個g(wj) 點(diǎn)，尋找g(wj) 領(lǐng)域半徑內(nèi)所有權(quán)重梯度，當(dāng)作集合N(wj)。 如果N(wj) 的個數(shù)大于等于密度閾值，則將N(wj) 合并到N(wi) 中。如果g(wj) 尚不屬于任意一個類，就把g(wj) 合并到Si中，同時更新類的梯度剪裁邊界c(Si)。 重復(fù)上述操作，直到所有的權(quán)重梯度都被訪問。具體過程如算法2所示。

算法2：權(quán)重梯度聚類

輸入：所有 {g(wi)，c(wi)} 集合，密度閾值MinPts，領(lǐng)域半徑φ

輸出：k個類及其對應(yīng)的梯度剪裁邊界

(1)Mark allwas unvisited,W←g(wi)//將所有權(quán)重梯度設(shè)為未訪問, 并放入到集合W中

(2)Forg(wi) inW

(3) Markg(wi) as visited//將g(wi)設(shè)為已訪問

(4)N(wi)←{g(wj)|g(wj)∈W&|g(wj)-g(wi)|≤φ}//找出g(wi)領(lǐng)域半徑內(nèi)的所有權(quán)重梯度

(5) If |N(wi)|≥MinPts

(6) Create a new clusterSi,c(Si)=c(wi)//集合中的個數(shù)不低于密度閾值時, 創(chuàng)建一個新的類, 類的剪裁邊界等于當(dāng)前權(quán)重的剪裁邊界

(7) Forg(wj) inN(wi)

(8) Ifg(wj) is unvisited

(9) Markg(wj) as visited//將g(wj)設(shè)為已訪問

(10)N(wj)←{g(wk)|g(wk)∈W&|g(wk)-g(wj)|≤φ}//找出g(wj)領(lǐng)域半徑內(nèi)的所有權(quán)重梯度

(11) If |N(wj)|≥MinPts

(12)N(wi)←N(wj)+N(wi)//合并N(wi)和N(wj)

(13) End if

(14) End if

(15) Ifg(wj) is not clustered

(17) End if

(18) End for

(19) End if

(20)End for

3.3 算法實(shí)現(xiàn)

為了盡可能避免生成對抗網(wǎng)絡(luò)在訓(xùn)練過程中出現(xiàn)生成數(shù)據(jù)質(zhì)量差、梯度爆炸等問題，本文使用WGAN-GP(wasserstein generative adversarial network-gradient penalty)模型。每一次迭代中，我們首先會固定住生成器的參數(shù)θ，之后從原始數(shù)據(jù)中隨機(jī)地抽出一組真實(shí)樣本數(shù)據(jù)，并計算出每個樣本的梯度g(i)，使用參數(shù)分組聚類策略將梯度劃分到對應(yīng)的類中，接著根據(jù)當(dāng)前梯度所屬類的梯度剪裁邊界cj對梯度進(jìn)行裁剪，確保敏感度受到剪裁邊界的限制，在剪裁后的梯度中加入高斯噪聲N(0，(cjσ)2I)， 得到一個新的梯度值，其中σ表示為噪聲尺度，I表示單位矩陣。然后我們使用時刻計算來追蹤這一輪的隱私預(yù)算，計算出當(dāng)前迭代中的學(xué)習(xí)率，并用Adam優(yōu)化算法更新判別器參數(shù)w和生成器參數(shù)θ。因為差分隱私的強(qiáng)組合特性，如果我們計算出當(dāng)前的隱私損失之和超出了全部的隱私預(yù)算，則會終止差分隱私生成對抗網(wǎng)絡(luò)的運(yùn)行。具體算法如算法3所示。

算法3：差分隱私生成對抗網(wǎng)絡(luò)

輸入：噪聲尺度σ，梯度懲罰系數(shù)λ，全部隱私預(yù)算(ε0，δ0)，batch大小m，每次生成器迭代的判別器迭代次數(shù)nd，判別器參數(shù)w，生成器參數(shù)θ，Adam算法超參數(shù) (α，β1，β2)， 密度閾值MinPts，領(lǐng)域半徑φ

輸出：差分隱私生成器G

(1)While step≤MaxStep do

(2) Fort=1,…,nddo

(6) Fori=1,…,mdo

(8) Forj=1,…,kdo

(10)ξ←N(0,(cjσ)2I);

(12) End for

(13) End for

(14) Update privacy budget (ε,δ)//更新隱私預(yù)算

(15)α←Learning rate decay//學(xué)習(xí)率下降

(18) End for

(21) Ifε>ε0orδ>δ0

(22) break

(23) End if //判斷當(dāng)前累計的隱私損失是否超出全部隱私預(yù)算

(24)End while

(25)ReturnG

(27) Fori=1,…,mdo

(28)z～Pz//從生成樣本抽取數(shù)據(jù)

(31) End for

3.4 隱私分析

差分隱私在深度學(xué)習(xí)算法中的應(yīng)用，一個關(guān)鍵之處在于如何準(zhǔn)確計算出訓(xùn)練過程中產(chǎn)生的全部隱私損失。本文使用的是時刻計算(moment accountant，MA)[11]，MA利用了差分隱私的強(qiáng)組合特性，通過將隨機(jī)采樣與高斯機(jī)制相結(jié)合，追蹤隱私損失變量隨時間的變化來評估每一輪訓(xùn)練過程中的隱私損失，后通過疊加每輪的隱私損失計算出全部的隱私損失。式(6)給出了在輸出o∈R處的隱私損失c

(6)

其中，M為任意一個算法機(jī)制，D，D′為兩個最多只有一條數(shù)據(jù)不相同的相鄰數(shù)據(jù)集。為了盡可能讓所有相鄰數(shù)據(jù)集都滿足差分隱私，根據(jù)隱私損失變量，我們可以計算其在第k時刻的時刻生成函數(shù)，以此來表示每輪訓(xùn)練過程中的隱私損失

(7)

并且我們利用馬爾科夫不等式可以驗證，如果松弛項的尾界限δ滿足式(8)

(8)

那么我們可以保證，當(dāng)ε>0時，對于任意一個M它都會滿足差分隱私。

由差分隱私的后處理特性可知，對一個差分隱私算法的輸出結(jié)果進(jìn)行任何計算都不會額外再增加隱私損失，這也就意味著當(dāng)判別器是差分隱私保證的，生成器也是差分隱私保證的，即整個生成對抗網(wǎng)絡(luò)模型都是差分隱私保證的。

每輪判別器進(jìn)行迭代時，我們會從數(shù)據(jù)集進(jìn)行采樣，如果給定采樣概率q=m/L，m為batch大小，L為數(shù)據(jù)集大小，nd為每輪判別器的迭代次數(shù)，式(9)給出了噪聲尺度和隱私預(yù)算之間的一種關(guān)系

(9)

從公式中可以看出，當(dāng)固定噪聲大小時，每次采樣的概率越大，隱私保護(hù)水平就越低。同時也表明了在給定隱私預(yù)算的情況下，我們需要在神經(jīng)網(wǎng)絡(luò)梯度中注入多大的噪聲尺度，才可以維持隱私保護(hù)水平。

RDP是差分隱私的一種寬松定義，它依然保留著基本差分隱私原有的特性。RDP使用Rényi散度計算兩種相鄰數(shù)據(jù)集分布之間的距離，因此在計算隱私開銷的方面提供了更加嚴(yán)格的約束。對于一個任意的機(jī)制M想要滿足 (α，ε)-RDP需要滿足如下公式

Dα(M(D)‖M(D′))≤ε

(10)

α>1表示階數(shù)，Dα為Rényi散度。在生成對抗網(wǎng)絡(luò)的每一次迭代中，因為RDP的強(qiáng)組合特性即兩個機(jī)制分別滿足 (α，ε1)-RDP和 (α，ε2)-RDP， 那么這兩個機(jī)制的總和也滿足 (α，ε1+ε2)-RDP， 這種線性計算方式可以讓我們很容易追蹤全部的隱私損失

Pr[M(D)∈S]≤{eεPr[M(D′)∈S]}1-1/α

(11)

4 實(shí)驗評估

4.1 實(shí)驗環(huán)境配置

實(shí)驗的語言環(huán)境為Python 3.6，在TensorFlow 1.13框架上使用MNIST[21]和Fashion-MNIST[22]兩種數(shù)據(jù)集對本文中的方法進(jìn)行了驗證。

MNIST和Fashion-MNIST是兩種在機(jī)器學(xué)習(xí)等領(lǐng)域受到廣泛使用的數(shù)據(jù)集，它們各自包含了60 000張用于訓(xùn)練的圖片和10 000張用于測試的圖片，每張圖片都是一個28*28像素的灰度圖片，其中MNIST包含的是不同的手寫數(shù)字圖片，而Fashion-MNIST則是10種不同商品的正面圖片。

4.2 實(shí)驗結(jié)果

我們希望在相同狀態(tài)下，比較DPKG和dp-GAN[8]在生成圖像數(shù)據(jù)質(zhì)量上的差別，所以根據(jù)文獻(xiàn)[8]中的參數(shù)來構(gòu)建生成對抗網(wǎng)絡(luò)，以及文獻(xiàn)中參數(shù)來設(shè)置差分隱私生成對抗網(wǎng)絡(luò)中隱私預(yù)算ε=4， 松弛項δ=e-5， 兩種模型生成圖像如圖2和圖3所示。

圖2 生成MNIST數(shù)據(jù)集

圖3 生成Fashion-MNIST數(shù)據(jù)集

4.3 實(shí)驗分析

從圖2和圖3中可以直觀表達(dá)出，本文中的方法相比于dp-GAN可以生成更接近于原始數(shù)據(jù)的圖像，成功提升了生成數(shù)據(jù)的質(zhì)量。并且本文使用Inception Score(IS)[23]來評估所生成圖像的質(zhì)量，以此來驗證我們的結(jié)論。

IS是一種由Salimans等提出的評估GAN生成數(shù)據(jù)質(zhì)量的方式。簡單來說，對于一個條件概率p(y|x)， 其中x表示GAN所生成的圖片，y表示標(biāo)簽。IS此時類似于一個分類網(wǎng)絡(luò)，它會對x進(jìn)行歸類，如果p(y|x) 以一個較大的概率判斷出了x中的內(nèi)容，那么IS就有足夠大的把握對x進(jìn)行正確分類，這也就說明GAN生成數(shù)據(jù)有著足夠高的清晰度，同時IS還考慮了生成數(shù)據(jù)是否具有多樣性的問題。綜合這兩種評估指標(biāo)，IS給出了計算GAN生成數(shù)據(jù)評估分?jǐn)?shù)的公式

IS(G)=exp(xKL(p(y|x)‖p(y)))

(12)

從圖4中可以直接看出，在兩種數(shù)據(jù)集上如果我們設(shè)置隱私預(yù)算越大，那么生成圖像的質(zhì)量也會得到顯著的提高，這就說明了生成圖像的失真是由添加的高斯噪聲所引起的，并非生成模型的不夠收斂。并且我們比較了DPKG與DP-GAN[14]、dp-GAN[8]最終生成圖像的評估分?jǐn)?shù)，圖中展示了本文的DPKG所生成圖像的IS會比另外兩種網(wǎng)絡(luò)模型生成圖像的IS得到更高的分?jǐn)?shù)，這也就表明我們生成圖像有著更高的質(zhì)量，成功提升了生成圖像數(shù)據(jù)的精度。

圖4 生成數(shù)據(jù)集的IS

為了驗證我們的方法是在不損失原有隱私保護(hù)水平的前提下提升生成數(shù)據(jù)的質(zhì)量，我們使用成員推理攻擊來攻擊我們的方法，其準(zhǔn)度如圖5所示。圖中展示了攻擊者并不能準(zhǔn)確獲取目標(biāo)對象的真實(shí)分布狀態(tài)，也就無法推算出某個人的隱私信息，同時我們的方法相比于其它兩種差分隱私生成對抗網(wǎng)絡(luò)，也沒有降低其隱私保護(hù)的水平。隨著隱私預(yù)算的減小，攻擊的準(zhǔn)度也在逐漸降低，這就說明我們的方法具備一定抵御攻擊的能力。

圖5 成員推理攻擊的準(zhǔn)度

同時為了驗證生成數(shù)據(jù)在實(shí)際應(yīng)用場景下的可用性，我們在卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)分類器中，比較了3種差分隱私生成對抗網(wǎng)絡(luò)模型所生成數(shù)據(jù)集的分類準(zhǔn)確度，如圖6所示。從圖6中可以看出，兩種數(shù)據(jù)集在分類網(wǎng)絡(luò)上的分類效果會隨著隱私預(yù)算的增大而逐漸變好，這也就說明生成圖像的損失在不斷減小。而且從圖中也能直觀表達(dá)出本文的DKPG與其它兩種差分隱私生成對抗網(wǎng)絡(luò)在相同隱私預(yù)算條件下，所生成數(shù)據(jù)集在分類網(wǎng)絡(luò)上訓(xùn)練可以獲得更高的準(zhǔn)確度，這就意味著DPKG在實(shí)現(xiàn)用戶數(shù)據(jù)隱私安全的前提下，也保障了生成數(shù)據(jù)的可用性。

圖6 生成數(shù)據(jù)集的分類準(zhǔn)確度

5 結(jié)束語

本文提出在生成對抗網(wǎng)絡(luò)梯度中添加差分隱私，從而保障個人隱私信息不被泄露，同時針對生成對抗網(wǎng)絡(luò)中隱私保護(hù)和生成數(shù)據(jù)質(zhì)量之間的沖突問題，通過對原始數(shù)據(jù)進(jìn)行預(yù)處理，后在差分隱私生成對抗網(wǎng)絡(luò)中添加自適應(yīng)剪裁、參數(shù)分組聚類等優(yōu)化策略，并在網(wǎng)絡(luò)運(yùn)行過程中使用RDP機(jī)制來追蹤隱私開銷。以此讓差分隱私生成對抗網(wǎng)絡(luò)模型在維持原有隱私保護(hù)水平基礎(chǔ)上，提升最終生成數(shù)據(jù)的質(zhì)量。

但生成對抗網(wǎng)絡(luò)自身所固有的一些問題我們依舊沒有得到更好地解決，在以后的工作中，如何讓生成對抗網(wǎng)絡(luò)在加入差分隱私之后依舊可以保持網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性是值得研究的方向。