基于混合擾動的差分隱私貝葉斯神經網絡

張攀峰，楊智威，張文勇，敬 超*

(1.桂林理工大學 信息科學與工程學院，廣西 桂林 541006；2.廣西嵌入式技術與智能系統重點實驗室，廣西 桂林 541006)

0 引言

基于人工智能的大數據技術已逐步成為大數據分析的主流技術，相關應用也逐步滲入到國防、教育、科學、生產和生活等方方面面。但基于深度學習理論的人工智能技術，因其泛化能力不足，導致訓練數據面臨信息泄露的風險。差分隱私技術是保護數據隱私的有效途徑，通過對深度學習加入差分隱私技術，能夠為模型提供一種無需加密的隱私保護能力，這種隱私保護方式使模型在被攻擊時無法完全還原訓練數據，從而防止隱私數據的泄露。

差分隱私的提出，首先應用到數據發布上。這種基于輸入擾動 (Input Perturbation,ITPN)[1-5]的差分隱私，能夠在一定程度上保護數據隱私，但使用這種數據去訓練深度學習模型，得到的訓練模型可用性不高。而保留原始數據僅擾動模型擬合數據的方法被逐漸提出。

輸出擾動(Output Perturbation,OTPN)[6]是一種直接把噪聲加到模型最優值上的方式。這種方式最大的問題是，噪聲分布是固定的，攻擊者可以反復對模型輸入，去推斷模型的真實輸出結果。而在反向傳播過程中的擾動方式，無法通過反復輸入，推斷出訓練集。

目標擾動 (Objective Perturbation,OEPN)[6]是通過對算法的目標函數添加噪聲，去干擾模型對數據的擬合。目標擾動本質上是一種隨機正則化。梯度擾動(Gradient Perturbation,GTPN)[7-8]是直接把噪聲加到梯度上，使模型在求解最優梯度時產生偏移。這2種擾動方式都是在模型的反向傳播過程中干擾模型對數據的擬合。但以上這些擾動方法對模型進行隱私保護時，都不可避免地造成模型的可用性降低。

Moments Accountant[7,9-10]的提出，量化了反向傳播的隱私保護效果。但Moments Accountant在選擇高斯分布計算雷尼散度上，只選擇了高斯噪聲分布和混合高斯分布，且混合高斯分布與訓練集無關。而差分隱私的定義中，對比的是相鄰數據集的分布，不是噪聲分布與數據集無關的混合高斯分布。這會使隱私評估出現不夠精確的問題。

針對以上問題，提出了一種綜合應用輸出擾動和目標擾動的差分隱私貝葉斯神經網絡——基于混合擾動的差分隱私貝葉斯神經網絡(Differential Privacy Bayesian Neural Networks Based on Mixed Perturbation，DPBNNMP)，且主要做了如下幾點工作：

① 對于差分隱私加入神經網絡導致模型可用性下降的問題，采取分割網絡權重方法，確保模型的學習能力；

② 使神經網絡在前向傳播過程和反向傳播過程都滿足差分隱私；

③ 對于①中產生的前向傳播隱私開銷進行推導。

1 相關知識

1.1 貝葉斯神經網絡

貝葉斯神經網絡(Bayesian Neural Networks,BNNs)[11-13]與傳統神經網絡的主要區別在于目標函數。

對于一個參數為w，數據集為D的BNNs，其w的最大后驗概率(Maximum a Posteriori,MAP)為：

(1)

式中，wMAP為BNNs權重w的MAP；D為訓練數據；p(w|D)為權重w在數據集D上的后驗概率分布。

為了獲得權重w的MAP估計，采用變分學習的方式找到一個概率q(w|θw)近似權重w的后驗概率。為此利用KL散度來最小化概率q(w|θw)和p(w|D)的距離，有：

(2)

式中，p(D|w)為給定神經網絡權重w關于數據集D的似然函數；p(w)是w的先驗概率。BNNs的損失函數為：

F(D,θw)=KL[q(w|θw)=p(w)]-Eq(w|θw)[lnp(D|w)]。

(3)

在最小化目標函數之前，必須對后驗概率抽樣權重的標準差σ進行參數化，即σw=ln(1+eρw),ρw是標準差σw的參數。目標函數F(D,θw)的參數θw=(μw,ρw)，μw是對應分布的數學期望值。而神經網絡的權重w=μw+ln(1+eρw)·ζ，ζ～N(0,I)，I為示限函數。模型參數θw決定了神經網絡的權重w。使用隨機梯度下降算法來求解最優參數θw=(μw,ρw)，從而優化神經網絡的權重w。

由無偏蒙特卡羅抽樣可以把F(D,θw)轉化成如下形式：

(4)

BNNs提供了一種嶄新求解最優化網絡權重的方式，認識不確定性的引入也為當前網絡泛化能力提供了一個置信度，為神經網絡提供另一種角度來思考參數優化問題。

BNNs的目標函數本身帶有正則化項，即q(wi|θw)，該項的作用相當于正則化。

1.2 差分隱私

Dwork等[5]于2006年提出的一種嚴格數學定義的隱私保護算法，即差分隱私[7,11-12,14]，主要應用于相鄰數據集隱私保護。

Triastcyn等[10]推導了貝葉斯方式下的隱私核算計算過程，著重在相鄰數據集各自分布在雷尼散度上的值。

定義1ε-差分隱私[4-7]。對任意的相鄰數據集d和d′，d,d′∈D，任意算法M:D→R和輸出結果S?R，若不等式

Pr[M(d)∈S]≤eεPr[M(d′)∈S]，

(5)

成立，則滿足ε-差分隱私。式中Pr[M(d)∈S]指算法M在d數據集上輸出屬于實數集R子集S的概率，ε≥0。

定義2強貝葉斯差分隱私[10,15-17]。對任意的相鄰數據集d和d′，d,d′∈D，任意算法M:D→R和輸出結果S?R，算法參數w1=M(·)，若不等式

Pr[LM(w,d,d′)≥ε]≤δ，

(6)

成立，則滿足(ε,δ)-差分隱私[4-7]。式中，Pr[·]是概率，LM(w1,d,d′)定義如下:

(7)

一般稱LM(w,d,d′)為隱私損失，p(w|d)是神經網絡權重w在數據集d上的條件概率，0≤δ≤1，ε≥0。

定義3(ε,δ)-差分隱私[4-7]。對任意的相鄰數據集d和d′，d,d′∈D，任意算法M:D→R和輸出結果S?R，若不等式

Pr[M(d)∈S]≤eεPr[M(d′)∈S]+δ，

(8)

成立，則滿足(ε,δ)-差分隱私。式(8)中Pr[M(d)∈S]指算法M在d數據集上輸出屬于實數集R子集S的概率，0≤δ≤1，ε≥0。

(ε,δ)-差分隱私[4-7]的提出，放寬了對以往ε-差分隱私的定義。通過添加σ，對隱私保護的條件放寬，(ε,δ)-差分隱私[4-7]指以一定概率δ使ε-差分隱私失效。

敏感度用來衡量2個相鄰數據集各自訓練的算法的差別，差別越大，隱私保護能力也就越好。

定義4敏感度[7]。對于函數f:D→R，d和d′是2個相鄰數據集，d,d′∈D，則|f(d)-f(d′)|的最大值為該函數的敏感度S(·)，定義為：

S(f)=max|f(d)-f(d′)|。

(9)

差分隱私機制，通常使用噪聲干擾的方式來完成，高斯機制是主要方式之一。高斯機制是通過添加高斯噪聲的方式，來擾動算法對數據的擬合，以此達到隱私保護效果的機制。

定義5高斯機制[1]。對于函數f:D→R，任意算法M:D→R，數據集d,d′∈D，高斯機制定義為：

M(d)=f(d)+N(μ,σ2)，

(10)

式中，N(μ,σ2)為噪聲的高斯分布。

高斯機制目前主要有4種應用：ITPN[6]，OTPN[6]，OEPN[6]和GTPN[6]。

定義6目標擾動。設Q(wn|θw)=lnq(w|θw)，w′=w+N(μ,σ2)，w為人工神經網絡權重，有如下定義：

Q(w′|θw)=lnq(w+N(μ,σ2)|θw)，

(11)

式中，N(μ,σ2)為噪聲的高斯分布；θw為算法參數；q(w+N(μ,σ2)|θw)為權重w被擾動后的概率分布。

OEPN通常選擇目標函數進行擾動，使神經網絡在反向傳播中出現干擾。

為了衡量算法加入差分隱私的隱私保護效果，Abadi等[7]提出Moments Accountant去追蹤隱私開銷。而隱私核算主要通過雷尼散度來衡量相鄰數據集各自分布的差別，以追蹤應用高斯機制前后的數據集分布的差異。

定義7雷尼散度[9,14]。對于2個定義在實數集R上的P概率分布和Q概率分布，λ>1，雷尼散度被定義為：

(12)

式中，Ex～Q(·)為分布Q上的數學期望；λ為雷尼散度的秩。

2 混合擾動的差分隱私貝葉斯神經網絡

2.1 輸出擾動

DPBNNMP是在BNNs[11,13,18-19]的基礎上增加了訓練數據隱私保護的部分。它的改進一方面體現在網絡結構上，如圖1所示，對神經元線性變換做了如下改變:

圖1 基于混合擾動的神經元Fig.1 Neuron based on mixed perturbation

h(x)=x·W，

(13)

式中，W為DPBNNMP的權重，且W=(1-v)·w+v·γ，w是網絡權重，γ是噪聲權重，v為噪聲貢獻度，0≤v≤1；x為模型輸入值；“·”表示相乘操作。

p[(1-v)·w+v·γ]≤eεp(w)。

(14)

(15)

式中，W=(1-v)·w+v·γ。對式(15)左右取對數，有：

(16)

當v=0時，有0≤ε。

當0

(17)

當v=1時，有：

(18)

當OTPN滿足如上條件時，網絡權重滿足ε-差分隱私。

OTPN示意如圖2所示。A代表v·γ·x，B代表(1-v)·w·x，C代表W·x。主體結構仍然和普通神經網絡一樣，不同點是把傳統的神經網絡的權重分割成網絡權重w和噪聲權重γ，相應的偏差也分為神經元偏差和噪聲偏差。其中,v決定噪聲權重對W的貢獻度，(1-v)決定網絡權重對W的貢獻度，一般v<0.5。ReLU是ReLU激活函數，y是神經元的輸出。

圖2 DPBNNMPFig.2 Diagram of OTPN

當m個神經元都滿足ε-差分隱私，根據文獻[9]，由這m個神經元組成的神經網絡滿足如下關系：

(19)

且該神經網絡滿足(ε′,δ)-差分隱私。

為了保證噪聲權重完成擾動的任務,就需要采取2.2節的方式混合擾動神經網絡。

2.2 目標擾動

由于除了網絡權重，DPBNNMP內部還有噪聲權重，在沒有任何擾動時，噪聲權重并不能完成擾動的任務，所以本文將OEPN作用到神經網絡的目標函數上，再利用優化算法，把噪聲傳遞給噪聲權重，使DPBNNMP在反向傳播過程中滿足差分隱私保護。

通過貝葉斯公式對噪聲權重建模，得到以下概率模型。

一個被隨機高斯噪聲干擾后的噪聲權重γ，通過前向傳播，添加到DPBNNMP的網絡權重w上，獲得一個干擾后DPBNNMP的權重W，算法輸入的數據集為D。γ的后驗分布，由貝葉斯公式有：

(20)

式中，p(γ|D,w)為γ的后驗概率;p(γ)為γ的先驗概率;p(D|γ,w)為關于噪聲權重γ和網絡權重w的似然函數；p(D|w)為給定網絡權重w后D出現的概率。

用MAP得到γMAP：

(21)

式中，γMAP為DPBNNMP噪聲權重γ的最大后驗概率；D為訓練數據；p(γ|D，w)為噪聲權重γ在數據集D和網絡權重w上的后驗概率分布。

為了得到p(γ|D,w)的近似，引入一個概率q(γ|θγ)去近似p(γ|D,w)，所以有：

Eq(γ|θγ)[lnp(D|γ,w)]，

(22)

式中，p(D|γ，w)為給定DPBNNMP的網絡權重w和噪聲權重γ關于數據集D的似然函數；p(γ)為γ的先驗概率。

因此，得到噪聲后驗概率形式的目標函數為：

G(D,θγ)=KL[q(γ|θγ)=p(γ)]-

Eq(γ|θγ)[lnp(D|γ,w)]，

(23)

式中，KL[q=p]是KL散度，度量q概率到p概率的距離。在最小化G(D,θγ)之前，需要將θγ參數化為θγ=(μγ,ργ)，ργ是重參數化后標準差的參數[11]，μγ是對應θγ的數學期望值。

由無偏蒙特卡羅抽樣把噪聲后驗分布的目標函數轉化成如下形式：

(24)

式中，q(γi|θγ)概率相當于普通神經網絡目標函數中的正則化部分。在求解最優值時，用來懲罰第i個噪聲權重γ。

根據定義6，式(24)要滿足差分隱私，可以向式(24)中q(γi|θγ)部分引入任意高斯噪聲，使其滿足差分隱私保護，所以有：

lnp(γi)-lnp(D|γi,wi)，

(25)

式中，N(μ,σ2)為任意高斯分布。根據定義1，任意高斯噪聲N(μ,σ2)必須滿足如下關系，才能使噪聲權重滿足差分隱私：

p(γ+n)≤eεp(γ)，

(26)

(27)

當輸入的任意噪聲滿足式(27)時，神經元的噪聲權重滿足ε-差分隱私。根據式(19)，整個神經網絡的噪聲權重滿足(ε′,δ)-差分隱私。

2.3 DPBNNMP目標函數

為了更新DPBNNMP的參數，由式(4)和式(25)可以得到DPBNNMP的目標函數：

lnp(γi)+lnq(wi|θw)-

lnp(wi)-2lnp(D|γi,wi)，

(28)

式中，N(μ,σ2)為任意噪聲的分布；θγ和θw為算法F(D,θw,θγ)待學習的參數；w為網絡權重；γ為噪聲權重；D為數據集；q(γi+N(μ,σ2)|θγ)為第i個噪聲權重OEPN的后驗概率估計；q(wi|θw)為第i個網絡權重的后驗概率估計；p(γi)為第i個噪聲權重的先驗概率；p(wi)為第i個網絡權重的先驗概率；p(D|γi,wi)是參數為γi和wi關于數據集D的似然函數。

2.4 DPBNNMP算法

2.4.1 算法思想

DPBNNMP算法的隱私保護方式是在目標函數上引入一個高斯噪聲分布抽樣，干擾噪聲權重對數據的擬合，即OEPN，又在前向傳播過程中把噪聲權重加到網絡權重上，即OTPN，具體算法如下。這樣就使得前向傳播和反向傳播都滿足差分隱私。

算法1 DPBNNMP算法輸入 數據{(x1,y1),(x2,y2),(x3,y3),…,(xN,yN)},學習率η,批次大小B,噪聲貢獻度v,OEPN的數學期望μ和標準差σ。輸出 訓練好的DPBNNMP模型 ① θw=(μw,ρw),θγ=(μγ,ργ)∥用高斯分布N(0,0.12)[18]初始化網絡權重和噪聲權重的μw和μγ,用高斯分布N(-3.0,0.12)[18]初始化網絡權重和噪聲權重的ρw和ργ。② for t in range(T):∥進行T次訓練。③ 抽樣|Bt|個數據,Bt∈{(x1,y1),(x2,y2),…,(xN,yN)}。④ ζ～N(0,I) ∥以高斯分布N(0,I)抽樣出ζ,這里I=1.0。⑤ w=μw+ln(1+eρw)·ζ∥計算當前網絡權重的值。⑥ γ=μγ+ ln(1+eργ)·ζ∥計算當前噪聲權重的值。⑦ W=(1-v)?w+v?γ∥進行OTPN,得到DPBNNMP的權重。⑧ 以W為神經網絡的權重,同時W和|Bt|個數據進行前向傳播。⑨ f(Bt,θw,θγ)=lnq(γt+N(μ,σ2)|θγ)-lnp(γt)+lnq(wt|θw)-lnp(wt)-2lnp(xBt,yBt|γt,wt)∥進行OEPN。⑩ ?μγ←?f(Bt,θw,θγ)?γ+?f(Bt,θw,θγ)?μ∥計算噪聲權重的μ參數梯度。 ?ργ←?f(Bt,θw,θγ)?γ 1+exp(-ρ)+?f(Bt,θw,θγ)?ρ∥計算噪聲權重的ρ參數梯度。 ?μw←?f(Bt,θw,θγ)?w+?f(Bt,θw,θγ)?μ∥計算網絡權重的μ參數梯度。 ?ρw←?f(Bt,θw,θγ)?w 1+exp(-ρ)+?f(Bt,θw,θγ)?ρ∥計算網絡權重的ρ參數梯度。 μγ←μγ-η?μγ,ργ←ργ-η?ργ∥更新模型參數。 μw←μw-η?μw,ρw←ρw-η?ρw∥更新模型參數。end for

2.4.2 算法描述

首先，對DPBNNMP進行建模，分別定義模型參數θw=(μw,ρw)和θγ=(μγ,ργ)，再輸入數據集D，學習率η和噪聲貢獻度v，OEPN的數學期望μ和標準差σ。然后,每次抽取|Bt|份數據去訓練模型。最后，開始訓練模型參數。

(1) 步驟③～④都是抽樣操作，步驟③是抽取訓練樣本，步驟④為參數化后的標準差提供隨機性。

(2) 步驟⑤～⑥把標準差σ參數化為ln(1+eρ)。后驗分布的參數為θw=(μw,ρw)和θγ=(μγ,ργ)。使用重參數化技巧[11]有γ=μγ+ ln(1+eργ)·ζ，w=μw+ln(1+eρw)·ζ，“·”操作是相乘。重參數化是為了能夠用梯度下降更新后驗分布。步驟⑦是OTPN，使DPBNNMP的網絡權重滿足差分隱私，通過上一步得到的噪聲權重γ與噪聲貢獻度v的乘積，與縮放(1-v)倍的網絡權重w相加，得到擾動后的神經元結點權重。

噪聲貢獻度v使算法具備退化成沒有隱私保護的BNNs的能力。由于網絡權重在反向傳播過程中并沒有受到擾動，所以網絡權重會盡可能地擬合數據集，得到一個與訓練集呈高相關性的權重分布。在訓練完畢后，使v=0，DPBNNMP就會失去隱私保護能力。而沒有擾動的網絡權重也奠定了前向傳播隱私開銷計算的基礎。相比之下，深度學習差分隱私[7]訓練的網絡只能得到擾動后的權重分布。

2.4.3 前向傳播的隱私核算(隱私保護效果評估)

本小節對隱私保護效果進行詳細分析和公式推導。隱私保護效果可以通過隱私核算(Privacy Accounting)[7]來評價。

在(ε,δ)-差分隱私[5-7]中，δ一定時，ε越小說明隱私保護越好。

隱私核算能夠追蹤到ε的上確界，這個上確界稱為隱私開銷。隱私核算主要通過雷尼散度來衡量相鄰數據集各自分布的差別，以追蹤應用高斯機制前后的數據集分布的差異。

由于DPBNNMP分割了神經元的權重，區別于傳統方式[6-8,10]。所以對于神經網絡前向傳播的隱私開銷計算需要重新考慮。

神經網絡當前隱藏層的每個神經元相互獨立，當前隱藏層的隱私開銷由當前隱藏層的每個神經元隱私開銷的線性組合而成。假設當前隱藏層是一個整體，當前隱藏層的輸出結果作為下一層隱藏層的輸入，根據組合理論[9]，這2層的隱私開銷為當前隱藏層和下一層隱藏層的隱私開銷的線性相加。

加入差分隱私保護后，計算神經網絡相鄰數據集分布的雷尼散度是一件困難的事。因為高斯噪聲干擾模型后，這個模型對應的數據集分布是無法觀測的，而知道的分布只有干擾前訓練集的分布。在只知道一個數據集分布的情況下無法計算相鄰數據集的雷尼散度。但是，神經網絡在相鄰數據集上，各自訓練后得到的神經網絡權重分布與各自訓練神經網絡的數據集正相關，也就是說，相鄰數據集上的雷尼散度[9]與相鄰數據集分別訓練神經網絡后，得到各自神經網絡權重分布之間的雷尼散度，呈正相關。所以，直接計算神經網絡權重之間的雷尼散度來評價隱私保護的效果反而是一件較為簡單的事。這也是把神經網絡權重分割為噪聲權重和網絡權重的原因之一。計算雷尼散度之前，必須先計算隱私損失。所以，對于相鄰數據集各自第t次訓練DPBNNMP對應的權重值Wt，根據馬爾可夫鏈，Wt只與Wt-1和數據集有關，所以隱私損失L可以寫成如下形式：

(29)

式中，W=(1-v)·w+v·γ；d和d′是2個相鄰數據集；λ是雷尼散度[9]的階。

隱私損失是計算隱私核算過程的重要一步。根據定義2和定義7[7,9-10]，對于迭代T次的算法，雷尼散度數學期望部分呈如下形式：

設迭代算法迭代T次，W1,W2,…,WT為對應迭代次數1,2,…,T的DPBNNMP權重，L為迭代算法的隱私損失，λ為雷尼散度[9]的階，d和d′是2個相鄰數據集，有：

(30)

式中，EW(·)為求解數學期望。

證明：對于迭代算法有：

由赫爾德不等式有:

證畢。

通過上述計算，只是得到雷尼散度中的數學期望部分，還需要再進一步計算雷尼散度。

根據常用的一元連續分布函數的雷尼散度[9,14]，有如下引理：

引理1[9,14]設N1為高斯分布N(μ1,σ12)，N2為高斯分布N(μ2,σ22)，T為迭代算法M的迭代次數，則雷尼散度為：

(31)

通過引理1，可以計算到2個分布的雷尼散度。但ε無法直接計算得到，所以需要求得ε的取值范圍，才能計算出隱私開銷。根據式(30)和式(31)得到如下形式的重尾約束。

定理1 重尾約束(Tail Bound)[7,10]，設DPBNNMP隨迭代次數T變化的參數為W1,W2,…,WT，2個相鄰數據集d和d′的后驗分布p(Wt|Wt-1,d)和p(Wt|Wt-1,d′)，對于一個常數δ，隱私開銷有如下約束：

(32)

(33)

(34)

式中，E1是在W服從N2高斯分布上求解數學期望;E2是在參數W服從N1高斯分布上求解數學期望。

在DPBNNMP前向傳播過程中，網絡權重的分布與噪聲權重的分布是獨立分布。所以式(30)和式(31)中的N1(N2)取噪聲貢獻度v=0(v<5.0)時，神經網絡權重分布等于網絡權重分布與噪聲權重分布相加的分布，即W～N((1-v)·μw+v·μγ,(1-v)2·ln2(1+eρw)+v2·ln2(1+eργ))。

3 實驗評估

3.1 實驗設置

仿真實驗是在2塊Intel(R) Xeon(R) Gold 6234 CPU 3.3 GHz，128 GB內存，2塊NVIDIA GeForce RTX3090上完成。

BNNs采用了表1中LetNet-5結構的卷積神經網絡[13,18]結構，該結構由2層卷積層、2層池化層、2層全連接層，外加1層分類層softmax組成。

表1 LetNet-5模型結構Tab.1 LetNet-5 model structure

在實驗評估過程中使用2份數據集：一份是Fashion Mnist；另一份是Cifar-10。Fashion Mnist是一份意在替代Mnist數據集的灰度圖像數據集。數據集詳情如表2所示，Fashion Mnist單張圖像大小為28 pixel×28 pixel，通道數為1,一共有70 000張圖片，60 000張是訓練集，10 000張是測試集。Fashion Mnist包括T恤、套衫、褲子、裙子、涼鞋、外套、汗衫、運動鞋、靴和包等10種標簽。Cifar-10數據集包含60 000張圖片，每張圖都有3個通道，每個通道的大小為32 pixel×32 pixel。訓練集為50 000張圖片，測試集為10 000張圖片，一共有10種標簽，分別為飛機、小汽車、鳥、貓、鹿、狗、蛙、馬、船和貨車。

表2 數據集詳情Tab.2 Dataset details

部分超參數如表3所示，BNNs的學習率η=10-3，批次大小為250，雷尼散度δ=10-5，噪聲高斯分布的數學期望為0，神經網絡在Fashion Mnist數據集上訓練150輪次，在Cifar-10上訓練2 500輪次。

表3 部分超參數Tab.3 Part of hyperparameters

3.2 可用性分析

不同擾動方式的準備率如表4所示。Fashion Mnist數據集下，σ=0.1時，DPBNNMP(v=0.05)的準確率與OEPN的BNNs的準確率相等，DPBNNMP(v=0.05)的準確率比GTPN的BNNs準確率高出4%。σ=2.0時，DPBNNMP(v=0.05)準確率比OEPN的BNNs的準確率高出3%，比GTPN的BNNs的準確率高出70%。σ=4.0時，DPBNNMP(v=0.2)的準確率比OEPN的BNNs的準確率高出1%，比GTPN的BNNs準確率高出65%。

在Cifar-10數據集下，σ=0.1時，DPBNNMP(v=0.05)準確率比OEPN的BNNs的準確率高出15%，比GTPN的BNNs準確率高出23%。σ=2.0時，DPBNNMP(v=0.05)準確率比OEPN的BNNs的準確率高出13%，比GTPN的BNNs的準確率高出39%。σ=4.0時，DPBNNMP(v=0.05)的準確率比OEPN的BNNs的準確率高出19%，比GTPN的BNNs準確率高出39%。

不同擾動方式在不同的高斯噪聲分布下對BNNs的可用性影響不同。表4中，OTPN通過對神經網絡的最優權重值加入擾動，導致收斂困難。OEPN通過對BNNs的正則化部分加入高斯噪聲，進行隨機擾動，能夠有效地收斂。GTPN在梯度下降優化過程中，對梯度直接加入高斯噪聲，導致優化困難，所以難以收斂。DPBNNMP(v=0.05)在表4情況下都有較好的收斂。

表4 不同擾動方式的準確率Tab.4 Accuracy of different perturbations

DPBNNMP在不同的高斯噪聲分布和不同的噪聲貢獻度可以得到不同的可用性。噪聲貢獻度v與目標擾動σ對DPBNNMP的影響如表5所示，在噪聲貢獻度一定時，隨著噪聲高斯分布的標準差越大，模型的準確率就越低。不同的噪聲貢獻度對模型整體的準確率影響有限。

表5 噪聲貢獻度v與目標擾動σ對DPBNNMP的影響Tab.5 Influence of different values of v and σ on accuracy of DPBNNMP

網絡權重的可用性和噪聲權重的可用性如表6所示，訓練完畢的DPBNNMP，在預測階段，使噪聲貢獻度等于0時，模型可用性由網絡權重完全貢獻；使噪聲貢獻度等于1.0時，模型可用性由噪聲權重完全貢獻。越低的噪聲貢獻度，網絡權重完全貢獻的準確率與DPBNNMP權重的準確率就越接近，這是由于網絡權重對神經網絡權重的貢獻更高。越高的噪聲貢獻度，導致噪聲權重在整個DPBNNMP權重中占比過大，需要更大的高斯噪聲才能保證噪聲權重不去擬合數據，而更大的高斯噪聲很難讓DPBNNMP權重去擬合數據。表6中也顯示出，在相同的噪聲貢獻度下，更大的高斯噪聲標準差，DPBNNMP的準確率也就越低，網絡權重的可用性也由于更大的高斯噪聲標準差變得更低。噪聲權重貢獻的準確率并不高，表明噪聲權重沒有擬合數據集，完成了OTPN的任務。

表6 網絡權重的可用性和噪聲權重的可用性Tab.6 Availability of noise weights and networks weights

3.3 反向傳播的隱私核算分析

Moment Accountant的提出是用來計算在反向傳播擾動的隱私開銷的，所以反向傳播的隱私核算使用Moment Accountant對比OEPN,GTPN和混合擾動的隱私開銷。而Moment Accountant主要是通過噪聲高斯分布的雷尼散度來評估隱私開銷。反向傳播的隱私開銷如表7所示。在相同σ下，OEPN,GTPN和混合擾動(σ=0.05)都是相同的隱私開銷。在Fashion Mnist數據集實驗中，σ=0.1時，3種方式都產生1.2×106的隱私開銷；σ=2.0時，3種方式都產生2.12的隱私開銷；σ=4.0時，3種方式都產生0.98的隱私開銷；在Cifar-10數據集實驗中，σ=0.1時，3種方式都產生1.6×107的隱私開銷；σ=2.0時，3種方式都產生10.3的隱私開銷；σ=4.0時，3種方式都產生4.51的隱私開銷。由表4和表7可以看出，在相同的反向傳播隱私開銷下，DPBNNMP得到更高的準確率。

表7 反向傳播的隱私開銷Tab.7 Privacy overhead of back propagation

3.4 前向傳播的隱私核算分析

前向傳播的隱私開銷通過神經網絡權重分布與神經網絡的網絡權重分布的雷尼散度計算而來。

Fashion Mnist數據集上的前向傳播隱私開銷如圖3所示。在Fashion Mnist數據集下，v=0.2時，隨著噪聲的標準差的增加，隱私開銷不斷地下降，且高噪聲標準差比低噪聲標準差得到更低的隱私開銷；v=0.4時，隱私開銷隨著噪聲的標準差的增加，隱私開銷也在下降，且高噪聲標準差比低噪聲標準差得到更低的隱私開銷。

(a) v=0.2

Cifar-10數據集下的前向傳播隱私開銷如圖4所示。在Cifar-10數據集下，v=0.2時，隨著噪聲的標準差的增加，隱私開銷不斷地下降，且高噪聲標準差比低噪聲標準差得到更低的隱私開銷；v=0.4時，隱私開銷隨著噪聲的標準差的增加，隱私開銷也在下降，且高噪聲標準差比低噪聲標準差得到更低的隱私開銷。

在相同的噪聲貢獻度下，隱私開銷會隨著高斯噪聲標準差的增加而更快地下降，表明更高的高斯噪聲標準差，能夠得到更好的隱私保護效果。而噪聲貢獻度決定著整個隱私開銷的大小，這是由于在計算雷尼散度時，更大的噪聲貢獻度，得到更小的網絡權重貢獻度，更小的網絡權重貢獻度導致網絡權重更差的數據擬合能力，而神經網絡權重整體的可用性不會因為噪聲貢獻度的大小變差，也就導致網絡權重的分布和神經網絡權重分布之間的雷尼散度更大。隱私開銷和雷尼散度成正比，所以隱私開銷更大。

(a) v=0.2

4 結束語

數據隱私保護關系國家安全，其研究一直是信息安全領域的重要內容。DPBNNMP主要對深度學習中訓練數據集提供隱私保護。它采用分割神經網絡權重的方式，把神經網絡權重分為網絡權重和噪聲權重分布。這種方式將輸出擾動結合到優化過程中，且目標擾動只干擾噪聲權重的目標函數，不會干擾網絡權重的目標函數，所以在訓練過程中，優化算法能夠朝著更好的方向前進，使得DPBNNMP在相同的反向傳播隱私開銷上，比加入單一目標擾動和梯度擾動的BNNs得到更好的模型準確率和泛化能力。網絡權重與噪聲權重的和是擾動后的數據集對應的神經網絡權重分布，網絡權重本身是訓練集對應的神經網絡權重分布。通過這2個分布能夠計算一個與相鄰數據集高度相關的隱私開銷；并且這個與相鄰數據集相關的前向傳播隱私開銷會隨著噪聲方差的增大而下降，并在更大的噪聲標準差上得到更好的隱私保護效果。