基于三元聯邦學習的車聯網數據協同學習與通信優化研究

摘 "要： 隨著汽車互聯技術的普及，聯邦學習已成為解決數據隱私安全問題的重要手段。然而，與此相伴的成員推理攻擊和通信成本仍有待解決和改善。文中提出采用聯邦差分隱私方法以防御成員推理攻擊，并引入了三元梯度技術和模型壓縮以進一步降低通信成本。在差分隱私實驗中，通過比較不同高斯噪音分布的方差，發現與傳統的差分隱私相比，聯邦差分隱私更接近于無隱私保護方案的準確率，特別是當[C]gt;1時效果最好。在三元梯度實驗中，觀察到在數據集MNIST、Cifar10、Cifar100、SVHN上，訓練梯度分別降低了93.33%、93.56%、93.60%和93.74%，這表明三元梯度可以更有效地降低通信成本。在層敏感度實驗中，發現在rate=85%、90%、95%時的準確率與未壓縮時（rate=100%）的準確率相差無幾，進一步證明所提方法為解決成員推理攻擊和降低通信成本的有效性。

關鍵詞： 三元梯度； 三元聯邦學習； 車聯網； 通信效率； 聯邦差分隱私； 模型壓縮

中圖分類號： TN91?34； TP301.6 " " " " " 文獻標識碼： A " " " " " " " " " "文章編號： 1004?373X（2024）15?0026?08

Research on Internet of Vehicles data cooperative learning and communication optimization based on tripartite federated learning

LI Jiaheng， WU Qinmu

（School of Electrical Engineering， Guizhou University， Guiyang 550025， China）

Abstract： With the popularization of automotive connectivity technology， federated learning has become an important means of addressing data privacy and security issues. However， accompanying member inference attacks and communication costs remain to be improved. In this paper， a federated differential privacy method is proposed to defend against member inference attacks， and the tripartite gradient technology and model compression are introduced to further reduce communication costs. The differential privacy experiment is performed. The variances of different Gaussian noise distributions are compared. It is found that the accuracy rate of federated differential privacy is closer to that of the scheme without privacy protection （especially when [C]gt;1） in comparison with the traditional differential privacy. It is observed in the tripartite gradient experiment that on the datasets MNIST， Cifar10， Cifar100 and SVHN， the percentage reduction of the training gradient reaches 93.33%， 93.56%， 93.60% and 93.74%， respectively， which indicates that the tripartite gradients can reduce communication costs more effectively. In the layer sensitivity experiment， it is found that the accuracy rate at rate=85%， rate=90% and rate=95% is almost the same as that when uncompressed （rate=100%）. It is proved that the proposed method is effective in defending against member inference attacks and reducing communication costs.

Keywords： tripartite gradient; tripartite federated learning; Internet of Vehicles; communication efficiency; federated differential privacy; model compression

0 "引 "言

近年來，隨著智能城市的不斷進步與發展，車聯網技術也從理論變為現實。而在車聯網不斷進步的同時，一些問題也逐漸顯現出來，比如集中式數據的學習更易導致數據泄露等安全問題。為了解決此問題，不少專家學者開始就數據學習方法進行了研究，其中聯邦學習以其分布式訓練方式作為一種機器學習方法，它只共享本地模型更新，不交換實際數據而備受青睞。文獻[1]提出了一種基于聯邦學習的車牌識別框架（FedLPR），用于5G支持的車輛互聯網（IoV），使用聯邦學習在個人移動設備上訓練模型，而不是服務器，以保護用戶隱私；文獻[2]提出了一個動態聯邦學習框架，允許智能車輛（Smart Vehicles， SVs）在最小化數據交換和隱私泄露的情況下參與學習過程。

現有的聯邦學習參數隱私保護方案主要包括差分隱私（DP）、同態加密（HE）、安全多方計算（SMC）等。文獻[3]采用加性同態加密技術來保護訓練過程中的數據隱私，但該方法基于所有參與節點都是可靠節點的強烈假設。此外，基于SMC方案的通信和計算開銷是非常昂貴的，而差分隱私對計算和通信開銷的影響較小。文獻[4]提出了一種在訓練過程中保護用戶隱私的方法。通過在模型更新中加入差分隱私機制，確保單個用戶的數據處理對最終模型的影響微乎其微。

在聯邦學習場景下訓練模型與集中式訓練一樣都會產生顯著的模型參數冗余。在大部分深度學習神經網絡中，僅使用很少的權值就可達到與原來網絡相近的訓練效果，這與文獻[5]有相似之處。這種網絡權重思想因其既減少了傳輸開銷，又能防止攻擊者獲取完整數據來反演攻擊反推數據，備受大量學者歡迎[6?8]。

在聯邦學習中數據需通過本地訓練后上傳至服務器，因此其本地與服務器之間的數據傳輸性能需進一步優化。為了降低通信成本、提高通信效率，三元梯度可以從訓練梯度方面解決此問題。文獻[9]提出了一種新的分布式深度學習通信優化方法TernGrad，該方法使用三值梯度來加速數據并行的分布式深度學習。TernGrad通過將梯度量化為三個數值水平{-1，0，1}，顯著減少了在分布式訓練中同步梯度和參數所需的網絡通信成本。文獻[10]提出了EaSTFLy，這是一個結合了三元梯度量化和隱私保護技術的高效安全的聯邦學習協議。

1 "理論方法及系統模型

本節主要介紹系統總體與局部結構，從理論、圖以及代碼相結合的角度出發來進行詳細介紹，如圖1所示，該系統為一種基于三元聯邦學習與隱私保護機制的網絡化車輛協同學習架構。

1.1 "三元聯邦學習

1.1.1 "三元梯度理論

TernGrad三元梯度屬于梯度量化，其梯度三元化是一個正交的稀疏方法。梯度量化指的是通過將梯度值映射到一個有限的離散集合中來減少梯度的精度或表示。在這種情況下，TernGrad將梯度值量化為三個離散值：-1、0和1，以實現梯度的稀疏性。梯度的三元化通常用于減少梯度的存儲空間和通信成本，并且有助于提高模型訓練的效率[9]。

算法1：令三元轉換函數為[ternarize?]，經其量化的梯度如下：

[gt=ternarizegt=st?sgngt°bt] "（1）

[st?maxabsgt?gt∞] "（2）

式中：[bt]為隨機二進制向量；[gt]為原梯度；[st]為縮放器；[“°”]是[Hadamard]乘積；[sgn?]和[abs?]分別為每個元素的符號和絕對值。

對于給定的[gt]、[bt]，其每個元素均獨立地服從伯努利分布。

[Pbtk=1gt=gtk stPbtk=0gt=1-gtk st] （3）

式中：[btk]、[gtk]為隨機取入的[bt]、[gt]中的第[k]個元素。經三元轉換后客戶端將[gt]代替原梯度[gt]上傳至服務器，而服務器將三元梯度聚合后的結果返回客戶端。

相較于32位浮點數而言，本文提出兩種假設：

假設1：假設每個梯度值的傳輸次數與其位數成正比。

假設2：假設有[N]個梯度值需要傳輸。

對于32位浮點數，每個梯度值需要傳輸32位。而對于三元梯度，每個梯度值只需要傳輸2位。因此在傳輸位數上，三元梯度減少的傳輸百分比計算公式為：

[R=Transbits32-floatbit-TransbitsternaryTransbits32-floatbit=32N-2N32N=93.75%] （4）

而因每個梯度有3種可能的值（-1、0、1），可用[log23]表示使用3進制編碼時每個梯度值所需的位數。因此，總的減少百分比為：

[R=32-log2332≈95.04%] （5）

也就是說，即使按照2位來編碼三元梯度仍可以將客戶端到服務器的流量減少93.75%。

當使用三元梯度技術時，梯度將被表示為[{-1，0，1}]，這意味著梯度的表示更加緊湊以減少傳輸到服務器的通信量。而當三元化后的梯度從客戶端上傳至服務器后，服務器對其進行聚合操作時，可能會產生另一個問題：聚合操作導致結果的表示變得不再是三值，而是更多的可能性級別。當工作節點使用不同的縮放因子時，這一問題尤其突出。為了盡量減少級別的數量，本文采用一種共享縮放因子的解決方案。

[st=maxsit， " "i=1，2，…，N] "（6）

該共享過程需要額外傳輸[2N]個浮點型縮放器，通過整合參數定位和縮放器共享，最終平均梯度[gt]中的最大級別減少到[2N+1]。因此，服務器到工作節點的通信可降低[R=][32-log21+2N32×100%]，除非[N≥230]。

接下來分析TernGrad三元梯度的收斂性。損失函數[Q?]是用于衡量具有參數[ω]和輸入[z]的當前系統的性能，而最小化目標就是盡可能降低損失的期望值。

[Cω?EQz，ω] "（7）

參數[ω]將按照學習率[γt]進行更新：

[ωt+1=ωt-γtgt=ωt-γt??ωQzt，ωt] （8）

[g??ωQz，ω] " （9）

因此，聯立式（1）、式（6）和式（7）可知，TernGrad中的參數[ω]可更新為：

[ωt+1=ωt-γtst?sgngt°bt] （10）

而對于給定的[zt]、[ωt]，公式（3）可等效為：

[Pbtk=1zt，ωt=gtk stPbtk=1zt，ωt=1-gtk st] "（11）

在隨機給定的[ωt]下，可得三元梯度的期望值將滿足公式（12）：

[Est?sgngt°bt=Est?sgngt°Ebtzt=Egt=?ωCωt] " （12）

此公式也為公式（7）中的最小化目標——無偏梯度。

針對三元梯度的收斂性分析，在此提出兩個假設。

假設3：設[Cω]具有唯一的最小值[ω*]，且下降梯度[?ωω]總是指向[ω*]。即對于任意的正數[?gt;0]，當[ω]足夠接近[ω*]時，將滿足：

[infω-ω*2gt;?ω-ω*T?ωCωgt;0] （13）

式中：[ω-ω*]表示[ω]和[ω*]之間的歐幾里德范數；[ω-ω*T]表示向量[ω-ω*]的轉置；[?ωCω]表示[Cω]對[ω]的梯度。凸性是假設3的一個子集，可以很容易地找到滿足它的非凸函數。

假設4：設學習率[γt]為正數，并受公式（14）制約。

[t=0+∞γ2tlt;+∞t=0+∞γt=+∞] " （14）

由于有此約束，可確保[γt]的下降速度適中。

令參數[ωt]與最小值[ω*]之間的差平方為：

[ht?ωt-ω?2] "（15）

式中[?]為[L2]范數。

在假設3、假設4下，利用李雅普諾夫（Lyapunov）過程和擬鞅收斂（Quasi?Martingales Convergence）理論可得以下引理：

引理1：若存在正常數[A]和正常數[B]使得式（16）成立：

[Eht+1-1+γ2tBhtXt≤ " " " " " " " " " " " " " " " "-2γtωt-ω?T?ωCωt+γ2tA] （16）

則函數[Cz，ω]朝向最小值[ω*]收斂，即[Plimt→+∞ωt=ω*=1]，可由此進一步假設梯度。

假設5：設梯度[g]被約束為：

[Eg∞?g1≤A+Bω-ω?2] "（17）

式中：[A]和[B]為正數；[?1]為[L1]范數。由此，聯立假設5與引理1，可證明以下定理1。

定理1：當系統使用三元梯度并按照以下方式更新：

[ωt+1=ωt-γtst?sgngt°bt] " （18）

其梯度大概率會收斂到最小值[ω*]。

當式（1）、式（3）中的標量[st]很大時，大多數梯度很有可能被三元制化為0，只留下少數梯度，這具有較大的幅度值。這種情況會引發嚴重的參數更新模式，大多數參數保持不變，而其他參數可能會過度調整，這將引入較大的訓練方差。為解決該問題，引入逐層三元化和梯度裁剪方法，以減小[g∞]，并將[g]中每個梯度[gi]大小限制為：

[fgi=gi， " " "gi≤cσsgngi?cσ， " " "gigt;cσ] " "（19）

式中：[σ]為梯度[g]的標準差；[c]為超參數，[cbest]=2.5。

1.1.2 "三元聯邦學習設計

在以往的分布式訓練中，需改善的通信效率及高成本的網絡通信已然成為瓶頸。對此問題，引入TernGrad三元梯度技術，將以往梯度從浮點數量化為三個離散值：-1、0和1，以實現梯度的稀疏性。這種量化方式可以顯著減少通信量，因為只需要傳輸梯度的離散表示而不是浮點數，從而減少了網絡傳輸的開銷。對于三元梯度中存在的收斂性問題，本文引入了分層三值化和梯度裁剪技術來提高其收斂性。分層三值化將梯度分為多個層次，并分別量化和傳輸，從而提高了梯度的精度和效率。而梯度裁剪技術則可以控制梯度的大小，防止其過大或過小，從而進一步提高了模型的收斂性和穩定性。通過采用三元聯邦學習技術，可以有效地降低分布式訓練中的通信開銷，提高模型的訓練效率和性能。對于三元聯邦學習，其概念圖如圖2所示。

三元梯度算法偽代碼如下所示。

算法代碼1：TernGrad——使用三元梯度的聯邦學習分布式SGD訓練。

本地節點[i=1，2，…，N]

1.輸入[zit]，一個訓練樣本的部分小批量

2.計算在[zit]下的梯度[git]

3.將梯度進行梯度裁剪：

[git=clipgit，max_norm]

4.將裁剪后的梯度[git]分層并三元化為：

[git=ternarizegit]

5.推送三元化的[git]到服務器

6.從服務器拉取平均梯度[gt]

7.更新參數[ωt+1←ωt-η?gt]

服務器：

1.平均三元梯度[gt=igitN]

1.2 "聯邦差分隱私

1.2.1 "差分隱私原理

與普通差分隱私機制相比，聯邦差分隱私機制除了需要考慮數據層面的隱私安全，還需要考慮用戶層面的安全問題[11]。

定義1：相鄰數據集：設有兩個數據集[D]和[D']，若它們之間有且僅有一條數據相異，則稱該數據為相鄰數據集。

對于用戶層面的安全問題，提出用戶相鄰數據集的概念。

定義2：用戶相鄰數據集：設有[n]個客戶端且對于任意的[0lt;i≤n]，使得每個客戶端[ci]對應的本地數據集為[di]，[D]和[D']是兩個用戶數據的集合，當且僅當[D]去除或添加某一個客戶端[ci]的本地數據集[di]后變為[D']，則定義[D]和[D']為用戶相鄰數據集。

定義3：[?，δ]?差分隱私：假設一個隨機算法[?]，對于兩個用戶相鄰數據集[D]和[D']，以及任意的輸出[S?Range?]，當且僅當該算法滿足：

[Pr?D∈S≤Pr?D'∈S×e?+δ] （20）

稱該隨機算法[?]提供[?，δ]?差分隱私保護。式中：[?]表示隱私預算；[δ]表示失敗概率。

定義4：[L2]全局敏感度：對于隨機算法[?]以及用戶相鄰數據集[D]和[D']，[L2]全局敏感度定義如下：

[Sf=max?D-?D'2] "（21）

定義5：高斯機制：對于給定數據集[D]，設有函數[f?]，其敏感度設為[Δf]（見定義4），對于任意的：

[δ∈0，1， " "σ=2ln1.25δ×Δf?] "（22）

那么隨機算法[?=fD+L]提供[?，δ]?差分隱私保護，其中[L～Gaussian0，σ2]，為添加的隨機噪聲概率密度函數，即服從參數：

[μ=0， " "σ=2ln1.25δ×Δf?] "（23）

的高斯分布，其概率分布函數為：

[fx=12πσe-x-μ2σ2] " （24）

1.2.2 "聯邦差分隱私保護設計

與普通差分隱私相比，聯邦差分隱私保護不但要求保證每一個客戶端的本地數據隱私安全，也要求客戶端之間的信息安全，即用戶在服務器接收到客戶端的本地模型，既不能推斷出是由哪個客戶端上傳的，也不能推斷出某個客戶端是否參與了當前的訓練[12]。文獻[13?14]提到了一種DP?FedAvg的隱私算法，它將聯邦學習中經典的FedAvg算法[4]與差分隱私相結合而取得不錯的效果。本文在客戶端與服務器方均采用聯邦差分隱私保護算法來抵御成員攻擊推理，客戶端算法偽代碼如下所示。

算法代碼2：聯邦差分隱私算法——客戶端部分

輸入：本地節點：[i=1，2，…，N]

全局模型：[θ0]

模型參數：[lr=γt]，本地輪數=[E]

本地每輪批量大小：[bs]

輸出：模型更新[ΔN=θ-θ0]

1.利用服務器下發的全局模型參數[θ0]更新本地模型：

[θt：θt←θ0]

2.對每輪迭代[j=1，2，…，E]：

2.1將本地數據分割為[bs]份數據[?]

2.2對每個batch [b∈?]

2.2.1梯度下降[θ←θ-η?lθ;b]

2.2.2參數裁剪：[θ←θ0+clipθ-θ0]

2.2.3結束

2.3結束

服務器算法偽代碼如下所示。

算法代碼3：聯邦差分隱私算法——服務器部分

輸入：訓練數據樣本：[D：d1，d2，…，dN]

損失函數：[Lθ=1Ni=1NLθ;di]

參數：[lr=γt]，裁剪邊界值=[C]

噪聲參數：[σ]，本地每輪批量大小：[bs]

1.隨機初始化模型參數[ω0]

2.定義客戶端[ci]對應的權重為：[ωi=minniω，1]

3.令[W=iωi]

4.對每輪迭代[t=1，2，…，T]：

4.1以概率[q]挑選參與訓練的客戶端，設為集合[Ct]

4.2對每個客戶端[k∈Ct]：

4.2.1執行本地訓練：[Δtk=ClientUpdatek，θt-1]

4.2.2結束

4.3聚合客戶端參數：

[Δt=k∈CtωtΔtkqW， " " " for " "ffk∈CtωtΔtkmaxqWmin，k∈Ctωt， " " " for " "fc]

4.4對[Δt]值進行裁剪：[Δt←Δtmax1，ΔtC]

4.5求高斯噪聲的方差：

[σ=zSqW， " " " for " "ff2zSmaxqWmin， " " " for " "fc]

4.6更新全局模型參數：[θt←θt-1+Δt+N0，Iσ2]

5.結束

聯邦差分隱私在客戶端本地訓練時，需要在每一步本地迭代后對參數進行裁剪[14]。該差分隱私算法在客戶端的作用為防止攻擊者通過接收本地模型來推斷上傳客戶端的信息與訓練客戶端的信息；對于在服務器側的聯邦差分隱私，將按概率隨機挑選客戶端，并讓其執行本地模型訓練；而服務器在接收到每個客戶端的模型參數后，便執行聚合操作。在噪聲添加方面，求取高斯噪聲分布方差，利用高斯分布生成噪聲數據，用以在全局模型聚合操作中添加噪聲數據，從而獲得新的全局模型參數。這樣反復上述步驟直到模型收斂為止。

1.3 "基于層敏感度傳輸的模型壓縮

1.3.1 "敏感層理論

定義7：層敏感度：設當前的模型表示為[G=g1，g2，…，gL]，在第[t]輪，客戶端[cj]進行聯邦學習本地訓練時，模型將從[Gt=G]變為：

[Lt+1j=gt+11，j，gt+12，j，…，gt+1L，j] （25）

將第[i]層的變化記為：

[δti，j=meangti，j-meanzt+1i，j] "（26）

式中每一層的參數均值變化量[δ]為敏感度。

1.3.2 "基于層敏感度傳輸的模型壓縮設計

聯邦學習與集中式訓練在本質上都是以深度學習為基礎對模型進行訓練，因此在模型參數方面均存在一個問題——模型參數冗余問題[15]。也就是說，在大部分深度網絡學習中，使用較少的權值即可達到訓練全局信息一樣的效果，因此模型壓縮便起到了減少傳輸開銷與提升系統安全性的功能。層敏感度傳輸在本地訓練的代碼如下所示。

代碼1：本地訓練函數部分

#按變化率從高到底排序

diff = dict（）

for （name，data in self.local_model.state_dict（）.items（））：

diff[name] = （data?model.state_dict（）[name]）

diff = sorted（diff.items（），key = lambda item：abs（torch.mean（item[1].float（））），reverse = True）

#返回變化率最高的層

ret_size = int（self.conf[“rate”]*len（diff））

return dict（diff[：ret_size]）

按公式（26）分別求出每一層訓練前后的變化值并對其進行排序。在修改客戶端之后，還需對服務端進行聚合操作，由于客戶端是按層上傳的，因此在聚合時也需要按層聚合，代碼如下所示。

代碼2：模型聚合函數

def model_aggregate（self，weight_accumulator，cnt）：

for name，data in self.global_model. state_dict（）.items（）：

if name in weight_accumulator and cnt[name]gt;0：

#按名稱對層進行聚合

update_per_layer=＼（weight_accumulator[name]*（1.0/cnt[name]））

if （data.type（） ！= update_per_layer.type（））：

data.add_（update_per_layer.to（torch.int64））

else：data.add_（update_per_layer）

2 "實驗結果與討論

在實驗中，本文的模型是基于PyTorch框架搭建的，主要采用SVHN數據集來模擬車輛在行駛過程中所捕捉到的街景影像，該數據集包含73 257張訓練圖像和26 032張測試圖像，是一個用于數字識別任務的公開數據集，主要用于識別街景圖片中的數字。

實驗中的主要訓練模型為CNN，包括三個卷積層、三個最大池化層以及兩個全連接層。公共參數設置為batch_size=32、lr=0.001、global_epoch=20或50、local_epoch=20。在聯邦式差分隱私機制實驗中，Sigma=0.003、Sigma=0.005時進行傳統式與聯邦式差分隱私訓練對比；在[C]取值為1、4、7、10時進行裁剪值大小對訓練效果的影響對比實驗。在三元聯邦學習檢驗中，首先對比三元化梯度與原始梯度大小，再將TernGrad與其他優化器（如Adam、SGD）進行訓練對比。

2.1 "聯邦式差分隱私機制

本文模型使用差分隱私方案，即在車輛節點上傳本地模型更新前加入噪聲，為了保護數據共享的隱私性，選擇高斯噪聲。但與傳統的集中式差分隱私方案不同，本文采用聯邦差分隱私保護，該方案與傳統集中式差分隱私方案相比，需要在每一步本地迭代更新后對參數進行裁剪，在隨機挑選的客戶端中執行本地模型訓練并將訓練模型參數上傳至服務器，執行聚合操作，再在全局模型聚合過程中添加噪聲數據，從而得到新的全局模型參數。

如圖3所示，將本文提出的聯邦差分隱私方案與傳統的集中式差分隱私方案進行比較，通過對比不同的高斯噪音分布方差來獲得分布方差的變動對準確率的影響以及聯邦差分隱私方案的優勢。通過觀察圖3a）和圖3b）中不同方差下的準確性，可以直觀地看出，本文提出的聯邦差分隱私方案的準確性比傳統的集中式差分隱私方案更接近于無隱私保護方案的準確性。

此外，本文還進行了聯邦差分隱私自身參數對訓練準確率影響的探究。在聯邦差分隱私算法——服務器部分（算法代碼3中步驟4.4）中提到，對[Δt]值進行裁剪：

[Δt←Δtmax1，Δt C]。其中[C]指代的是裁剪邊界值，因此通過調節不同的裁剪邊界值來測量對應的訓練準確率，從而觀察聯邦差分隱私自身參數對訓練準確率的影響。不同裁剪值對訓練效果的影響如圖4所示。在圖4中，可以直觀地看出在[C]gt;1時準確率基本穩定，由此可得，在后續實驗中裁剪邊界值取[C]gt;1較為適宜。

聯邦式差分隱私保護的準確率對比

2.2 "三元聯邦學習檢驗

由1.1.1節三元梯度理論可知，經三元轉換函數后的梯度為[gt=ternarizegt]，而對于原32位浮點數而言，三元梯度將會比原梯度降低93.75%。因此在本節中，將利用四種數據集（MNIST手寫數據集、SVHN街景號碼數據集、Cifar10與Cifar100物體分類數據集）對比客戶端上傳至服務器的梯度大小（三元化后）和服務器發送至客戶端的梯度大小（解壓縮后），如圖5所示。降低百分比如表1所示。可以看出，在不同的數據集下三元梯度降低的百分比均約為93.75%。由此可得，三元梯度應用于聯邦學習中可以極大地降低模型參數的傳輸量，從而降低通信帶寬來減少通信成本。

在比較了三元梯度與普通浮點數之間的模型參數的傳輸量之后，下一步工作是對比添加了三元轉換的隨機梯度下降與其他優化器（Adam/SGD）的模型訓練效果，利用SVHN數據集進行訓練，結果如圖6所示。

可以看出TernGrad較SGD（隨機梯度下降）而言，初始準確率較高、初始損失值較低，且在后續輪次中能夠更快地達到準確率穩定狀態，雖然準確率在后面輪次中有略微下降的傾向，但不影響總體準確率走向；TernGrad較Adam而言，雖初始準確率不及Adam，但穩態準確率卻高于Adam。因此在訓練過程中，TernGrad在具有更好的通信效率的同時依舊不影響整體訓練效果。

2.3 "基于層敏感度傳輸的模型壓縮檢驗

對于按層敏感度的模型壓縮實現過程為：對任意被挑選的客戶端[cj]，在模型本地訓練結束后，按照式（26）計算模型的每一層變化量[Δti，j=δti，j，δt2，j，…，δtL，j]，將每一層的變化量從小到大進行排序，變化越大，說明該層越敏感。算法將取敏感度最高的層上傳，而敏感度低的將不被上傳。因此在本實驗中，取不同壓縮值（rate=85%、90%、95%、100%）作為實驗變量來觀察改變傳輸層參數對訓練效果的影響，結果如圖7所示。

在圖7中可以直觀地看出，當傳輸沒有被壓縮時，其訓練效果最好，雖然其他被壓縮后的傳輸層準確率略低，但沒有影響總體走勢，其準確率和原網絡相近。

3 "結 "語

本文提出了一種將三元化梯度技術與聯邦學習相結合的車聯網數據共享模型。為了進一步解決聯邦學習可能受到的成員推理攻擊問題，提出了一種基于聯邦差分隱私的聯邦學習方案。實驗結果表明，該方案比傳統的集中式差分隱私聯邦學習方案具有更好的性能，并在模型訓練中加入基于層敏感度的模型壓縮技術，可以在減少傳輸開銷的同時提升系統安全性。為了進一步降低聯邦學習中地方與服務器之間數據傳輸造成的高通信成本、低通信效率問題，本文將三元梯度與聯邦學習結合在一起提出三元聯邦學習，從訓練梯度入手，在保障訓練準確率的同時大幅度降低通信成本，提高通信效率。

注：本文通訊作者為吳欽木。

參考文獻

[1] KONG X J， WANG K L， HOU M L， et al. A federated learning?based license plate recognition scheme for 5G?enabled Internet of Vehicles [J]. IEEE transactions on industrial informatics， 2021， 17（12）： 8523?8530.

[2] SAPUTRA Y M， HOANG D T， NGUYEN D N， et al. Dynamic federated learning?based economic framework for Internet?of?Vehicles [J]. IEEE transactions on mobile computing， 2023， 22（4）： 2100?2115.

[3] PHONG L T， AONO Y， HAYASHI T， et al. Privacy?preserving deep learning via additively homomorphic encryption [J]. IEEE transactions on information forensics and security， 2017， 13（5）： 1333?1345.

[4] HOORY S， FEDER A， TENDLER A， et al. Learning and evaluating a differentially private pre?trained language model [C]// Findings of the Association for Computational Linguistics： EMNLP 2021. [S.l.]： ACL， 2021： 1178?1189.

[5] SRIVASTAVA N， HINTON G E， KRIZHEVSKY A， et al. Dropout： A simple way to prevent neural networks from overfitting [J]. Journal of machine learning research， 2014， 15（1）： 1929?1958.

[6] CHOUDHARY T， MISHRA V K， GOSWAMI A， et al. A comprehensive survey on model compression and acceleration [J]. Artificial intelligence review， 2020， 53（7）： 5113?5155.

[7] DENG L， LI G Q， HAN S， et al. Model compression and hardware acceleration for neural networks： A comprehensive survey [J]. Proceedings of the IEEE， 2020， 108（4）： 485?532.

[8] CHENG Y， WANG D， ZHOU P， et al. Model compression and acceleration for deep neural networks： The principles， progress， and challenges [J]. IEEE signal processing magazine， 2018， 35（1）： 126?136.

[9] WEN W， XU C， YAN F， et al. TernGrad： Ternary gradients to reduce communication in distributed deep learning [C]// Advances in Neural Information Processing Systems 30： Annual Conference on Neural Information Processing Systems 2017. [S.l.： s.n.]， 2017： 1509?1519.

[10] DONG Y， CHEN X J， SHEN L Y， et al. EaSTFLy： Efficient and secure ternary federated learning [J]. Computers amp; security， 2020， 94： 101824.

[11] MOSAIYEBZADEH F， POURIYEH S， PARIZI R M， et al. Privacy?enhancing technologies in federated learning for the internet of healthcare things： A survey [J]. Electronics， 2023， 12（12）： 2703.

[12] EL OUADRHIRI A E， ABDELHADI A. Differential privacy for deep and federated learning： A survey [J]. IEEE access， 2022， 10： 22359?22380.

[13] MCMAHAN H B， ANDREW G， ERLINGSSON U， et al. A general approach to adding differential privacy to iterative training procedures [EB/OL]. [2019?01?01]. http：//arxiv.org/abs/1812.06210.

[14] BU Z Q， WANG Y X， ZHA S， et al. Automatic clipping： Differentially private deep learning made easier and stronger [EB/OL]. [2024?03?01]. https：//researchr.org/publication/Bu0ZK23.

[15] KONE?NY J， MCMAHAN H B， YU F X， et al. Federated learning： Strategies for improving communication efficiency [EB/OL]. [2018?04?13]. http：//arxiv.org/abs/1610.05492.

作者簡介：李佳恒（2001—），女，山東煙臺人，碩士研究生，研究方向為車聯網數據隱私保護。

吳欽木（1975—），男，貴州銅仁人，博士，博士生導師，教授，主要從事車聯網數據隱私保護及電機效率優化的研究。