基于Z-Score動態壓縮的高效聯邦學習算法

摘 要：聯邦學習作為一種具有隱私保護的新興分布式計算范式，在一定程度上保護了用戶隱私和數據安全。然而，由于聯邦學習系統中客戶端與服務器需要頻繁地交換模型參數，造成了較大的通信開銷。在帶寬有限的無線通信場景中，這成為了限制聯邦學習發展的主要瓶頸。針對這一問題，提出了一種基于Z-Score的動態稀疏壓縮算法。通過引入Z-Score，對局部模型更新進行離群點檢測，將重要的更新值視為離群點，從而將其挑選出來。在不需要復雜的排序算法以及原始模型更新的先驗知識的情況下，實現模型更新的稀疏化。同時隨著通信輪次的增加，根據全局模型的損失值動態地調整稀疏率，從而在保證模型精度的前提下最大程度地減少總通信量。通過實驗證明，在I.I.D.數據場景下，該算法與聯邦平均（FedAvg）算法相比可以降低95%的通信量，精度損失僅僅為1.6%，與FTTQ算法相比可以降低40%～50%的通信量，精度損失僅為1.29%，證明了該方法在保證模型性能的同時顯著降低了通信成本。

關鍵詞：聯邦學習； Z-Score； 稀疏化； 動態稀疏率

中圖分類號：TP301.6 文獻標志碼：A 文章編號：1001-3695（2024）07-024-2093-05

doi：10.19734/j.issn.1001-3695.2023.11.0540

High efficient federated learning algorithm based on Z-Score dynamic compression

Abstract：Federated learning as an emerging distributed computing paradigm with privacy protection， safeguards user privacy and data security to a certain extent. However， in federated learning systems， the frequent exchange of model parameters between clients and servers results in significant communication overhead. In bandwidth-limited wireless communication scenarios， this has become the primary bottleneck restricting the development of federated learning. To solve this problem， this paper proposed a dynamic sparse compression algorithm based on Z-Score. By utilizing Z-Score， it performed outlier detection on local model updates， considering significant update values as outliers and subsequently selecting them. Without complex sorting algorithms or prior knowledge of the original model updates， it achieved model update sparsification. At the same time， with the increase of communication rounds， the sparse rate was dynamically adjusted according to the loss value of the global model to minimize the total traffic while ensuring the accuracy of the model. Experiments show that in the I.I.D. data scenario， the proposed algorithm can reduce communication traffic by 95% compared with the federated average algorithm， and the accuracy loss is only 1.6%. Additionally， compared with the FTTQ algorithm， the proposed algorithm can also reduce communication traffic by 40%～50%， with only 1.29% decrease in accuracy. It proves that the method can significantly reduce the communication cost while ensuring the performance of the model.

Key words：federated learning; Z-Score; sparsification; dynamic sparsity

0 引言

近年來，物聯網的快速發展將現實世界中的諸多事物接入到了互聯網［1］，并且通過在這些對象中傳遞信息，讓它們變得更加智能，為用戶提供更好更便捷的服務［2］。據報告分析表明，到2025年，預計將有多達309億臺物聯網設備連接到互聯網中［3］。由于接入裝置數量的飛速增長，網絡中每天產生的數據也在激增，從而形成了一種物聯網大數據應用場景。為了利用無處不在的物聯網設備產生的數據，深度學習等人工智能技術被廣泛應用，借助訓練數據模型以實現智能物聯網應用，比如智慧城市、智慧醫療和智慧交通等［3，4］。傳統用于物聯網的人工智能主要基于集中式學習范式，要求網絡邊緣設備通過無線信道將采集到的數據傳輸到遠端集中式服務器進行處理［5］。由于無線數據傳輸的大流量負載和高隱私風險，將數據傳輸至遠端的服務器進行集中式的機器學習變得不再實用。在此情形下，聯邦學習作為一種分布式計算范式被提出［6］，并且在學術界和工業界引起了廣泛的關注和研究。在這種分布式架構中，原始數據不再被要求發送到云端服務器，而是在中央服務器的協調之下由多個客戶端共同完成一個全局模型的訓練［7，8］?？蛻舳伺c中央服務器之間傳遞的僅僅是模型參數，實現了原始數據不出本地，在一定程度上保護數據隱私的同時，又讓人工智能技術發揮了強大的作用。

目前，聯邦學習作為一種有前景的計算范式被廣泛應用于構建智能和增強隱私的物聯網系統，然而，聯邦學習也存在著一些不足之處。聯邦學習系統雖然不需要將原始數據上傳至云端服務器，但是在整個系統的訓練迭代期間，客戶端與服務器端仍需要頻繁地進行模型參數交互。在無線通信系統中，通信帶寬通常是有限的，因此聯邦學習系統的數據傳輸需求在很多情況下都無法得到滿足。特別是在物聯網場景中，就算使用了LTE通信系統，但由于通信帶寬的限制，仍然無法保證聯邦學習系統的客戶端與服務器端之間頻繁的數據通信。而現代深度神經網絡模型通常包含了大量的參數，從數千萬到數億不等，這大大地增加了通信開銷，甚至導致通信過載［9］。現有研究表明，在客戶端上傳的模型梯度參數中存在大量的冗余參數，這些參數對于全局模型的貢獻微乎其微。許多學者考慮使用設置閾值的方式篩選上傳的參數，但實際操作時閾值的選擇十分困難，而采用梯度量化模型壓縮算法，其壓縮比有限且對模型的性能會造成較大的影響。文獻［10］指出，Z-Score能夠有效地識別和篩選出數據中的離群點，實現異常參數的檢測。因此，可將梯度參數中對模型影響較大的值視為離群點，引入Z-Score算法檢測出對模型貢獻較大的值，實現梯度稀疏化，從而減少上傳的參數量。綜上所述，本文提出一種基于Z-Score的動態閾值稀疏算法，用于解決通信開銷較大的問題，命名為DLZ-FedAvg（dynamic little-endian based on 128 Z-Score federated average）。該算法通過引入Z-Score進行參數篩選，將客戶端的本地梯度稀疏化，并設計了一種動態稀疏機制。本文在本地模擬多個節點和參數服務器，實驗結果證明該方法在犧牲一定精度的前提下，極大地減少了上行鏈路需要傳輸的比特數，從而減少總的通信量來達到降低通信開銷的目的。本文的主要貢獻如下：

a）提出了一種新的模型更新稀疏化算法，該算法既不需要對原始更新值進行復雜的排序，又可以避免原始閾值難以選擇的困難。同時結合LEB128壓縮算法對稀疏后的模型更新值的索引進行無損壓縮再次降低通信成本。

b）根據神經網絡訓練過程的特點，設計了一種動態調整稀疏閾值的方法，既保證訓練過程的快速收斂，又能最大程度地降低總的通信量。

c）在多個廣泛使用的數據集上進行了實驗，對比分析了DLZ-FedAvg算法與其他算法的性能。實驗結果證明，DLZ-FedAvg具有更高的壓縮率。

1 相關工作

現有針對通信開銷過大問題的聯邦學習優化算法主要可分為稀疏化和量化兩大類。Strom等人［11］提出使用梯度絕對值的大小衡量其重要性，與預先設置的閾值進行比較，大于該閾值則進行上傳。然而，在實際操作過程中，閾值十分難以確定。Aji等人［12］提出先從梯度中抽樣0.1%作為樣本，排序后以第k個元素作為樣本閾值，然后利用該閾值作為整體閾值選擇top-k梯度。但是，隨機抽樣可能會造成整體壓縮比得不到保證。Luo等人［13］提出使用概率方程來衡量梯度的重要性，然后基于這個概率方程來挑選出k個參數進行上傳。Han等人［14］提出一種基于top-k的雙向鏈路壓縮算法。雙向top-k表示上行鏈路和下行鏈路都只傳輸梯度的前k個元素。

量化最初用于數據壓縮，對于數百萬參數的深度學習至關重要，能夠顯著降低通信成本。Dettmers［15］將梯度的32位浮點數量化至8位，文獻［16］中SignSGD則只保留梯度的符號更新模型，實現了32倍的壓縮。Xu等人［17］提出一種三元量化算法，設置一個量化閾值，將梯度量化為+1、0、-1。為了在服務器端還原原始梯度，引入了一個量化因子進行32 bit數據的還原。Cui等人［18］提出了一種基于K-means聚類算法的量化壓縮算法。在這種算法中，每個客戶端只需發送其聚類中心值以及每個梯度值對應的類別ID。通過量化本地計算梯度，該算法將梯度量化為低精度值，而非直接上傳原始梯度值。這種方式降低了每個通信輪次的通信代價，但同時也降低了精度，并增加了總體計算能耗。Li等人［19］則提出了一種基于壓縮感知的壓縮算法。這種算法在壓縮效果方面表現良好，但客戶端需要引入額外的重構算法來更新局部模型，從而增加了客戶端的計算量。

2 基于Z-Score和LEB128的動態壓縮算法DLZ-FedAvg

本章將詳細介紹DLZ-FedAvg算法。以往的稀疏化算法通常采用固定閾值或者固定百分比的top-k來進行梯度稀疏化。在實踐中，top-k算法涉及復雜的數據排序，而固定閾值算法的閾值通常難以確定。神經網絡的訓練是一個逐漸收斂的過程，其權重參數會逐漸趨于穩定，采用固定稀疏率并不能適應這一過程。對此，提出一種基于Z-Score離群點檢測的動態稀疏算法來減少通信開銷，該方法可以在計算每個參數的Z-Score時完成參數篩選。在此基礎上，本文根據全局模型的損失值提出一種動態閾值更新算法，用于自適應調整閾值。同時結合LEB128編碼對待發送元素的位置索引進行編碼壓縮，降低通信開銷。

2.1 系統模型

本文采用如圖1所示的客戶端-服務器聯邦學習系統模型。典型的聯邦學習算法具有參數下發、局部訓練、參數上傳和參數聚合四個階段。在參數下發階段，服務器將全局模型發送給參與訓練的客戶端。在局部訓練階段，參與訓練的客戶端收到服務器發來的全局模型之后使用大小為ni的本地數據集Di進行訓練，得到第i個客戶端的局部模型wit。其中i=1，2，…，M，M是總的客戶端的數量。第i個客戶端的訓練局部模型的損失函數為Li，如式（1）所示。

其中：xj、yj表示數據集Di中的第j個數據的數據特征以及對應的真實標簽?？蛻舳送瓿杀镜赜柧氈髮⒕植磕Ｐ蜕蟼髦练掌?。在聚合階段，服務器聚合本輪參與訓練的所有客戶端的模型更新，以獲得新的全局模型用于下一輪的迭代。聚合完成之后，服務器將新的全局模型通過廣播的形式發送給下一輪參與訓練的客戶端，重復以上步驟直到算法收斂。聯邦學習的訓練目標是為了獲得全局最小損失函數L（w）。

全局損失函數定義如下：

其中：λ表示參與率定義為參與訓練的客戶端的數量占總的客戶端的數量的比例。

2.2 DLZ-FedAvg算法

DLZ-FedAvg具體處理流程如算法1所示。其總體的處理過程與標準的聯邦學習算法基本一致，不同的是在客戶端中加入了Z-Score稀疏算法以及服務器端加入了閾值更新機制，用于實現Z-Score稀疏算法的閾值自適應。首先，服務器端隨機挑選部分客戶端將本輪的全局模型以及稀疏閾值發送給這些客戶端；客戶端接收到這些全局模型之后執行本地訓練，將得到的本地梯度向量進行Z-Score稀疏并使用LEB128編碼技術對索引進行編碼壓縮；完成稀疏化之后，客戶端將壓縮后的梯度值以及索引進行上傳；服務器端收到各個客戶端發來的壓縮的梯度信息之后進行解壓縮以及全局梯度信息的聚合，得到最新的全局模型。

算法1 DLZ-FedAvg

Z-Score是一種對一維或者低維空間中異常參數的檢測方法。異常值定義為分布尾部的數據點。本文將對模型影響較大的梯度值視為離群點，其余值視為正常點。引入Z-Score來計算每一個梯度值與平均值之間的距離，距離越遠意味著該梯度值對模型的影響越大。因此，在參數上傳階段上傳該梯度值的可能性就越大。給定一個觀察值x，它的Z-Score可以通過以下公式計算：

其中：μ表示總體的均值；σ表示標準差。然后將每個參數計算得到的Z-Score與預先設置的閾值進行比較，如果大于閾值，就將其參數本身以及對應的索引值進行保存。為了保證模型的精度，與以往稀疏算法不同的是，對小于閾值的值采取殘差平均更新的方法。將大于閾值的參數篩選出來之后，計算剩余參數的均值并發送該均值給服務器。在服務器端將未接收到更新值的位置全部替換為該均值，算法細節如算法2所示。

算法2 Sparsity

此外，本文還設計了一種動態閾值機制，具體細節如算法3所示。其核心思想是前期采用小的稀疏閾值，后期采用大的稀疏閾值。較小的稀疏閾值有助于保留更多的梯度信息，使得模型參數獲得更為準確的更新，從而使模型能夠較快收斂，較大的稀疏閾值有望提高壓縮比減少通信開銷。

算法3 Adaptive Threshold

根據神經網絡訓練過程的特點以及文獻［20］可知，隨著迭代輪次的增加，模型逐漸趨于穩定，損失函數逐漸減小。當損失值較大時，表明模型訓練處于前期階段，此時需要對全局模型參數進行較為準確的更新。因此，此時應設置較小的閾值。而當損失值較小且趨于一個穩定的數值時，本文認為此時聯邦學習系統已經收斂，此時網絡模型只需要進行微調即可，為了實現這一點，應該設置較大的閾值。因此，隨著訓練輪次的增加，閾值可以逐漸增大。最極端的情況是完全不發送梯度信息，那么，在服務器端模型不再更新。在這種情況下，算法性能達到最優。閾值更新機制如式（6）（7）所示。

其中：x為一個比例系數，表示第t輪的損失值與最大值的比值。其中最大值一般為第一輪的損失值，因為神經網絡的訓練是一個損失值下降的過程。a為一個常量，為初始的閾值。最后，本文結合LEB128編碼技術對索引進行無損編碼壓縮，再次降低上行鏈路的通信開銷。

3 實驗及分析

為了驗證DLZ-FedAvg算法，使用了MNIST、CIFAR10數據集進行了大量的實驗。對三種聯邦學習算法進行比較，包括標準的聯邦學習算法、基于三元壓縮算法和基于Z-Score動態壓縮算法，評估模型精度、上行鏈路的通信量等性能指標。實驗設置如表1、2所示。

3.1 實驗設置

a）對比算法。在本節中對以下算法進行數值比較，本文使用文獻［6］提出的標準聯邦平均算法（FedAvg）作為基線算法。將文獻［17］提出的三元壓縮聯邦學習算法（FTTQ）作為對比算法，所有算法都使用相同的神經網絡結構、相同的學習率并使用相同的優化器進行訓練。

b）數據集。使用了兩個廣泛用于分類的代表性公共數據集MNIST和CIFAR10。

c）網絡模型。為了評估上述算法的泛化性能，在不同復雜度的網絡模型上進行了實驗。本文選擇三個深度學習模型LeNet5、CNN-7、VGG16-S。LeNet5用于訓練簡單數據集MNIST。CNN-7和VGG16-S用于訓練CIFAR10數據集。其中CNN-7是一個淺層的卷積神經網絡：一共包含7層，其中4個卷積層、3個全連接層，最后一個全連接層后面接一個BN層。

d）數據分布。聯邦學習的性能受到客戶端的訓練數據特征的影響。為了研究不同數據分布的影響，將數據分為I.I.D.和Non-I.I.D.兩種不同的分布。其中Non-I.I.D.分布主要考慮的是類別不平衡的情形，即每個客戶端只擁有Nc個數據類。

e）實驗環境和參數設置。實驗采用PyTorch框架編程。采用本地計算機模擬多個終端的方式進行仿真。具體的實驗環境如表1所示。神經網絡相關訓練參數如表2所示。由于MNIST數據集為單通道的灰度圖像，特征較為容易學習，所以該數據集并未使用數據增強方法。CIFAR10數據集采用隨機裁剪和水平隨機翻轉的數據增強的方法，同時對三個顏色通道進行歸一化，其均值和標準差分別為μr=0.4914，σr=0.247，μg=0.4824，σg=0.244，μb=0.4467，σb=0.262。

3.2 實驗結果

為了展示本文方法的有效性，在多個數據集上與其他聯邦學習算法進行了對比實驗。

圖2展示的是LeNet5在MNIST數據集上三種不同聯邦學習算法收斂曲線。通信輪數設為200，其中圖2（a）為I.I.D.數據場景，DLA-FedAvg_No_Res表示的是未使用殘差平均的算法，圖2（b）為Non-I.I.D.數據場景。從圖2（a）中可以看出，雖然在訓練的前期階段，DLA-FedAvg算法相比其余兩種算法收斂速度稍差，但隨著訓練輪次的增加，最終可以達到與其余兩種算法幾乎相同的測試精度。這是因為DLA-FedAvg客戶端在每輪上傳模型參數進行全局聚合時發送的參數是三種算法中最少的，所以會對收斂速度產生一定的負面影響。由于本文采用了殘差平均，對未發送的參數進行不精確更新，雖然存在一定的誤差，但是這些參數對于模型的影響很小，且大多數參數可以得到一定程度的更新，所以從圖中可以看出，相比將殘差丟棄的方式而言，使用了殘差平均的DLA-FedAvg在一定程度上緩解了收斂速度較慢的問題。從圖2（b）可以看出，在Non-I.I.D.數據場景下，DLA-FedAvg算法的性能與其余兩種算法性能相比稍差但是相差很小。由于MNIST數據集較為簡單，所以Non-I.I.D.數據場景對于算法的性能影響較小。

圖3展示的是CNN-7網絡在CIFAR10數據集上三種不同聯邦學習算法收斂曲線，通信輪數設為200。從圖3（a）中可以看出，DLZ-FedAvg算法在75輪通信之后，可以與FTTQ算法收斂曲線基本上重合。同時從圖3（b）中可以看出，在Non-I.I.D.數據場景下，DLZ-FedAvg算法的性能與FedAvg是十分接近的。這表明，本文算法能夠適應不同復雜程度的數據集以及不同深度的神經網絡模型。

圖4（a）展示的是VGG16-S網絡在CIFAR10數據集上的訓練結果，其數據分布為I.I.D.分布。如圖4（a）所示，與FTTQ算法相比DLA-FedAvg算法的性能幾乎是一致的。與FedAvg算法相比，由于減少了大量的參數更新，所以減緩了收斂速度。但是最終的模型精度并未受到較大的影響。圖4（b）展示的是VGG16-S網絡在Non-I.I.D.數據分布下的訓練結果。DLA-FedAvg算法最終性能略差于FedAvg算法，但是精度損失不大。

如圖5所示，以VGG16-S為例展示了DLA-FedAvg算法通信量隨通信輪次的變化曲線，其數據分布為I.I.D.分布，神經網絡為VGG16-S。從圖5中可以看出，隨著通信輪次的增加，每輪上傳的通信量整體是逐漸下降的。這是由于DLZ-FedAvg算法是動態調整閾值的，所以呈現出逐漸下降的趨勢。

最后，比較了固定通信輪次的FedAvg、FTTQ、DLA-FedAvg算法在I.I.D.數據場景下的準確率、通信成本、壓縮率三個性能指標。其中壓縮率表示為壓縮后的通信成本與未壓縮的通信成本的比值。因此，本文將FedAvg算法的壓縮率設為1。具體的實驗結果如表3所示（表中數據格式為準確率（%）/通信成本（MB）/壓縮率），通信輪次為200輪。從表中可以看出，在MNIST數據集上，DLA-FedAvg與FedAvg相比，DLA-FedAvg在僅犧牲1.6%的模型精度的情況下可降低95%的通信成本。同時，與FTTQ相比，模型精度只相差1.29%，而DLA-FedAvg的通信成本僅為FTTQ算法的39.8%。同樣，對于CIFAR10數據集，與FedAvg算法相比可降低95%的通信量，而與FTTQ算法的精度差異最高不超過0.2%，通信量最低可降至FTTQ的47%。這表明本文算法并不會造成過大的精度損失，同時在降低通信量方面是有效的。

4 結束語

為了解決聯邦學習通信成本高的問題，本文提出了基于Z-Score與LEB128編碼的動態壓縮算法。首先利用Z-Score設計了一種聯邦學習的通用稀疏機制減小每輪通信的參數量，并采用殘差平均機制保證模型的收斂性能，然后根據全局模型的損失值動態調整稀疏閾值保證訓練前期模型得到充分更新，同時保證整體的壓縮性能，最后使用LEB128編碼技術對參數索引進行編碼壓縮，降低了數據傳輸開銷。實驗表明，該方法在保證模型性能的同時，顯著降低了所需的帶寬和通信成本。對于未來的工作，本文將考慮再結合量化映射對稀疏化后的參數進行編碼映射，以達到最佳的壓縮性能。

參考文獻：

［1］Mazon-Olivo B， Pan A. Internet of Things： state-of-the-art， computing paradigms and reference architectures［J］. IEEE Latin America Trans， 2021，20（1）： 49-63.

［2］Wu Yulei， Dai Hongning， Wang Haozhe， et al. A survey of intelligent network slicing management for industrial IoT： integrated approaches for smart transportation， smart energy， and smart factory［J］. IEEE Communications Surveys & Tutorials， 2022， 24（2）： 1175-1211.

［3］Vailshery L S. IoT and Non-IoT connections worldwide 2010—2025.［EB/OL］. （2023-05）.https：//www.statista.com/statistics/1101442/iot-number-of-connected-devices-worldwide.

［4］Kalapaaking A P， Khalil I， Atiquzzaman M. Smart policy control for securing federated learning management system［J］. IEEE Trans on Network and Service Management， 2023， 20（2）： 1600-1611.

［5］Zhao Zhongyuan， Feng Chenyuan， Wei Hong， et al. Federated lear-ning with Non-IID data in wireless networks［J］. IEEE Trans on Wireless Communications， 2022， 21（3）： 1927-1942.

［6］McMahan B， Moore E， Ramage D， et al. Communication-efficient learning of deep networks from decentralized data［C］//Proc of Artificial intelligence and Statistics. 2017： 1273-1282.

［7］Duan Moming，Liu Duo，Chen Xianzhang， et al. Self-balancing fede-rated learning with global imbalanced data in mobile systems［J］. IEEE Trans on Parallel and Distributed Systems， 2020， 32（1）： 59-71.

［8］Imteaj A， Thakker U， Wang Shiqiang， et al. A survey on federated learning for resource-constrained IoT devices［J］. IEEE Internet of Things Journal， 2021， 9（1）： 1-24.

［9］Sun Jun， Chen Tianyi， Giannakis G B， et al. Lazily aggregated quantized gradient innovation for communication-efficient federated lear-ning［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2020， 44（4）： 2031-2044.

［10］Aggarwal V， Gupta V， Singh P， et al. Detection of spatial outlier by using improved Z-Score test［C］//Proc of the 3rd International Conference on Trends in Electronics and Informatics. Piscataway， NJ： IEEE Press， 2019： 788-790.

［11］Strom N. Scalable distributed DNN training using commodity GPU cloud computing［C］//Proc of the 16th Annual Conference of International Speech Communication Association. 2015： 1488-1492.

［12］Aji A F， Heafield K. Sparse communication for distributed gradient descent［C］//Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computatio-nal Linguistics， 2017：440-445.

［13］Luo Peng， Yu F R， Chen Jianyong， et al. A novel adaptive gradient compression scheme： reducing the communication overhead for distributed deep learning in the Internet of Things［J］. IEEE Internet of Things Journal， 2021，8（14）： 11476-11486.

［14］Han Pengchao， Wang Shiqiang， Leung K K. Adaptive gradient sparsification for efficient federated learning： an online learning approach［C］//Proc of the 40th IEEE International Conference on Distributed Computing Systems. Piscataway， NJ： IEEE Press， 2020： 300-310.

［15］Dettmers T. 8-bit approximations for parallelism in deep learning［C］//Proc of the 4th International Conference on Learning Representation. 2016： 1-14.

［16］Bernstein J， Wang Yuxiang， Azizzadenesheli K， et al. SignSGD： compressed optimisation for non-convex problems［C］//Proc of International Conference on Machine Learning.［S.l.］： PMLR ，2018： 560-569.

［17］Xu Jinjin， Du Wenli， Jin Yaochu， et al. Ternary compression for communication-efficient federated learning［J］. IEEE Trans on Neural Networks and Learning Systems， 2022，33（3）： 1162-1176.

［18］Cui Laizhong， Su Xiaoxin， Zhou Yipeng， et al. ClusterGrad： adaptive gradient compression by clustering in federated learning［C］//Proc of IEEE Global Communications Conference. Piscataway， NJ： IEEE Press， 2020： 1-7.

［19］Li Chengxi， Li Gang， Varshney P K. Communication-efficient federated learning based on compressed sensing［J］. IEEE Internet of Things Journal， 2021， 8（20）： 15531-15541.

［20］Guo Jinrong， Liu Wantao， Wang Wang， et al. Accelerating distributed deep learning by adaptive gradient quantization［C］//Proc of ICASSP IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway， NJ： IEEE Press， 2020： 1603-1607.