一種面向智聯網的高效聯邦學習算法

葉 進，韋 濤，胡亮青，羅 森，李曉歡

（1.廣西大學 計算機與電子信息學院，南寧 530003；2.廣西綜合交通大數據研究院，南寧 530201）

0 概述

人工智能（Artificial Intelligence，AI）和物聯網（Internet of Things，IoT）相結合能夠得到智聯網（Artificial Intelligence of Things，AIoT）。IoT 設備是數字神經系統，AI 是系統的大腦。當AI 被添加到IoT 時，意味著這些IoT 設備可以在沒有人類參與的情況下分析數據，做出決策。人工智能通過機器學習和越來越強的決策能力為物聯網增加價值。物聯網因為連通性和數據交換為人工智能增加價值［1］。

目前，AI 模型訓練的主要方法是以云為中心，即IoT 設備將訓練數據傳輸到遠程云服務器進行處理。然而，對隱私越來越敏感的數據所有者可以選擇不與第三方共享數據。同時，將大量數據傳輸到遙遠的云端會增加網絡的負擔，并導致不可接受的延遲，尤其是對時間敏感的任務，這可能會阻礙AIoT 的進一步發展。因此，聯邦學習（Federated Learning，FL）［2］被提出。在FL 的每次迭代中，遠程云服務器將一組模型參數傳輸給客戶機，例如AIoT 設備，然后使用本地存儲的訓練數據更新模型參數，最后把更新的模型參數傳回遠程服務器進行全局聚合。整個過程不需要傳輸原始數據，因此，FL 訓練過程實現了保護隱私的協作機器學習。

在AIoT 的實際場景中，大規模實現FL 還面臨著以下挑戰：1）AIoT 設備的通信帶寬有限，遠程云服務器和IoT 設備之間的通信鏈路是高度不可靠的，意味著只有一小部分設備能夠參與每一輪通信，FL算法對通信成本和低參與率特別敏感；2）由于AIoT設備間的存儲、計算和通信能力有所不同，使得AIoT 網絡有顯著的系統異構性；3）AIoT 設備間的數據通常是非獨立同分布（non-Independent Identically Distribution，non-IID）的，且數據量也是不平衡的，意味著AIoT 網絡中有顯著的數據異構性［3-4］。文獻［5-6］分別在實驗和理論上證明了當設備數據是non-IID 時，FL 會受到客戶機漂移的影響，導致不穩定和緩慢的收斂?？蛻魴C漂移是指：不同設備間non-IID 的數據分布會導致它們計算的梯度高度傾斜，每一輪訓練中設備的模型更新方向逐漸發散、過擬合于本地數據。

為AIoT 設計FL 算法需要綜合考慮低參與率、系統異構性和數據異構性。在現有的FL 算法中，有一些是專門處理數據異構性的。SCAFFOLD［6］在服務器和客戶端添加了控制變量，用來控制模型訓練時的更新方向，然而在每輪通信時，控制變量會隨著模型一同傳輸，這增加了額外的通信成本，且當設備參與率很低時，客戶端由于不能參與每輪的模型訓練而導致其控制變量陳舊，算法性能大大降低。FedProx［7］和FedDyn［8］在損失 函數上 添加了 近端正則化項，以約束客戶機模型遠離全局模型的更新，由此同時解決系統異構性和數據異構性問題，然而這類方法需要精調其超參數，否則會降低算法的收斂速度。FedNova［9］是一種標準化平均方法，其在客戶端上傳其參數改變量前根據本地更新次數和梯度權重進行標準化，消除了異構系統中的客觀不一致性。此外，文獻［10］在服務器端提出了自適應的方法，FedPD［11］使用了原始對偶方法，VRL-SGD［12］應用減少方差的方法消除了客戶機間的不一致性，文獻［13］設計了一種基于個性化本地蒸餾的方法，文獻［14］提出了一種半監督聯邦學習系統SSFL，根據客戶端損失函數值動態調整本地模型在全局模型中所占的權重。然而，它們中的大多數都需要客戶機完全參與或者客戶機存儲，這些算法在AIoT 實際場景中可能存在問題。動量是一種加速優化的方法，它通過增加慣性來平滑模型更新方向和減少方差，可以提高深度神經網絡（DNN）的收斂速度和測試精度［15-16］。由于動量技術可平滑模型的更新方向，因此可以潛在地緩解客戶機漂移問題［17］。目前，已經有許多工作研究利用動量技術來加速FL 的學習過程，主要可分為4 類：

1）在客戶端引入動量項的方法，如FedNova［9］、FedNAG［18］和MFL［19］。這類方法通過在客戶端維持一個模型更新方向的動量項來加快客戶端模型的優化，提升了本地模型的優化速度，但是non-IID 的設備數據可能會讓客戶端漂移的影響更加嚴重，不適合AIoT 場景。

2）在服務器引入動量項的方法，如FedAvgM［20］、FedMom［21］和SlowMo［22］。這類方 法通過 在服務 器維持一個全局模型更新方向的動量來加速全局模型的更新，提升了服務器模型的訓練速度，但也不適合AIoT 場景，因為它們沒有修改客戶端的模型更新方向，客戶端漂移現象仍然存在。

3）在客戶端和服務器都應用動量的方法，如STEM［23］。這類方法在服務器和客戶端都做了加速，但是沒有引入漂移控制的機制。

4）在服務器聚合全局梯度信息并發送給客戶端，在客戶端本地訓練時當全局動量使用，以修改客戶機的 模型更 新，如FedADC［17］、FedCM［24］和DOMO［25］。全局梯度信息代表了所有客戶機的模型更新方向，一定程度上能代表全局數據分布。這類方法讓客戶機在本地訓練時拿到全局數據分布的信息，不會過擬合于自己的數據分布，緩解了客戶機漂移問題，保證了低參與率場景下的性能［24］，通常很適合AIoT 場景。然而，這類方法仍然有以下不足：AIoT 設備在本地訓練期間無法更新全局動量；經過設備多次模型更新之后，設備持有的全局動量很快變得陳舊，產生誤差；動量技術對梯度誤差的魯棒性不強，由于誤差累積，其性能可能比經典梯度下降（GD）差［26-27］。

將全局梯度信息用來調整客戶端更新的方法比較適合AIoT 場景，為了彌補現有方法會用到過時動量信息的缺點，本文提出一個新的基于全局動量的聯邦學習算法FedCNM。FedCNM 在遠程云服務器端聚合全局動量信息，用來初始化AIoT 設備的本地模型。同時為了消除系統異構性帶來的客觀方差，FedCNM 在AIoT 設備模型訓練結束后對設備待上傳的累積模型更新量做標準化處理，從而更準確地近似真實的全局梯度，同時保證動量技術的有效性。與現有FL 算法相比，FedCNM 將代表全局模型更新方向的全局動量應用在客戶端本地訓練之前，避免在本地訓練時會用到過時的信息產生誤差，從而緩解客戶機漂移現象，保證低參與率AIoT 場景下的性能，并且FedCNM 允許快速客戶端比慢速客戶端執行多個本地更新，更靈活地支持異構AIoT 系統環境。

1 系統模型

考慮如圖1 所示的系統模型，該模型有N個AIoT 設備和1 個遠程云服務器。這N個通信和計算資源有限的AIoT 設備分別擁有本地數據集D1,D2,…,Di,…,DN，因 此，全局數據集D?D1∪D2∪…∪DN。假設對 于所有i≠j，有Di∩Dj=?，定義數據集Di中的樣本個數為|Di|，其中，|*|表示集合的大小。所有設備樣本個數的總和為|D|，其中遠程云服務器可以連接所有AIoT 設備，實現信息傳輸。

圖1 基于全局動量的FL-AIoT 結構模型Fig.1 FL-AIoT structure model based on global momentum

將遠程云服務器的全局損失函數定義為f(x)，其中，x表示模型參數。不同的機器學習模型對應不同的f(x)和x。使用x*表示使f(x)值最小化的最優參數?；谒岢龅哪Ｐ停疚牡膶W習問題是最小化f(x)，可以表述為：

由于機器學習模型和原始數據集的復雜性，尋找上述優化問題的封閉解通常是棘手的。因此，可以在中央服務器收集所有邊緣設備的數據后，使用基于梯度迭代的算法（GD）來解決式（1）所示的學習問題。梯度下降的更新規則如下：

其中：t表示迭代指數；η>0 表示學習率；模型參數xt沿負梯度方向更新。使用上述更新規則，GD 可以通過連續迭代解決式（1）所示學習問題。

動量技術作為GD 的改進，引入了動量項［28］，更新規則如下：

其中：Δt是與xt有相同維度的動量項；α是動量衰減因子。與GD 相比，通過引入動量項，f(x)可以更快地收斂到最小值［29］。

在FL 系統中，每個AIoT 設備i都有自己的本地模 型，其 中，t表示第t輪通信。將AIoT 設 備i的 本地損失函數定義為fi(x)，fi(x)只在Di有定義。因此，FL 的全局損失函數可以表示為：

當t=0 時，遠程云服務器初始化模型參數x0。當第t輪FL 開始時，遠程云服務器將全局模型發送給AIoT 設備。設備i根據其本地數據集Di對其本地損失函數fi(x)進行Ki次模型更新：

所有設備將其更新后的本地模型上傳至遠程云服務器，云服務器通過加權平均的方式聚合全局模型：

在文獻［30］中，FL 方法已被證明對于凸優化問題具有全局收斂性，并表現出良好的收斂性能。下一節將介紹本文基于全局動量的FL 算法FedCNM。

2 算法設計

在幾乎所有深度學習的實例中，目標函數是參數的高度非凸函數，在模型參數空間中可能存在許多不同的次優局部極小值。客戶機的模型參數往遠離全局模型更新軌跡的方向更新是引發客戶機漂移的一個原因。

為了緩解這個問題，本文將全局梯度信息融入到客戶端更新中，以調整客戶機的更新方向。具體地，在FedCNM 中，客戶機i可以通過計算αKiηlΔt來近似其模型在全局模型更新方向上的下一個位置，利用來初始化客戶機模型，相當于客戶機i提前應用到了未來信息?？紤]到FL 的系統異構性和客戶端之間的不平衡數據量，客戶端的本地更新次數可能不一樣，會導致目標不一致性［9］的問題，即經過客戶端次數不一樣的本地更新后，用標準的平均方法平均模型會使結果收斂到一個非預期的平穩點，對此，本文標準化處理客戶端待上傳的模型改變量，以減少模型更新的方差。圖2 展示了FedCNM 的本地學習過程。本文用到的符號在表1中列出進行說明。

表1 符號說明Table 1 Symbol description

從式（8）可以看出，FedCNM 在客戶機的梯度方向上增加了一個修正項αΔt來調整客戶機的更新方向，這種提前應用Δt計算模型近似未來位置的梯度來做梯度下降的方式，不會產生隨著客戶端迭代次數過多Δt變得陳舊的問題。盡管每輪只對所有客戶端的一個子集進行采樣，但過去局部更新的梯度信息仍然包含在Δt中，因此，FedCNM 能減少客戶端更新方向與全局方向的偏差，緩解客戶機漂移問題，且對于聯邦學習客戶機低參與率具有魯棒性。

在算法1 中，Δt+1是第t輪參與學習的客戶機模型改變量的平均值，用于服務器模型的更新，其具有以下更新規則：

從式（10）可以看出，Δt+1是所有客戶機梯度的指數移動平均，與傳統優化算法里的動量項一致，因此，全局模型的更新方向經過動量平滑，潛在地加快收斂。FedCNM 算法在每輪訓練開始時會將全局模型和代表全局更新方向的服務器動量廣播至客戶端，這會增加服務器到客戶端的通信量，但是客戶端到服務器的通信量仍保持不變。請注意，如果沒有來自服務器的附加信息或讓客戶端存儲本地狀態，則不可能消除由于客戶端異構而導致的本地梯度更新的偏差。從這個意義上說，如果客戶機不存儲本地狀態，則不可避免地要使用額外的通信。本文也將在第3 節指出，盡管FedCNM 每輪的通信量是FedAvg 的1.5 倍，但是在達到目標訓練精度時所需的總體通信量仍是少于FedAvg 的。

3 實驗

本節將模擬各種真實的AIoT 場景對FedCNM和對比的FL 方法進行經驗評估。與文獻［8，31］一樣，在第3.2、3.3、3.4 節分別從3 個方面（大規模設備、低參與率和Non-IID 數據）評估FedCNM 的性能，在第3.5 節評估超參數α的敏感性，在第3.6 節評估本地優化器對FedCNM 的影響。

3.1 實驗設置

在CIFIAR-10［32］和CIFAR-100［32］數據集 上評估本文算法。為了模擬客戶端數據異構性，采取與文獻［8］相同的數據劃分方式。具體來說，通過將訓練數據隨機不替換地分配給客戶端來生成IID 數據，且劃分的數據量是平衡的。對于non-IID 數據，通過從參數為｛0.3，0.6｝的Dirichlet 分布中采樣標簽比率來模擬數據的異質性，同時為了生成不平衡數據，從對數正態分布中采樣數據點的數量，控制對數正態分布的方差，得到不平衡數據。

將本文方法FedCNM 與幾種先進的聯邦學習技術進行比較，這些技術包括最流行的FL 優化算法FedAvg［2］、基于服務器動量的算法FedAvgm［20］、在客戶端應用服務器動量的算法FedADC［17］、服務器自適應優化的方法FedAdam［10］、異構優化的方法FedProx［7］。本文采 用標準ResNet-18［33］作為所有基準測試的骨干網絡。

由于通信成本和最終性能都是FL 的重要指標，因此與文獻［31］一樣，測量在規定的輪數下取得的性能以及算法達到目標精度所需的通信量。不同方法所消耗的通信量不一樣，FedADC 和本文FedCNM算法完成一輪訓練需要額外傳輸全局梯度信息，所需通信量是FedAvg 的1.5 倍。對于在最大通信輪內無法達到目標精度的方法，本文在通信輪上加一個加號。在本節中，以模型傳輸次數作為通信量的單位。

與文獻［7］一樣，通過向不同的客戶端分配不同的工作量來模擬系統異構性。在本文模擬中，固定了全局數量的epochs（遍歷其本地數據集）E，并在每一輪將x個epochs（從［1，E］之間隨機均勻選擇）分別分配給選定的設備。在本文的所有實驗中，E=10。通過在每一輪獨立于前幾輪的隨機抽樣來模擬部分參與。將CIFAR-10、CIFAR-100 數據集的批大小定為32。在客戶端訓練中使用不加動量的SGD 優化器，所有方法的學習率為0.1，學習率采用指數衰減，衰減參數從｛1.0，0.998，0.995｝中選取，施加0.001 的權重衰減來防止過擬合。此外，還使用梯度裁剪來增加算法的穩定性。對于服務器學習率，除了FedAdam 從｛1，0.1，0.01｝中選擇，其他對比方法的全局學習率設置為1。FedADC 中的α值固定為1，β值從｛0.6，0.7，0.8，0.9｝中選擇。FedAvgM 的β值 從｛0.5，0.7，0.9｝中選擇。FedCNM 中 的α值 從｛0.1，0.5，0.9，0.95｝中選擇。在本文中，FedAdam 中的β1設置為0.9，β2設置為0.99，τ值從｛1，0.1，0.01，0.001｝中選擇。FedProx 中的μ從｛0.1，0.01，0.001｝中取值。

3.2 中等規模和大規模設備上的性能評估

在本節中，將研究FedCNM 在具有中等規模和大規模設備下的收斂性能。具體來說，中等規模有100 個設備，設備參與率為10%，大規模有500 個設備，設備參與率為2%，數據以Non-IID［Dirichlet（0.3）］方式進行劃分。測試精度基于指數移動平均，參數為0.9。

圖3 和圖4 分別提供了FedCNM 與對比方法在中等規模和大規模下收斂性能的詳細比較。首先，可以清楚地觀察到，基于動量的算法（Fedadc、Fedavgm 和FedCNM）都能改善FedAvg 的收斂性能。FedCNM 的表現最優，在所有任務中都是最佳性能，部分原因是，在FedCNM 中，類似Nesterov’s Acceleration Gradien（tNAG）［34］的動量加速使每個客戶端能夠提前查看全局更新軌跡，并找到全局梯度軌跡附近的局部最小值，從而校準客戶機的更新，且提早使用全局動量信息的方法避免了用到過時的全局梯度信息。其次，在大規模分布實驗中可以觀察到，所有算法的整體性能都比客戶端數量適中時低。這是因為，客戶端訓練數據數量的減少加劇了客戶端漂移。從所花費通信量方面來說，在中等規模CIFAR-10 實驗中，標準FL 方法（FedAvg）實現79%的模型測試精度需要796 輪，FedCNM 則只需要237 輪，節約了70.22%的通信成本。從收斂圖中還可以看到，FedProx 的性能與FedAvg 相當，自適應聯邦優化的FedAdam 方法總是需要一個自適應的過程（在圖中表現為需要一定輪數之后才能看到測試精度的提升），在CIFAR-100 數據集大規模分布實驗中，FedAdam 的性能變得不穩定，原因可能是極低的參與率使得FedAdam 難以收斂。

圖3 FedCNM 與對比方法在中等規模設備下的收斂曲線圖Fig.3 Convergence curves of FedCNM and comparison methods in a moderate number of clients

圖4 FedCNM 與對比方法在大規模設備下的收斂曲線圖Fig.4 Convergence curves of FedCNM and comparison methods in a large number of clients

3.3 低參與率場景的性能評估

為了評估FedCNM 在客戶機低參與率場景下的魯棒性，模擬50 臺設備不同參與水平的場景。對數據以Non-IID［Dirichlet（0.6）］方式進行劃分。測試精度基于指數移動平均，參數為0.9。

表2 和表3 展示了FedCNM 在不同參與水平下的性能，其中加粗數據表示最優值，下同。雖然由于每輪參與者有限，所有方法在最終輪時的總體精度都有所下降，但在所有基準任務上，FedCNM 更有效地整合了來自所有設備的信息，有效地對齊了服務器和單個客戶機的梯度。當降低參與水平時，其他方法的測試精度都有明顯下降，而FedCNM 的下降幅度最小。特別是在CIFAR-10 的實驗中，基于動量的算法（FedADC 和FedAvgm）出現了性能惡化，原因可能是它們在本地優化過程中用到了過時的全局梯度信息，加劇了客戶機漂移。

表2 FedCNM 與對比方法在不同參與水平下達到目標精度所需通信量的比較（模型傳輸次數）Table 2 Comparison of the traffic required by FedCNM and comparison methods to achieve target accuracy at different participation levels（number of parameters transmitted）單位：次

表3 FedCNM 與對比方法在不同參與水平下在規定的輪數取得性能的比較（測試精度）Table 3 Performance comparison of FedCNM and comparison methods in target rounds at different participation levels（test accuracy）%

3.4 不同數據分布場景的評估

在本節中，研究在不同設備分布［IID，Dirichle（t0.6），Dirichlet（0.3）］下FedCNM 和對比方法的性能。實驗中，客戶端數量為200，客戶機參與水平為5%，測試精度基于指數移動平均，參數為0.9，結果如表4 和表5 所示。當數據劃分從IID 到Dirichlet 0.6 或者從Dirichlet（0.6）到Dirichlet（0.3）時，數據異構性變得更加non-IID，這使得全局優化問題更加困難。

表4 FedCNM 與對比方法在不同設備異構性下達到目標精度所需通信量的比較（模型傳輸次數）Table 4 Comparison of traffic required by FedCNM and comparison methods to achieve target accuracy with different device heterogeneity（number of parameters transmitted）單位：次

表4 和表5 顯示，隨著客戶機異構性的增加，競爭方法的測試精度都有明顯下降，而對FedCNM 的影響是最小的。例如，在CIFAR-10 實驗中數據劃分從IID 到Dirichle（t0.6）時，在通信輪次達到500 輪時FedCNM 的測試精度下降了0.85%，FedAvg 的測試精度下降了5.07%，FedAdc 的測試精度下降了3.40%。這意味著，FedCNM 對客戶機異質性更為魯棒。

3.5 α 敏感性分析

本節通過實驗分析FedCNM 算法中唯一與算法相關的超參數α對收斂性和性能的影響。在{0,0.3,0.5,0.9,0.95,0.99} 中 給α取值來測試FedCNM，在CIFAR-10 數據集上使用Dirichle（t0.6）劃分，100 個客戶機，10%參與率設置。測試精度如表6 所示。

表6 不同α 值下FedCNM 的測試精度Table 6 Test accuracy of FedCNM under different α values

從表6 中可以發現，FedCNM 在選擇的所有α下都能成功地收斂到平穩點。但不同α平穩點的泛化能力不同，導致表6 的測試精度不同。注意到α設置過小或過大都會影響FedCNM 的收斂性和泛化性。α<1 的FedCNM 始終優于α=0 對應的FedAvg。經驗上，筆者發現當α設置為0.9 時，性能最好，這與傳統的動量算法一致。

3.6 不同本地優化器影響評估

本節研究不同本地優化器對算法性能的影響，包括施加動量的隨機梯度下降（SGD+M）、NAG、Adam、AMSGrad。在第3.2～3.4 節中，實驗使用的是不施加動量的樸素隨機梯度下降（SGD）優化器，因此本節不報告SGD 的結果。在本節實驗中，客戶機數量為100，客戶機參與率為10%，數據集使用CIFAR-10，客戶機的數據劃分方式為Dirichle（t0.3），所有優化器的本地學習率為0.01，施加0.001 的權重衰減來防止過擬合，使用梯度裁剪來增加算法的穩定性。實驗結果如圖5 所示。

從圖5 中可以觀察到，FedCNM 在4 種不同本地優化器下的性能均優于其他對比方法，當本地優化器使用基于動量的優化器（SGD+M、NAG）時，其性能會明顯優于其他對比方法，分別提高了10.53%和10.44%的測試精度。此外，當本地使用自適應的優化方法時，會對自適應的聯邦優化方法FedAdam 產生影響，500 輪內都觀察不到測試精度的提升，可能需要更多的通信輪次，FedAdam 才能發揮效果。

4 結束語

本文引入一種新的FL 方法FedCNM，該方法對AIoT 的實際場景具有較強的魯棒性，其將在服務器聚合的全局梯度信息嵌入到本地模型的更新過程中，以控制客戶機漂移。在CIFAR-10 數據集和CIFAR-100 數據集的圖像分類模型上的實驗結果表明，所提出的FedCNM 方法在保證了總體通信量不增加的情況下，加速了模型的訓練，收斂速度和最終測試精度優于對比的FL 方法。FedCNM 在單輪學習中引入了額外的通信，通信問題仍然是制約聯邦學習發展的一個挑戰，下一步將從客戶機分組聚合出發進行通信優化研究，進一步減少通信量。