基于自適應(yīng)聚合時(shí)間的半同步聯(lián)邦資源優(yōu)化算法

摘 要：聯(lián)邦學(xué)習(xí)是一種高效的分布式機(jī)器學(xué)習(xí)方法，其中多個(gè)設(shè)備使用自己的本地?cái)?shù)據(jù)進(jìn)行分布式模型訓(xùn)練，不需要交換本地?cái)?shù)據(jù)，僅通過(guò)交換模型參數(shù)來(lái)構(gòu)建共享的全局模型，從而保護(hù)用戶(hù)的隱私。為了平衡模型性能和通信延遲，在半同步聯(lián)邦學(xué)習(xí)場(chǎng)景下，使用權(quán)重參數(shù)建立了一個(gè)最小化模型性能和聚合時(shí)間的加權(quán)和的優(yōu)化問(wèn)題。優(yōu)化變量包括進(jìn)行全局模型更新的聚合時(shí)間、用戶(hù)調(diào)度以及參與上傳的用戶(hù)的帶寬和發(fā)射功率，通過(guò)使用交替方向乘子法（Ａｌｔｅｒｎａｔｉｎｇ Ｄｉｒｅｃｔｉｏｎ Ｍｅｔｈｏｄ ｏｆ Ｍｕｌｔｉｐｌｉｅｒｓ，ＡＤＭＭ）將所提混合整數(shù)非線性規(guī)劃（Ｍｉｘｅｄ Ｉｎｔｅｇｅｒ Ｎｏｎ-Ｌｉｎｅａｒ Ｐｒｏｇｒａｍｍｉｎｇ，ＭＩＮＬＰ）問(wèn)題分解為兩個(gè)子問(wèn)題進(jìn)行求解。仿真實(shí)驗(yàn)證明，所提算法能夠以犧牲４％ 模型性能為代價(jià)，降低７３％ 的聚合時(shí)間，顯著提高了通信效率。

關(guān)鍵詞：物聯(lián)網(wǎng)；半同步聯(lián)邦學(xué)習(xí)；用戶(hù)調(diào)度；資源優(yōu)化

中圖分類(lèi)號(hào)：ＴＮ９２ 文獻(xiàn)標(biāo)志碼：Ａ 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（ＯＳＩＤ）：

文章編號(hào)：１００３－３１１４（２０２４）０４－０６９６－０８

０ 引言

隨著通信技術(shù)的快速發(fā)展，未來(lái)將是一個(gè)數(shù)據(jù)爆炸的時(shí)代，海量數(shù)據(jù)將無(wú)處不在，涵蓋從物聯(lián)網(wǎng)設(shè)備到智能終端的各個(gè)領(lǐng)域。面對(duì)如此龐大的數(shù)據(jù)量，如何在保障用戶(hù)隱私的前提下有效地進(jìn)行數(shù)據(jù)處理、分析和利用，成為了一個(gè)亟待解決的問(wèn)題。

聯(lián)邦學(xué)習(xí)［１］正是在這樣的背景下應(yīng)運(yùn)而生。它能夠在保護(hù)用戶(hù)隱私的前提下，允許各個(gè)節(jié)點(diǎn)或設(shè)備利用本地?cái)?shù)據(jù)進(jìn)行模型的訓(xùn)練和優(yōu)化，而無(wú)需將數(shù)據(jù)上傳到中心服務(wù)器。這種分布式的學(xué)習(xí)方式不僅降低了數(shù)據(jù)傳輸和存儲(chǔ)的成本，還提高了數(shù)據(jù)處理的效率和安全性。因此，聯(lián)邦學(xué)習(xí)在移動(dòng)邊緣網(wǎng)絡(luò)中得到廣泛應(yīng)用［２］。

在移動(dòng)邊緣網(wǎng)絡(luò)中，不同的訓(xùn)練任務(wù)在總延遲和準(zhǔn)確度方面具有不同的偏好。例如，對(duì)于語(yǔ)音識(shí)別［３］或視頻處理［４］等實(shí)時(shí)任務(wù)，總延遲是關(guān)鍵因素。對(duì)于醫(yī)學(xué)影像診斷［５］或金融風(fēng)險(xiǎn)評(píng)估［６］等任務(wù)，準(zhǔn)確度是關(guān)鍵因素。然而，在移動(dòng)邊緣網(wǎng)絡(luò)環(huán)境下，現(xiàn)有的聯(lián)邦學(xué)習(xí)框架很難滿(mǎn)足不同的訓(xùn)練任務(wù)偏好。其主要面臨以下挑戰(zhàn)：

一方面，在同步聯(lián)邦學(xué)習(xí)框架中，每一輪的通信總延遲取決于最慢的設(shè)備。然而，由于聯(lián)邦學(xué)習(xí)參與者的設(shè)備存在硬件差異，其計(jì)算和通信能力不同，因此設(shè)備條件較好的用戶(hù)往往需要等待更長(zhǎng)的時(shí)間。這種硬件條件差異所導(dǎo)致的落后效應(yīng)降低了整個(gè)系統(tǒng)的效率。

另一方面，由于帶寬資源有限，當(dāng)大量設(shè)備與服務(wù)器同時(shí)進(jìn)行通信時(shí)，會(huì)造成通信擁堵，增加通信延遲。然而，當(dāng)隨機(jī)選擇一部分設(shè)備參與通信時(shí)，又會(huì)帶來(lái)精度的顯著降低。

針對(duì)以上問(wèn)題，提出了一種基于自適應(yīng)聚合時(shí)間的半同步聯(lián)邦資源優(yōu)化算法。在聯(lián)邦學(xué)習(xí)每一個(gè)時(shí)間周期內(nèi)，根據(jù)設(shè)備的計(jì)算能力、信道條件、存儲(chǔ)數(shù)據(jù)量大小來(lái)選擇參與模型聚合的用戶(hù)，通過(guò)引入權(quán)重因子平衡模型準(zhǔn)確度與時(shí)延，最大化用戶(hù)收益，同時(shí)確定等待聚合的時(shí)間，聚合時(shí)間在每個(gè)時(shí)間周期根據(jù)用戶(hù)情況動(dòng)態(tài)變化。建立并求解混合整數(shù)非線性規(guī)劃（Ｍｉｘｅｄ Ｉｎｔｅｇｅｒ Ｎｏｎ-Ｌｉｎｅａｒ Ｐｒｏｇｒａｍｍｉｎｇ，ＭＩＮＬＰ）問(wèn)題，完成用戶(hù)的選擇、資源管理與聚合時(shí)間的確定。提出基于增廣拉格朗日法與交替方向乘子法（Ａｌｔｅｒｎａｔｉｎｇ Ｄｉｒｅｃｔｉｏｎ Ｍｅｔｈｏｄ ｏｆ Ｍｕｌｔｉｐｌｉｅｒｓ，ＡＤＭＭ）的方案，將優(yōu)化問(wèn)題分解為設(shè)備調(diào)度和資源分配兩個(gè)子問(wèn)題依次迭代求解，優(yōu)化發(fā)射功率、帶寬資源的分配，確定聚合時(shí)間。

１ 研究現(xiàn)狀

現(xiàn)有聯(lián)邦學(xué)習(xí)資源優(yōu)化算法多基于同步聯(lián)邦學(xué)習(xí)訓(xùn)練方式。Ｚｅｎｇ 等［７］提出了帶寬分配和用戶(hù)調(diào)度的節(jié)能策略，在保證聯(lián)邦學(xué)習(xí)性能的前提下降低了系統(tǒng)總能耗。Ｚｈｏｕ 等［８］通過(guò)引入權(quán)重參數(shù)制定了一個(gè)最小化總能耗和完成時(shí)間的優(yōu)化問(wèn)題，優(yōu)化變量涉及設(shè)備帶寬、傳輸功率和ＣＰＵ 頻率，實(shí)現(xiàn)了能耗和延遲之間的平衡。Ｋｉｍ 等［９］聯(lián)合優(yōu)化數(shù)據(jù)數(shù)量和帶寬資源，實(shí)現(xiàn)了學(xué)習(xí)效率和系統(tǒng)總能耗之間的平衡。以上文獻(xiàn)所基于的同步聯(lián)邦學(xué)習(xí)訓(xùn)練方式能夠確保良好的融合性能，但可能會(huì)導(dǎo)致嚴(yán)重的掉隊(duì)問(wèn)題。

為解決同步聯(lián)邦學(xué)習(xí)算法的高延遲問(wèn)題，文獻(xiàn)［１０－１１］提出了異步模型聚合算法，這種異步更新方式使用戶(hù)能夠在完成本地訓(xùn)練后，立即將模型上傳到服務(wù)器進(jìn)行融合。雖然異步更新方式避免了用戶(hù)等待過(guò)長(zhǎng)時(shí)間，但異步更新造成的梯度停滯將進(jìn)一步降低模型的性能［１２］。

新興的半同步聯(lián)邦學(xué)習(xí)算法結(jié)合了同步聯(lián)邦學(xué)習(xí)和異步聯(lián)邦學(xué)習(xí)的優(yōu)點(diǎn)，允許部分設(shè)備上傳過(guò)時(shí)的模型進(jìn)行全局聚合。Ｙｏｕ 等［１３］提出了一種半同步算法，該算法緩解了掉隊(duì)問(wèn)題并確保了良好的收斂性能。但該算法使用貪婪算法解決調(diào)度問(wèn)題，貪婪算法屬于啟發(fā)式算法，易于實(shí)現(xiàn)，但容易陷入局部最優(yōu)解。因此，在解決資源優(yōu)化問(wèn)題中，需要根據(jù)對(duì)精確性和復(fù)雜度的偏好來(lái)選擇適宜的算法求解凸優(yōu)化問(wèn)題。

２ 系統(tǒng)模型

針對(duì)物聯(lián)網(wǎng)場(chǎng)景設(shè)計(jì)的半同步聯(lián)邦學(xué)習(xí)框架如圖１ 所示，主要由一個(gè)參數(shù)服務(wù)器和在其通信覆蓋范圍內(nèi)的Ｎ 個(gè)用戶(hù)組成。將用戶(hù)集合表示為N＝｛１，２，…，Ｎ｝。用戶(hù)通過(guò)無(wú)線通信網(wǎng)絡(luò)與參數(shù)服務(wù)器通信。對(duì)于每個(gè)設(shè)備ｎ∈ N，存儲(chǔ)的本地?cái)?shù)據(jù)集為Dｎ ＝ ｛（ｘ１ｎ，ｙ１ｎ ），（ｘ２ｎ，ｙ２ｎ ），…，（ｘｉｎ，ｙｉｎ），…，（ｘｎＤｎ，ｙｎＤｎ）｝，Ｄｎ 為設(shè)備 ｎ 上數(shù)據(jù)集的樣本數(shù)。ｘｉｎ 和ｙｉｎ 分別表示設(shè)備ｎ 上第ｉ 個(gè)輸入樣本和對(duì)應(yīng)的真實(shí)標(biāo)簽。

參數(shù)服務(wù)器動(dòng)態(tài)選擇用戶(hù)上傳其本地模型，通過(guò)協(xié)作計(jì)算和通信，完成聯(lián)邦學(xué)習(xí)任務(wù)。

具體地，在每一個(gè)通信輪開(kāi)始前，設(shè)備ｎ 向參數(shù)服務(wù)器發(fā)送本地存儲(chǔ)的數(shù)據(jù)量Ｄｎ、本地計(jì)算能力（例如ＣＰＵ 頻率ｆｎ）、位置信息ｎ 和可執(zhí)行的ＣＰＵ最大發(fā)射功率ｐｍａｘｎ 。服務(wù)器根據(jù)這些信息通過(guò)資源管理算法設(shè)置一個(gè)等待聚合時(shí)間Ｔａｇｇｒ，選擇一組在等待時(shí)間內(nèi)可以完成本地訓(xùn)練的設(shè)備進(jìn)行通信資源分配以及上傳本地模型。根據(jù)每個(gè)時(shí)刻設(shè)備情況的不同，Ｔａｇｇｒ 在每個(gè)時(shí)刻動(dòng)態(tài)變化。隨后，在參數(shù)服務(wù)器完成全局模型的聚合。在每個(gè)時(shí)刻重復(fù)以上過(guò)程，直到全局模型收斂。

２． １ 聯(lián)邦學(xué)習(xí)過(guò)程

聯(lián)邦學(xué)習(xí)訓(xùn)練過(guò)程包含本地模型計(jì)算、本地模型上傳和本地模型聚合三個(gè)過(guò)程。詳細(xì)流程如下。

① 參數(shù)服務(wù)器將全局模型ω 下發(fā)給所有用戶(hù)設(shè)備。

② 用戶(hù)設(shè)備ｎ 在本地?cái)?shù)據(jù)集ｎ 上訓(xùn)練本地模型，目標(biāo)是得到最小化模型損失函數(shù)Ｆｎ（ωｎ）的模型參數(shù)值ωｎ，Ｆｎ（ωｎ）的表達(dá)方式為：

式中：ｒ 為全局輪的索引，Ｆｎ（ωｎ（ｒ））為樣本損失函數(shù)，用于衡量輸出與真實(shí)標(biāo)簽ｙｉｎ 之間的誤差。設(shè)備ｎ 在第ｔ 輪本地迭代時(shí)更新參數(shù)的過(guò)程如下：

式中：η 為學(xué)習(xí)率。

訓(xùn)練完成后，被調(diào)度的設(shè)備ｎ 通過(guò)無(wú)線通信將其本地模型參數(shù)ωｎ（ｒ）上傳到參數(shù)服務(wù)器。參數(shù)服務(wù)器通過(guò)聚合本地模型參數(shù)來(lái)獲得的全局模型為：

式中：λｎ 表示用戶(hù)調(diào)度指示符，當(dāng)λｎ ＝ １ 時(shí)表示用戶(hù)被調(diào)度，需要向參數(shù)服務(wù)器上傳其本地模型；λｎ ＝０ 時(shí)則不被調(diào)度，不需要上傳。

③ 完成全局模型聚合后，參數(shù)服務(wù)器將全局模型參數(shù)ω 發(fā)送給所有用戶(hù)設(shè)備，每個(gè)用戶(hù)設(shè)備ｎ 接收ω 并將局部模型參數(shù)更新為ωｎ（ｒ＋１）＝ ω。

２． ２ 延遲模型

在所提的框架中，用戶(hù)設(shè)備需要通過(guò)與參數(shù)服務(wù)器的通信來(lái)上傳和下載模型參數(shù)。為了保證用戶(hù)設(shè)備與參數(shù)服務(wù)器之間的不間斷傳輸，用戶(hù)設(shè)備與基站之間采用正交頻分多址技術(shù)［１４］通信，用戶(hù)設(shè)備在每一輪訓(xùn)練中保持恒定的無(wú)線信道增益，并在不同輪次中改變信道增益。在每一輪中，用戶(hù)設(shè)備ｎ到參數(shù)服務(wù)器之間的信道增益為：

ｈｎ ＝δｎ ＰＬ（ｄｎ） ｎ， （４）

式中：ｄｎ 為用戶(hù)設(shè)備ｎ 與參數(shù)服務(wù)器之間的距離，αｎ 為包括陰影和路徑損耗的大尺度衰落效應(yīng)，陰影δｎ 服從對(duì)數(shù)正態(tài)分布，路徑損耗ＰＬ（ｄｎ ）＝ １２８． １＋３７． ６ ｌｇ（ｎ ［ｋｍ］）。ｎ 為小尺度衰落效應(yīng)，服從瑞利分布［１５］。

４ 仿真實(shí)驗(yàn)

４． １ 參數(shù)設(shè)置

本文的半同步聯(lián)邦學(xué)習(xí)系統(tǒng)由一個(gè)參數(shù)服務(wù)器和１０ 個(gè)用戶(hù)設(shè)備組成，用戶(hù)設(shè)備的數(shù)據(jù)量Ｄｎ 在１ ～４ Ｍｂｉｔ 隨機(jī)選擇。設(shè)置參數(shù)服務(wù)器的通信覆蓋以其為中心的半徑６００ ｍ 的區(qū)域。噪聲功率σ２ ＝ －１１４ ｄＢｍ，ＣＰＵ 周期ξｎ ＝ １０ ｃｙｃｌｅｓ／ ｂｉｔ，本地迭代次數(shù)Ｉｎ 為１０，聯(lián)邦學(xué)習(xí)過(guò)程中傳輸?shù)哪Ｐ蛥?shù)大小ωｎ ＝ ０． ３１６ Ｍｂｉｔ。參數(shù)服務(wù)器可分配的總帶寬Ｂ＝１ ＭＨｚ。設(shè)備的ＣＰＵ 頻率ｆｎ 為０． １ ～ １． ０ ＧＨｚ，數(shù)據(jù)傳輸功率Ｐｎ 為１０ ～ ２０ ｄＢｍ，量綱系數(shù)αＥ ＝ １。圖２ 是對(duì)ＭＮＩＳＴ 手寫(xiě)數(shù)字識(shí)別數(shù)據(jù)集擬合的結(jié)果，橫坐標(biāo)代表參與聯(lián)邦訓(xùn)練的數(shù)據(jù)量大小，縱坐標(biāo)代表聯(lián)邦學(xué)習(xí)全局模型的準(zhǔn)確度，每個(gè)數(shù)據(jù)點(diǎn)為聯(lián)邦訓(xùn)練１００ 次得到的均值，設(shè)備在私有數(shù)據(jù)集上的本地訓(xùn)練輪數(shù)設(shè)置為３０，一次訓(xùn)練選取的樣本數(shù)為１２８。式（８）中的系數(shù)ｑ１ ＝０． １４１，ｑ２ ＝０． ７４６ ２。

４． ２ 性能評(píng)估

本節(jié)通過(guò)仿真驗(yàn)證所提出的聚合自適應(yīng)半同步聯(lián)邦學(xué)習(xí)資源優(yōu)化算法的性能。

圖３ 為所提算法在不同偏好參數(shù)τ 下，聚合時(shí)間隨用戶(hù)設(shè)備最大功率ｐｍａｘｎ 變化的對(duì)比圖，量綱系數(shù)αＥ 設(shè)置為１。可以看出，整體上，不同偏好參數(shù)所表示的曲線呈遞減趨勢(shì)，說(shuō)明其聚合時(shí)間Ｔａｇｇｒ 隨著設(shè)備最大功率的增加逐漸下降。對(duì)于τ ＝ ０． ７ 的曲線，聚合時(shí)間在設(shè)備最大功率從１４ ｄＢｍ 增大為１５ ｄＢｍ 時(shí)發(fā)生上升現(xiàn)象，說(shuō)明最大功率的改變使得調(diào)度策略發(fā)生變化，有新的用戶(hù)被選擇上傳模型。此外，τ＝ ０． １ 和τ ＝ ０． ３ 的曲線基本重合，說(shuō)明在這兩種情況下，調(diào)度策略相同。

圖４ 為所提算法在不同偏好參數(shù)τ 下，上傳用戶(hù)數(shù)量隨用戶(hù)設(shè)備最大功率ｐｍａｘｎ 變化的對(duì)比圖，量綱系數(shù)αＥ 設(shè)置為１。可以看出，對(duì)于τ ＝ ０． ７ 的曲線，在設(shè)備最大功率從１４ ｄＢｍ 增大為１５ ｄＢｍ 時(shí)，上傳用戶(hù)數(shù)量從３ 增加到了４，證明了圖３ 中τ ＝０． ７的曲線發(fā)生變化的原因。此外，τ＝０． １ 和τ ＝０． ３ 的曲線發(fā)生重合，上傳用戶(hù)數(shù)量都為１，證明了圖３ 中τ＝０． １ 和τ＝０． ３ 的曲線基本重合的原因。

為驗(yàn)證所提算法中資源分配策略和調(diào)度策略的有效性，將所提算法與以下算法進(jìn)行對(duì)比：

① 基于設(shè)備全調(diào)度的資源分配算法（對(duì)比算法１）：基于所提算法，采用選擇所有設(shè)備參與聯(lián)邦學(xué)習(xí)的方案，并利用算法為設(shè)備分配帶寬與功率。

② 基于設(shè)備全調(diào)度的等帶寬資源分配算法（對(duì)比算法２）：基于所提算法，且所有設(shè)備均分參數(shù)服務(wù)器的可分配總帶寬Ｂ。

③ 基于所提算法的等帶寬資源分配算法（對(duì)比算法３）：基于所提算法調(diào)度設(shè)備，且所有設(shè)備均分參數(shù)服務(wù)器的可分配總帶寬Ｂ。

圖５ 為不同算法在不同量綱系數(shù)αＥ 下的聚合時(shí)間對(duì)比圖，設(shè)置偏好系數(shù)τ ＝ ０． ８。可以看出，和對(duì)比算法相比，所提算法在不同量綱系數(shù)下的聚合時(shí)間均為最小值。當(dāng)αＥ ＝ ０． ５ 時(shí)，所提算法與表現(xiàn)最差的對(duì)比算法之間的差異最小，聚合時(shí)間降低了４２％ ；當(dāng)αＥ ＝２． ０ 時(shí)，所提算法與表現(xiàn)最差的對(duì)比算法之間的差異最大，聚合時(shí)間降低了７２％ 。此外，對(duì)比算法１ 和對(duì)比算法２ 的聚合時(shí)間不受量綱系數(shù)αＥ 的影響，原因是這兩個(gè)算法沒(méi)有在模型準(zhǔn)確度和聚合時(shí)間之間進(jìn)行平衡，設(shè)備全部參與調(diào)度，模型準(zhǔn)確度固定。對(duì)于對(duì)比算法３，由于采用了所提算法中的調(diào)度策略，在不同量綱系數(shù)αＥ 下選擇上傳的用戶(hù)數(shù)不同，聚合時(shí)間也就不同。

圖６ 為不同算法在不同量綱系數(shù)αＥ 下的準(zhǔn)確度對(duì)比圖，設(shè)置偏好系數(shù)τ ＝ ０． ８。由于本文的算法是以犧牲模型性能為代價(jià)，所以在圖６ 中，與設(shè)備全調(diào)度的對(duì)比算法１ 和對(duì)比算法２ 相比，所提算法在不同量綱系數(shù)αＥ 下的模型性能均會(huì)出現(xiàn)不同程度的下降。當(dāng)αＥ ＝０． ５ 時(shí)，所提算法的模型準(zhǔn)確度下降最少，降低了１． ８％ ；當(dāng)αＥ ＝２． ０ 時(shí)，所提算法的模型準(zhǔn)確度下降最多，降低了４％ 。與對(duì)比算法３ 相比，所提算法在αＥ 為０． ５ 和１． ０ 時(shí)準(zhǔn)確度較小，因?yàn)樗崴惴▋?yōu)化了模型性能和聚合時(shí)間之間的加權(quán)和，所以性能的降低是為了實(shí)現(xiàn)更低的延遲。

５ 結(jié)束語(yǔ)

針對(duì)移動(dòng)邊緣網(wǎng)絡(luò)環(huán)境中現(xiàn)有的聯(lián)邦學(xué)習(xí)框架難以滿(mǎn)足不同的訓(xùn)練任務(wù)偏好的問(wèn)題，本文提出了基于自適應(yīng)聚合時(shí)間的半同步聯(lián)邦資源優(yōu)化算法。該算法使用權(quán)重因子，在模型準(zhǔn)確度和聚合時(shí)間方面對(duì)不同的訓(xùn)練任務(wù)偏好進(jìn)行建模，充分考慮了設(shè)備異構(gòu)性、可用帶寬資源和信道條件等因素，自適應(yīng)地設(shè)置合理的聚合時(shí)間以選擇部分用戶(hù)上傳模型，同時(shí)為這些用戶(hù)分配帶寬、設(shè)置功率。仿真實(shí)驗(yàn)證明所提算法能夠以損失４％ 模型性能為代價(jià)，降低７３％ 的聚合時(shí)間，實(shí)現(xiàn)了模型性能和延遲之間的平衡，顯著地提升了通信效率。

參考文獻(xiàn)

［１］ ＭＣＭＡＨＡＮ Ｈ Ｂ，ＭＯＯＲＥ Ｅ，ＲＡＭＡＧＥ Ｄ，ｅｔ ａｌ． Ｃｏｍｍｕｎｉｃａｔｉｏｎｅｆｆｉｃｉｅｎｔ Ｌｅａｒｎｉｎｇ ｏｆ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ ｆｒｏｍ Ｄｅｃｅｎｔｒａｌｉｚｅｄ Ｄａｔａ［Ｃ］∥Ｔｈｅ ２０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＡｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｓｔａｔｉｓｔｉｃｓ． Ｆｔ Ｌａｕｄｅｒｄａｌｅ：ＪＭＬＲ，２０１７：１２７３－１２８２．

［２］ 孫兵，劉艷，王田，等． 移動(dòng)邊緣網(wǎng)絡(luò)中聯(lián)邦學(xué)習(xí)效率優(yōu)化綜述［Ｊ］． 計(jì)算機(jī)研究與發(fā)展，２０２２，５９ （７）：１４３９－１４６９．

［３］ ＨＡＥＢＵＭＢＡＣＨ Ｒ，ＨＥＹＭＡＮＮ Ｊ，ＤＲＵＤＥ Ｌ，ｅｔ ａｌ． Ｆａｒｆｉｅｌｄ Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ ［Ｊ］． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆｔｈｅ ＩＥＥＥ，２０２１，１０９（２）：１２４－１４８．

［４］ ＰＲＩＡＮＤＩＫＡ Ａ Ｔ，ＰＥＲＭＡＴＡ Ｐ，ＧＵＮＡＷＡＮＲ Ｄ，ｅｔ ａｌ．Ｖｉｄｅｏ Ｅｄｉｔｉｎｇ Ｔｒａｉｎｉｎｇ ｔｏ Ｉｍｐｒｏｖｅ ｔｈｅ Ｑｕａｌｉｔｙ ｏｆ Ｔｅａｃｈｉｎｇａｎｄ Ｌｅａｒｎｉｎｇ ａｔ ＳＭＫ Ｐａｌａｐａ Ｂａｎｄａｒｌａｍｐｕｎｇ［Ｊ］． Ｊｏｕｒｎａｌｏｆ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ ｆｏｒ ＣｏｍｍｕｎｉｔｙＳｅｒｖｉｃｅ，２０２２，１（２）：２６－３０．

［５］ ＣＨＥＮ Ｘ Ｘ，ＷＡＮＧ Ｘ Ｍ，ＺＨＡＮＧ Ｋ Ｃ，ｅｔ ａｌ． Ｒｅｃｅｎｔ Ａｄｖａｎｃｅｓ ａｎｄ Ｃｌｉｎｉｃａｌ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｉｎＭｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ［Ｊ］． Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ，２０２２，７９：１０２４４４．

［６］ ＢＡＲＲＡ Ｓ，ＣＡＲＴＡ Ｓ Ｍ，ＣＯＲＲＩＧＡ Ａ，ｅｔ ａｌ． ＤｅｅｐＬｅａｒｎｉｎｇ ａｎｄ Ｔｉｍｅ ＳｅｒｉｅｓｔｏＩｍａｇｅ Ｅｎｃｏｄｉｎｇ ｆｏｒ ＦｉｎａｎｃｉａｌＦｏｒｅｃａｓｔｉｎｇ［Ｊ］． ＩＥＥＥ／ ＣＡＡ Ｊｏｕｒｎａｌ ｏｆ Ａｕｔｏｍａｔｉｃａ Ｓｉｎｉｃａ，２０２０，７（３）：６８３－６９２．

［７］ ＺＥＮＧ Ｑ Ｓ，ＤＵ Ｙ Ｑ，ＨＵＡＮＧ Ｋ Ｂ，ｅｔ ａｌ． ＥｎｅｒｇｙｅｆｆｉｃｉｅｎｔＲａｄｉｏ Ｒｅｓｏｕｒｃｅ Ａｌｌｏｃａｔｉｏｎ ｆｏｒ Ｆｅｄｅｒａｔｅｄ Ｅｄｇｅ Ｌｅａｒｎｉｎｇ［Ｃ］∥２０２０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｗｏｒｋｓｈｏｐｓ （ＩＣＣ Ｗｏｒｋｓｈｏｐｓ）． Ｍｏｎｔｒｅａｌ：ＩＥＥＥ，２０２０：１－６．

［８］ ＺＨＯＵ Ｘ Ｙ，ＺＨＡＯ Ｊ，ＨＡＮ Ｈ Ｍ，ｅｔ ａｌ． Ｊｏｉｎｔ Ｏｐｔｉｍｉｚａｔｉｏｎｏｆ Ｅｎｅｒｇｙ Ｃｏｎｓｕｍｐｔｉｏｎ ａｎｄ Ｃｏｍｐｌｅｔｉｏｎ Ｔｉｍｅ ｉｎ ＦｅｄｅｒａｔｅｄＬｅａｒｎｉｎｇ［Ｃ］∥２０２２ ＩＥＥＥ ４２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｄｉｓｔｒｉｂｕｔｅｄ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ （ＩＣＤＣＳ）． Ｂｏｌｏｇｎａ：ＩＥＥＥ，２０２２：１００５－１０１７．

［９］ ＫＩＭ Ｊ，ＫＩＭ Ｄ，ＬＥＥ Ｊ，ｅｔ ａｌ． Ａ Ｎｏｖｅｌ Ｊｏｉｎｔ Ｄａｔａｓｅｔ ａｎｄＣｏｍｐｕｔａｔｉｏｎ Ｍａｎａｇｅｍｅｎｔ Ｓｃｈｅｍｅ ｆｏｒ ＥｎｅｒｇｙｅｆｆｉｃｉｅｎｔＦｅｄｅｒａｔｅｄ Ｌｅａｒｎｉｎｇ ｉｎ Ｍｏｂｉｌｅ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ［Ｊ］． ＩＥＥＥＷｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｌｅｔｔｅｒｓ，２０２２，１１（５）：８９８－９０２．

［１０］ＪＩＡＮＧ Ｚ Ｆ，ＷＡＮＧ Ｗ，ＬＩ Ｂ Ｃ，ｅｔ ａｌ． Ｐｉｓｃｅｓ：ＥｆｆｉｃｉｅｎｔＦｅｄｅｒａｔｅｄ Ｌｅａｒｎｉｎｇ ｖｉａ Ｇｕｉｄｅｄ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｔｒａｉｎｉｎｇ［Ｃ］∥ Ｔｈｅ １３ｔｈ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ． ＮｅｗＹｏｒｋ：ＡＣＭ，２０２２：３７０－３８５．

［１１］ＰＡＮ Ｃ，ＷＡＮＧ Ｚ，ＬＩＡＯ Ｈ Ｊ，ｅｔ ａｌ． ＡｓｙｎｃｈｒｏｎｏｕｓＦｅｄｅｒａｔｅｄ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇｂａｓｅｄ ＵＲＬＬＣａｗａｒｅ Ｃｏｍｐｕｔａｔｉｏｎ Ｏｆｆｌｏａｄｉｎｇ ｉｎ Ｓｐａｃｅａｓｓｉｓｔｅｄ ＶｅｈｉｃｕｌａｒＮｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ，２０２３，２４（７）：７３７７－７３８９．

［１２］ＸＵ Ｃ Ｈ，ＱＵ Ｙ Ｙ，ＸＩＡＮＧ Ｙ，ｅｔ ａｌ． ＡｓｙｎｃｈｒｏｎｏｕｓＦｅｄｅｒａｔｅｄ Ｌｅａｒｎｉｎｇ ｏｎ Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｄｅｖｉｃｅｓ：Ａ Ｓｕｒｖｅｙ［Ｊ］． Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｒｅｖｉｅｗ，２０２３，５０：１００５９５．

［１３］ＹＯＵ Ｃ Ｑ，ＦＥＮＧ Ｄ Ｑ，ＧＵＯ Ｋ，ｅｔ ａｌ． ＳｅｍｉｓｙｎｃｈｒｏｎｏｕｓＰｅｒｓｏｎａｌｉｚｅｄ Ｆｅｄｅｒａｔｅｄ Ｌｅａｒｎｉｎｇ Ｏｖｅｒ Ｍｏｂｉｌｅ Ｅｄｇｅ Ｎｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０２３，２２（４）：２２６２－２２７７．

［１４］ＣＩＭＩＮＩ Ｌ． Ａｎａｌｙｓｉｓ ａｎｄ Ｓｉｍｕｌａｔｉｏｎ ｏｆ ａ Ｄｉｇｉｔａｌ ＭｏｂｉｌｅＣｈａｎｎｅｌ Ｕｓｉｎｇ Ｏｒｔｈｏｇｏｎａｌ Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘｉｎｇ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，１９８５，３３（７）：６６５－６７５．

［１５］ＳＫＬＡＲ Ｂ． Ｒａｙｌｅｉｇｈ Ｆａｄｉｎｇ Ｃｈａｎｎｅｌｓ ｉｎ Ｍｏｂｉｌｅ ＤｉｇｉｔａｌＣｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍｓ． Ｉ． Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ［Ｊ ］． ＩＥＥＥＣｏｍｍｕｎｉｃａｔｉｏｎｓ Ｍａｇａｚｉｎｅ，１９９７，３５（９）：１３６－１４６．

［１６］ＲＥＮ Ｊ Ｋ，ＹＵ Ｇ Ｄ，ＤＩＮＧ Ｇ Ｙ． Ａｃｃｅｌｅｒａｔｉｎｇ ＤＮＮＴｒａｉｎｉｎｇ ｉｎ Ｗｉｒｅｌｅｓｓ Ｆｅｄｅｒａｔｅｄ Ｅｄｇｅ Ｌｅａｒｎｉｎｇ Ｓｙｓｔｅｍｓ［Ｊ］． ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｎ Ｓｅｌｅｃｔｅｄ Ａｒｅａｓ ｉｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０２０，３９（１）：２１９－２３２．

［１７］ＭＩＳＥＮＥＲ Ｒ，ＦＬＯＵＤＡＳ Ｃ Ａ． ＡＮＴＩＧＯＮＥ：Ａｌｇｏｒｉｔｈｍｓ ｆｏｒｃｏＮＴｉｎｕｏｕｓ ／ Ｉｎｔｅｇｅｒ Ｇｌｏｂａｌ Ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆ ＮｏｎｌｉｎｅａｒＥｑｕａｔｉｏｎｓ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｇｌｏｂａｌ Ｏｐｔｉｍｉｚａｔｉｏｎ，２０１４，５９（２－３）：５０３－５２６．

［１８］ＫＵＨＮ Ｈ Ｗ，ＴＵＣＫＥＲ Ａ Ｗ． Ｎｏｎｌｉｎｅａｒ Ｐｒｏｇｒａｍｍｉｎｇ［Ｍ］∥ＧＡＳＳ Ｓ Ｉ，ＦＵ Ｍ Ｃ． Ｔｒａｃｅｓ ａｎｄ Ｅｍｅｒｇｅｎｃｅ ｏｆ Ｎｏｎｌｉｎｅａｒ Ｐｒｏｇｒａｍｍｉｎｇ． Ｂａｓｅｌ：Ｓｐｒｉｎｇｅｒ Ｂａｓｅｌ，２０１３：２４７－２５８．

作者簡(jiǎn)介：

李 鐵 男，（１９９９—），碩士研究生。主要研究方向：邊緣計(jì)算、聯(lián)邦學(xué)習(xí)。

莊 琲 女，（２０００—），碩士研究生。主要研究方向：邊緣計(jì)算、聯(lián)邦學(xué)習(xí)。

林尚靜 女，（１９８６—），博士，講師。主要研究方向：邊緣計(jì)算、分布式計(jì)算、深度學(xué)習(xí)。

韓志博 女，（１９９９—），碩士研究生。主要研究方向：邊緣計(jì)算、聯(lián)邦學(xué)習(xí)。

基金項(xiàng)目：湖北省工程研究中心２０２４ 年開(kāi)放課題