異構(gòu)聯(lián)邦學(xué)習(xí)在無人系統(tǒng)中的研究綜述

摘 要：異構(gòu)聯(lián)邦學(xué)習(xí)（heterogeneous federated learning，HFL）是一種用于解決數(shù)據(jù)和設(shè)備異構(gòu)性問題的分布式機(jī)器學(xué)習(xí)方法，廣泛應(yīng)用于包括無人系統(tǒng)在內(nèi)的多種場景。隨著無人系統(tǒng)（如無人機(jī)、自動(dòng)駕駛車輛）的快速發(fā)展，如何有效應(yīng)對非獨(dú)立同分布（non-IID）數(shù)據(jù)及設(shè)備計(jì)算能力差異，已成為提升聯(lián)邦學(xué)習(xí)效率和性能的重要挑戰(zhàn)。綜述了異構(gòu)聯(lián)邦學(xué)習(xí)在無人系統(tǒng)中的最新研究進(jìn)展，重點(diǎn)分析了數(shù)據(jù)、設(shè)備及模型異構(gòu)性帶來的主要問題，并總結(jié)了現(xiàn)有的解決方案，如分層聯(lián)邦學(xué)習(xí)、模型壓縮與剪枝技術(shù)在此領(lǐng)域的應(yīng)用。還討論了這些技術(shù)的實(shí)際應(yīng)用場景，評(píng)估了它們的優(yōu)缺點(diǎn)，并提出了未來可能的研究方向，以進(jìn)一步提升無人系統(tǒng)中的聯(lián)邦學(xué)習(xí)性能和數(shù)據(jù)隱私保護(hù)水平。

關(guān)鍵詞：聯(lián)邦學(xué)習(xí)； 異構(gòu)性； 無人系統(tǒng)； 非獨(dú)立同分布； 數(shù)據(jù)隱私

中圖分類號(hào)：TP399"" 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2025）03-001-0641-09

doi：10.19734/j.issn.1001-3695.2024.07.0256

Review of research on heterogeneous federated learning in unmanned systems

Yu Hao1，2， Fan Jing1，2， Sun Yihang1，2

（1.College of Electrical amp; Information Technology， Yunnan Minzu University， Kunming 650000， China; 2. Yunnan Key Laboratory of Unmanned Autonomous System， Kunming 650500， China）

Abstract：HFL is a distributed machine learning approach designed to address the challenges of data and device heterogeneity， applicable to various domains， including unmanned systems. As unmanned systems（e.g.， drones and autonomous vehicles） continue to evolve， efficiently handling non-independent and identically distributed（non-IID） data and the computational differences between devices has become a critical challenge for improving the performance and efficiency of federated learning. This paper reviewed recent advances in HFL within unmanned systems， focusing on the challenges posed by data， device， and model heterogeneity， and summarized existing solutions， such as hierarchical federated learning， model compression， and pruning techniques. The paper also discussed practical applications of these techniques， evaluated their strengths and limitations， and proposed future research directions to further enhance the performance of federated learning in unmanned systems and improve data privacy protection.

Key words：federated learning; heterogeneity; unmanned systems; non-IID; data privacy

隨著科技的飛速發(fā)展，無人駕駛飛行器（UAVs）和無人駕駛汽車等無人系統(tǒng)在現(xiàn)代社會(huì)中的應(yīng)用越來越廣泛。無人系統(tǒng)不僅在民用領(lǐng)域如物流配送、農(nóng)田監(jiān)控和環(huán)境監(jiān)測中發(fā)揮著關(guān)鍵作用，在軍事領(lǐng)域也擁有重要的戰(zhàn)略地位。為了提升無人系統(tǒng)的智能化水平，人工智能（AI）和機(jī)器學(xué)習(xí)（ML）技術(shù)的引入成為不可避免的趨勢。

傳統(tǒng)的機(jī)器學(xué)習(xí)方法依賴于將大量數(shù)據(jù)傳輸?shù)郊惺降脑品?wù)器進(jìn)行訓(xùn)練，這種方法存在數(shù)據(jù)隱私泄露的風(fēng)險(xiǎn)，且會(huì)帶來不可接受的通信延遲和巨大的帶寬消耗［1］。聯(lián)邦學(xué)習(xí)作為一種新興的分布式機(jī)器學(xué)習(xí)范式，通過在終端設(shè)備上訓(xùn)練局部模型并僅傳輸更新后的模型參數(shù)，有效地保護(hù)了數(shù)據(jù)隱私，減少了延遲，并降低了帶寬消耗［2］。

然而，聯(lián)邦學(xué)習(xí)在實(shí)際應(yīng)用中面臨一個(gè)重大挑戰(zhàn)，即數(shù)據(jù)和設(shè)備間的異構(gòu)性。現(xiàn)實(shí)中的數(shù)據(jù)往往是非獨(dú)立同分布（non-IID）的，不同設(shè)備在計(jì)算能力、存儲(chǔ)能力、網(wǎng)絡(luò)帶寬以及本地模型復(fù)雜程度方面也存在顯著差異［3］。這些異構(gòu)性對傳統(tǒng)聯(lián)邦學(xué)習(xí)提出了新的挑戰(zhàn)，使其難以在無人系統(tǒng)中有效應(yīng)用。例如，在無人機(jī)網(wǎng)絡(luò)中，由于不同無人機(jī)采集的數(shù)據(jù)具有不同的分布特性，而不同無人機(jī)的硬件資源也存在差異，這導(dǎo)致傳統(tǒng)聯(lián)邦學(xué)習(xí)方法的性能受到限制［4］。

為了解決上述問題，異構(gòu)聯(lián)邦學(xué)習(xí)（HFL）應(yīng)運(yùn)而生。HFL通過考慮數(shù)據(jù)和設(shè)備間的異構(gòu)性，優(yōu)化了聯(lián)邦學(xué)習(xí)的算法和架構(gòu)，使其能夠更好地適應(yīng)復(fù)雜多變的無人系統(tǒng)環(huán)境［5］。本文將系統(tǒng)地綜述異構(gòu)聯(lián)邦學(xué)習(xí)在無人系統(tǒng)中的研究背景，異構(gòu)性的分類，分析現(xiàn)有的解決方案，并探討未來的研究方向。

通過深入研究異構(gòu)聯(lián)邦學(xué)習(xí)并將其應(yīng)用于無人系統(tǒng)，不僅可以提升無人系統(tǒng)的智能化水平，實(shí)現(xiàn)更高效的任務(wù)執(zhí)行和更安全的系統(tǒng)運(yùn)行，還可以為未來更多領(lǐng)域的智能化應(yīng)用提供借鑒和指導(dǎo)。異構(gòu)聯(lián)邦學(xué)習(xí)的成功應(yīng)用將有助于推動(dòng)無人系統(tǒng)技術(shù)的發(fā)展，并帶來深遠(yuǎn)的社會(huì)和經(jīng)濟(jì)效益。

1 研究背景

無人系統(tǒng)作為未來智能化的重要發(fā)展方向，涉及大規(guī)模終端設(shè)備的協(xié)同工作。聯(lián)邦學(xué)習(xí)作為一種前沿的分布式機(jī)器學(xué)習(xí)，與這一背景相結(jié)合，為無人系統(tǒng)領(lǐng)域提供了新的應(yīng)用機(jī)會(huì)。本章將詳細(xì)介紹研究背景及相關(guān)概念。

1.1 無人系統(tǒng)

無人系統(tǒng)（unmanned systems，US）是指無須人類直接操作，通過自主或遠(yuǎn)程控制技術(shù)實(shí)現(xiàn)任務(wù)執(zhí)行的系統(tǒng)。這些系統(tǒng)涵蓋了無人機(jī)（UAVs）、無人駕駛汽車（UAVs）、無人船舶（USVs）等多種類型。無人系統(tǒng)通常由感知、決策、執(zhí)行和通信等多個(gè)子系統(tǒng)組成，通過協(xié)同工作完成特定任務(wù)。

無人系統(tǒng)在軍事、環(huán)境監(jiān)測、物流運(yùn)輸、農(nóng)業(yè)等領(lǐng)域有廣泛的應(yīng)用。它們能夠在復(fù)雜、多變的環(huán)境中高效執(zhí)行任務(wù)，減少人類在危險(xiǎn)環(huán)境中的暴露，提升任務(wù)執(zhí)行的安全性和效率。隨著現(xiàn)代人工智能技術(shù)的發(fā)展，無人系統(tǒng)的智能化水平也不斷提高，實(shí)現(xiàn)了更高效和自主的任務(wù)執(zhí)行。

然而，無人系統(tǒng)在實(shí)際應(yīng)用中面臨著重大挑戰(zhàn)，主要包括實(shí)時(shí)通信所需的巨大資源需求以及數(shù)據(jù)隱私保護(hù)的必要性。為了解決這些問題，提升無人系統(tǒng)的智能化水平和任務(wù)執(zhí)行能力，各種新技術(shù)和方法不斷被提出。聯(lián)邦學(xué)習(xí)以其去中心化的通信架構(gòu)和強(qiáng)大的隱私保護(hù)特性，成為了研究的熱點(diǎn)。其在數(shù)據(jù)隱私保護(hù)和分布式計(jì)算方面的顯著優(yōu)勢，在無人系統(tǒng)領(lǐng)域引起了廣泛關(guān)注［6］。

1.2 聯(lián)邦學(xué)習(xí)

FL最早由Google公司的Brendan McMahan等研究人員在2016年提出。其初衷是解決隱私泄露問題，通過分布式的方法將模型分布到各個(gè)終端設(shè)備，各終端獨(dú)立建立模型，然后僅傳遞模型參數(shù)或梯度，確保數(shù)據(jù)不出本地，從而保護(hù)隱私。

聯(lián)邦學(xué)習(xí)的基本原理是在本地設(shè)備上進(jìn)行模型訓(xùn)練，然后將模型參數(shù)聚合到中央服務(wù)器進(jìn)行更新，實(shí)現(xiàn)數(shù)據(jù)共享而不泄露原始數(shù)據(jù)，如圖1所示。

通常，聯(lián)邦學(xué)習(xí)的一個(gè)輪次可分為以下四個(gè)階段：

a）下發(fā)更新：中央服務(wù)器將上一輪聚合全局模型參數(shù)W（t）下發(fā)給各個(gè)客戶端，進(jìn)入下一輪訓(xùn)練。

b）本地訓(xùn)練：每個(gè)客戶端i使用本地?cái)?shù)據(jù)集Di在當(dāng)前的全局模型參數(shù)W（t）上進(jìn)行本地訓(xùn)練，得到更新后的本地模型參數(shù)Wi（t+1） 。

c）上傳參數(shù)：各客戶端將本地模型參數(shù)Wi（t+1）上傳到中央服務(wù)器。

d）參數(shù)聚合：中央服務(wù)器進(jìn)行參數(shù)聚合，得到新的全局模型參數(shù)W（t+1）。最常用的參數(shù)聚合方法是加權(quán)平均（如Fed-Avg算法）：

W（t+1）=∑Ki=1ninWi（t+1）

（1）

其中：K為參與聯(lián)邦學(xué)習(xí)的客戶端數(shù)量；ni為客戶端i本地?cái)?shù)據(jù)集Di大小；n是所有客戶端數(shù)據(jù)樣本的總數(shù)。

聯(lián)邦學(xué)習(xí)的優(yōu)化目標(biāo)是通過協(xié)作達(dá)到全局最優(yōu)，即最小化全局損失函數(shù)。該損失函數(shù)定義為所有客戶端損失的加權(quán)平均：

argminWF（W）=∑Ki=1piFi（w）

（2）

其中：F（W）是全局損失函數(shù)；Pi和Fi（w）分別為客戶端i的權(quán)重系數(shù)以及局部損失函數(shù)。

通過以上步驟，聯(lián)邦學(xué)習(xí)實(shí)現(xiàn)了多數(shù)據(jù)源的協(xié)同訓(xùn)練。各客戶端在本地?cái)?shù)據(jù)上獨(dú)立訓(xùn)練模型，并將更新后的模型參數(shù)上傳至中央服務(wù)器。中央服務(wù)器對所有客戶端的模型參數(shù)進(jìn)行加權(quán)平均，生成新的全局模型參數(shù)，并下發(fā)給各客戶端，開始下一輪訓(xùn)練。這一過程確保了數(shù)據(jù)隱私保護(hù)，同時(shí)充分利用各客戶端的計(jì)算資源和數(shù)據(jù)，提高了模型的泛化能力和準(zhǔn)確性。

1.3 聯(lián)邦學(xué)習(xí)的局限性

當(dāng)前研究中，聯(lián)邦學(xué)習(xí)在無人系統(tǒng)中已經(jīng)展示出一些實(shí)際應(yīng)用并帶來了顯著優(yōu)勢。Wang等人［7］研究突出了聯(lián)邦學(xué)習(xí)在無人機(jī)群體中隱私保護(hù)方面的優(yōu)勢，通過在本地設(shè)備上進(jìn)行模型訓(xùn)練，有效避免了數(shù)據(jù)泄露的風(fēng)險(xiǎn)。此外，Shen等人［8］在資源受限車聯(lián)網(wǎng)研究表明，聯(lián)邦學(xué)習(xí)在減少通信開銷方面也具有顯著優(yōu)勢，能夠在分布式系統(tǒng)中高效進(jìn)行模型訓(xùn)練和更新。

然而，盡管無人系統(tǒng)與聯(lián)邦學(xué)習(xí)的結(jié)合展現(xiàn)出巨大的潛力，實(shí)際應(yīng)用中面臨著重大挑戰(zhàn)。Yang等人［9］指出，異構(gòu)終端設(shè)備可能會(huì)顯著降低模型性能，并增加訓(xùn)練過程中的收斂時(shí)間。在極端的異質(zhì)環(huán)境中，聯(lián)邦學(xué)習(xí)甚至可能無法有效收斂，從而導(dǎo)致全局模型性能顯著下降。此外，不同類型的無人系統(tǒng)在數(shù)據(jù)特征和分布上存在顯著差異，執(zhí)行任務(wù)的種類和需求也各異。最后，無人系統(tǒng)在計(jì)算能力、存儲(chǔ)能力和通信帶寬方面的差異，也對異構(gòu)聯(lián)邦學(xué)習(xí)在無人系統(tǒng)中的應(yīng)用提出了挑戰(zhàn)，這些差異迫使研究者深入探討如何有效應(yīng)用異構(gòu)聯(lián)邦學(xué)習(xí)技術(shù)。

2 異構(gòu)聯(lián)邦學(xué)習(xí)在無人系統(tǒng)的分類

異構(gòu)聯(lián)邦學(xué)習(xí)是建立在聯(lián)邦學(xué)習(xí)基礎(chǔ)上的一種技術(shù)，專注于解決參與方之間數(shù)據(jù)、設(shè)備或模型的異構(gòu)性差異問題。其中，異構(gòu)性是指系統(tǒng)中存在的多樣性和差異性。在聯(lián)邦學(xué)習(xí)的背景下，無人系統(tǒng)中的異構(gòu)性主要體現(xiàn)在數(shù)據(jù)、設(shè)備和模型三個(gè)方面，如圖2所示。

2.1 數(shù)據(jù)異構(gòu)性

數(shù)據(jù)異構(gòu)性（data heterogeneity）指各客戶端本地?cái)?shù)據(jù)的分布存在顯著差異。分散式無人網(wǎng)絡(luò)中的終端設(shè)備采集的數(shù)據(jù)具有非獨(dú)立同分布（non-IID）的特性，這種非IID性可能由以下因素引起：a）數(shù)據(jù)類別差異，即不同客戶端擁有不同的目標(biāo)類別標(biāo)簽；b）樣本數(shù)量不均衡，即不同客戶端的訓(xùn)練樣本數(shù)量存在顯著差異［10］。Li等人［11］指出，統(tǒng)計(jì)異質(zhì)性是導(dǎo)致聯(lián)邦學(xué)習(xí)在應(yīng)用過程中公平性與魯棒性約束之間緊張關(guān)系的主要原因。

ACIFL（address class imbalance in federated learning）將聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)不平衡問題分為局部不平衡與全局不平衡的概念［12］。局部不平衡，指各方數(shù)據(jù)分布呈現(xiàn)非獨(dú)立同分布（non-IID）的特性，各本地?cái)?shù)據(jù)集的各類樣本分布不均衡，而全局不平衡指若將各方數(shù)據(jù)匯總，數(shù)據(jù)則整體呈現(xiàn)出不平衡的性質(zhì)，例如長尾分布［13］。這些情況可能會(huì)降低聯(lián)邦學(xué)習(xí)的性能，本地?cái)?shù)據(jù)的異質(zhì)分布使得本地模型在不同的更新方向上遠(yuǎn)離全局目標(biāo)，從而使全局模型在匯聚更新時(shí)遠(yuǎn)離全局目標(biāo)，如圖3所示。而整體數(shù)據(jù)的長尾分布則注定了全局模型的性能將會(huì)偏向于多數(shù)類樣本［14］。

在無人系統(tǒng)中，數(shù)據(jù)異構(gòu)性由多種因素導(dǎo)致。不同的數(shù)據(jù)源會(huì)產(chǎn)生不同的特征，因?yàn)榭蛻舳丝赡軓亩喾N來源獲取數(shù)據(jù)。例如，在無人機(jī)系統(tǒng)中，不同區(qū)域的地理數(shù)據(jù)和環(huán)境數(shù)據(jù)可能存在顯著差異，而不同傳感器的采集方式和精度也會(huì)導(dǎo)致數(shù)據(jù)的異質(zhì)性［15］。此外，無人系統(tǒng)執(zhí)行的任務(wù)類型多樣化也會(huì)導(dǎo)致數(shù)據(jù)差異。一些無人機(jī)可能專注于監(jiān)控和偵察，而另一些可能用于物資運(yùn)輸，這些任務(wù)的多樣性都會(huì)導(dǎo)致采集到的數(shù)據(jù)在特征和分布上的差異［16］。最后，終端能力的限制也是一個(gè)重要因素。不同無人系統(tǒng)在計(jì)算能力、存儲(chǔ)能力和通信帶寬方面存在差異，一些較先進(jìn)的無人機(jī)配備高性能傳感器和計(jì)算單元，其可以收集優(yōu)質(zhì)信息，而較老舊或低性能的設(shè)備則可能只能采集較低分辨率的數(shù)據(jù)［17］。

數(shù)據(jù)異構(gòu)性會(huì)對聯(lián)邦學(xué)習(xí)的模型訓(xùn)練過程產(chǎn)生顯著影響。由于全局模型需要適應(yīng)多種不同的數(shù)據(jù)分布，訓(xùn)練過程更加復(fù)雜，可能導(dǎo)致模型收斂速度變慢，甚至出現(xiàn)模型性能下降以及發(fā)散情況［18］。

2.2 設(shè)備異構(gòu)性

設(shè)備異構(gòu)性（device heterogeneity）指的是參與聯(lián)邦學(xué)習(xí)的各客戶端設(shè)備在計(jì)算能力、存儲(chǔ)容量和網(wǎng)絡(luò)帶寬等方面存在差異。

客戶端強(qiáng)異構(gòu)性是區(qū)別聯(lián)邦學(xué)習(xí)和數(shù)據(jù)中心分布式機(jī)器學(xué)習(xí)的關(guān)鍵特性。計(jì)算能力差異和網(wǎng)絡(luò)帶寬差異帶來最顯著的一點(diǎn)是掉隊(duì)者問題［19］。掉隊(duì)者是指在同步聯(lián)邦學(xué)習(xí)協(xié)議中， 因網(wǎng)絡(luò)分區(qū)或資源受限等原因， 某一客戶端回傳本地模型參數(shù)的時(shí)間遠(yuǎn)遠(yuǎn)落后于其余客戶端， 大幅度降低了整體聯(lián)邦訓(xùn)練的效率。此外，文獻(xiàn)［20］表明，容量有限的微小模型往往會(huì)出現(xiàn)擬合不足而不是擬合過度的問題，這對于異構(gòu)問題中的儲(chǔ)存差異是一個(gè)顯著挑戰(zhàn)。

不同類型無人系統(tǒng)設(shè)備的處理器性能、內(nèi)存容量和計(jì)算能力通常存在顯著差異。無人駕駛汽車和無人機(jī)的硬件配置可能大不相同，前者通常具備更強(qiáng)的計(jì)算能力和存儲(chǔ)容量。其次，不同設(shè)備的存儲(chǔ)容量限制會(huì)影響本地?cái)?shù)據(jù)的存儲(chǔ)和處理能力。例如，邊緣設(shè)備和物聯(lián)網(wǎng)設(shè)備通常具有較小的存儲(chǔ)容量，難以存儲(chǔ)大規(guī)模數(shù)據(jù)。最后，不同設(shè)備的網(wǎng)絡(luò)連接狀況可能不同，導(dǎo)致通信帶寬和延遲存在差異。處于遠(yuǎn)程地區(qū)的無人設(shè)備可能面臨較高的網(wǎng)絡(luò)延遲和較低的帶寬，影響數(shù)據(jù)傳輸和模型同步［21］。

設(shè)備異構(gòu)性會(huì)影響聯(lián)邦學(xué)習(xí)的整體效率和性能。計(jì)算能力較弱或網(wǎng)絡(luò)條件較差的設(shè)備可能成為訓(xùn)練過程中的瓶頸，導(dǎo)致全局模型更新速度變慢或通信開銷增加。解決設(shè)備異構(gòu)性的問題，需要設(shè)計(jì)高效的分布式算法和通信策略，以充分利用各設(shè)備的資源，提高聯(lián)邦學(xué)習(xí)的魯棒性和適應(yīng)性。

2.3 模型異構(gòu)性

模型異構(gòu)性（model heterogeneity）指的是不同客戶端可能需要使用不同的模型架構(gòu)或參數(shù)配置，以適應(yīng)各自的任務(wù)需求和硬件限制。

模型異構(gòu)性使得聯(lián)邦學(xué)習(xí)的協(xié)同訓(xùn)練過程更加復(fù)雜。不同的模型架構(gòu)和參數(shù)配置需要不同的訓(xùn)練策略和優(yōu)化方法，增加了模型訓(xùn)練的復(fù)雜性［22］。輕量級(jí)模型可能需要更頻繁地進(jìn)行本地更新，而較復(fù)雜的模型則可能需要更多的全局同步。另外，由于各客戶端的模型架構(gòu)不同，最終的全局模型可能無法同時(shí)適應(yīng)所有客戶端的數(shù)據(jù)分布和任務(wù)需求，這可能導(dǎo)致全局模型的性能下降，尤其是在處理多任務(wù)學(xué)習(xí)或遷移學(xué)習(xí)場景時(shí)［23］。

在多任務(wù)學(xué)習(xí)或遷移學(xué)習(xí)場景中，各客戶端可能需要不同的模型結(jié)構(gòu)來處理各自的特定任務(wù)。無人駕駛系統(tǒng)中的不同車輛可能執(zhí)行目標(biāo)檢測、路徑規(guī)劃和交通監(jiān)控等不同任務(wù)［24］。不同設(shè)備的硬件配置和資源限制也可能要求使用不同的模型架構(gòu)。計(jì)算能力較低的設(shè)備可能需要輕量級(jí)模型，而計(jì)算能力較強(qiáng)的設(shè)備可以使用復(fù)雜的深度學(xué)習(xí)模型。最后，不同客戶端的用戶需求和偏好可能導(dǎo)致對模型進(jìn)行個(gè)性化調(diào)整。在個(gè)性化推薦系統(tǒng)中，不同用戶的興趣和行為模式不同，需要針對性地調(diào)整模型參數(shù)和結(jié)構(gòu)。

模型異構(gòu)性使得聯(lián)邦學(xué)習(xí)的協(xié)同訓(xùn)練過程更加復(fù)雜。解決模型異構(gòu)性的問題，需要開發(fā)靈活的聯(lián)邦學(xué)習(xí)框架和優(yōu)化算法，以支持多樣化的模型架構(gòu)和個(gè)性化需求。

異構(gòu)性是聯(lián)邦學(xué)習(xí)中的一個(gè)重要特征和挑戰(zhàn)。數(shù)據(jù)異構(gòu)性、設(shè)備異構(gòu)性和模型異構(gòu)性各自帶來了不同的問題，但也為聯(lián)邦學(xué)習(xí)提供了豐富的研究機(jī)會(huì)。通過設(shè)計(jì)針對異構(gòu)性的優(yōu)化算法和架構(gòu)，可以顯著提升聯(lián)邦學(xué)習(xí)的性能和適用性，為無人系統(tǒng)等領(lǐng)域的智能化應(yīng)用提供堅(jiān)實(shí)的基礎(chǔ)和廣闊的發(fā)展前景。

3 現(xiàn)有解決方案與比較

在異構(gòu)聯(lián)邦學(xué)習(xí)中，研究者提出了應(yīng)對數(shù)據(jù)、設(shè)備和模型異構(gòu)性的多種方案。以下將從數(shù)據(jù)異構(gòu)性、設(shè)備異構(gòu)性和模型異構(gòu)性三個(gè)方面詳細(xì)探討這些方案在無人系統(tǒng)中的應(yīng)用及其實(shí)際價(jià)值，尤其是無人機(jī)和車聯(lián)網(wǎng)領(lǐng)域中的優(yōu)勢和挑戰(zhàn)。

3.1 數(shù)據(jù)異構(gòu)性的解決方案

在無人系統(tǒng)中，數(shù)據(jù)通常具有非獨(dú)立同分布（non-IID）的特性。例如，無人機(jī)在不同環(huán)境（如城市、鄉(xiāng)村、海洋）中采集的數(shù)據(jù)差異顯著，這對模型訓(xùn)練構(gòu)成了挑戰(zhàn)。為解決數(shù)據(jù)異構(gòu)性問題，研究者提出了一系列優(yōu)化策略，以提高模型在非IID環(huán)境下的表現(xiàn)。

3.1.1 本地訓(xùn)練優(yōu)化

本地訓(xùn)練優(yōu)化的核心目標(biāo)是在異構(gòu)數(shù)據(jù)環(huán)境下，通過調(diào)整本地?cái)?shù)據(jù)集和優(yōu)化訓(xùn)練過程，增強(qiáng)本地模型與全局模型的一致性，從而減少因數(shù)據(jù)分布差異導(dǎo)致的模型偏差，提升全局模型的性能與魯棒性。

為應(yīng)對數(shù)據(jù)分布差異帶來的挑戰(zhàn)，調(diào)控本地?cái)?shù)據(jù)集的一種常見策略是數(shù)據(jù)共享。文獻(xiàn)［25］提出了一種設(shè)定共享比例的策略，將各節(jié)點(diǎn)的一部分?jǐn)?shù)據(jù)放入共享數(shù)據(jù)池，供其他節(jié)點(diǎn)在本地訓(xùn)練時(shí)使用，從而減小局部數(shù)據(jù)間的分布差異，增強(qiáng)模型的泛化能力。在車聯(lián)網(wǎng)環(huán)境中，文獻(xiàn)［26］提出的FedWO策略則通過路側(cè)邊緣服務(wù)器（RSU）抽取部分車輛數(shù)據(jù)進(jìn)行共享，并采用基于余弦相似度的加權(quán)聚合技術(shù)，有效減少了數(shù)據(jù)異質(zhì)性對全局模型的負(fù)面影響。但在軍事或其他隱私敏感的領(lǐng)域，數(shù)據(jù)共享可能引發(fā)隱私泄露的風(fēng)險(xiǎn)。為此，Liang等人［27］建議將聯(lián)邦學(xué)習(xí)與交通模擬器相結(jié)合，通過模擬環(huán)境下訓(xùn)練強(qiáng)化學(xué)習(xí)（RL）模型，避免直接共享原始數(shù)據(jù)，從而有效應(yīng)對數(shù)據(jù)異構(gòu)性問題，同時(shí)保證數(shù)據(jù)隱私的安全性。

除了數(shù)據(jù)共享，動(dòng)態(tài)學(xué)習(xí)率調(diào)整也是提升本地訓(xùn)練效率的關(guān)鍵手段。文獻(xiàn)［28］提出了一種適用于無人機(jī)集群的自適應(yīng)學(xué)習(xí)率調(diào)整方法，通過動(dòng)態(tài)優(yōu)化節(jié)點(diǎn)的學(xué)習(xí)過程，提升異構(gòu)環(huán)境下的模型表現(xiàn)。該方法根據(jù)節(jié)點(diǎn)的訓(xùn)練狀態(tài)調(diào)整學(xué)習(xí)率，確保了在不均衡設(shè)備環(huán)境中的快速模型收斂。而文獻(xiàn)［29］進(jìn)一步提出了一種模型重要性加權(quán)的隨機(jī)梯度下降算法，通過賦予重要參數(shù)更大的更新步長，加速全局模型的收斂，幫助無人機(jī)更快適應(yīng)未知環(huán)境。盡管這些方法有效提高了訓(xùn)練效率和模型精度，但在計(jì)算資源受限的設(shè)備上，可能會(huì)增加系統(tǒng)開銷。因此，未來研究應(yīng)重點(diǎn)探索低計(jì)算和低通信負(fù)載的優(yōu)化策略，以適應(yīng)無人系統(tǒng)中的資源限制，在性能和能耗之間取得平衡。

3.1.2 聚合策略調(diào)整

在無人系統(tǒng)的聯(lián)邦學(xué)習(xí)中，優(yōu)化聚合策略是提升全局模型性能的關(guān)鍵。合理的模型參數(shù)聚合方式能夠有效應(yīng)對設(shè)備任務(wù)、環(huán)境和特性差異，從而緩解因異構(gòu)性引發(fā)的全局模型性能下降，尤其在無人機(jī)、車聯(lián)網(wǎng)等多設(shè)備協(xié)作場景中表現(xiàn)尤為重要。

在非IID數(shù)據(jù)場景中，傳統(tǒng)的FedAvg方法主要根據(jù)節(jié)點(diǎn)數(shù)據(jù)量評(píng)估其貢獻(xiàn)，這可能導(dǎo)致權(quán)重分配不均。例如，城市中的無人機(jī)可能采集大量低質(zhì)量數(shù)據(jù)，從而影響整體模型性能。為了解決這個(gè)問題，Liu等人［30］提出了FedVa加權(quán)策略，該策略綜合考慮數(shù)據(jù)量和模型精度，優(yōu)化設(shè)備權(quán)重分配，從而顯著提升全局模型的準(zhǔn)確性。然而，隨著設(shè)備集群規(guī)模的擴(kuò)大，該方法的計(jì)算復(fù)雜度也隨之增加，在資源受限的無人系統(tǒng)中，模型精度的精確估計(jì)仍然面臨挑戰(zhàn)。

為了進(jìn)一步應(yīng)對數(shù)據(jù)分布差異，重新加權(quán)目標(biāo)函數(shù)是一種有效的解決方案。在邊境無人機(jī)執(zhí)行巡防偵察任務(wù)時(shí)，這一策略能夠確保數(shù)據(jù)有限的節(jié)點(diǎn)貢獻(xiàn)不被忽視。文獻(xiàn)［31］提出了一種為損失較大的設(shè)備分配更高權(quán)重的策略，這樣可以確保數(shù)據(jù)不足的節(jié)點(diǎn)得到更多關(guān)注，從而改善異構(gòu)數(shù)據(jù)下的模型表現(xiàn)。文獻(xiàn)［32］則進(jìn)一步提出了一種考慮客戶端重要性和可靠性的重新加權(quán)方法，通過動(dòng)態(tài)調(diào)整客戶端權(quán)重，提高了模型的整體性能和穩(wěn)定性。重新加權(quán)目標(biāo)函數(shù)的方法在提升模型性能和公平性方面效果顯著，但需要準(zhǔn)確評(píng)估各戶端的損失和貢獻(xiàn)度，實(shí)施過程中可能面臨復(fù)雜性和計(jì)算成本問題。

針對數(shù)據(jù)異常或通信中斷引發(fā)的挑戰(zhàn)，剔除異常節(jié)點(diǎn)的聚合機(jī)制尤為重要。Chen等人［33］提出了異常感知梯度聚合規(guī)則，通過相對距離度量和局部梯度時(shí)間演化來識(shí)別異常節(jié)點(diǎn)并動(dòng)態(tài)調(diào)整其權(quán)重。這一方法在無人車隊(duì)和無人機(jī)集群的復(fù)雜環(huán)境下表現(xiàn)出色，能夠有效減少因設(shè)備故障或數(shù)據(jù)異常導(dǎo)致的模型偏差。在車輛網(wǎng)場景，文獻(xiàn)［34］則進(jìn)一步提出自動(dòng)異常檢測機(jī)制，動(dòng)態(tài)自動(dòng)識(shí)別和處理異常車輛，顯著提高了模型的穩(wěn)定性和準(zhǔn)確性。雖然剔除異常設(shè)備有助于穩(wěn)定模型，但也可能導(dǎo)致精度損失，因此未來研究需要關(guān)注如何在保障模型精度的同時(shí)有效應(yīng)對異常節(jié)點(diǎn)的影響。

此外，聚類加權(quán)聚合也是應(yīng)對數(shù)據(jù)異質(zhì)性的有效策略，尤其適用于具有不同傳感器的無人機(jī)集群。通過將數(shù)據(jù)特性相似的設(shè)備聚類，并對聚類內(nèi)的模型進(jìn)行加權(quán)平均，可以顯著提升模型的泛化能力，增強(qiáng)系統(tǒng)在復(fù)雜場景下的適應(yīng)性。文獻(xiàn)［35］提出了聚類加權(quán)方法，將數(shù)據(jù)特性相似的設(shè)備進(jìn)行聚類，對每個(gè)聚類內(nèi)的模型進(jìn)行加權(quán)平均，進(jìn)一步提升了異構(gòu)環(huán)境中的模型表現(xiàn)。

3.1.3 操縱無人設(shè)備選擇模式

在無人系統(tǒng)的聯(lián)邦學(xué)習(xí)中，優(yōu)化客戶端選擇是提升全局模型訓(xùn)練效率和精度的一種解決思路。通過篩選高質(zhì)量設(shè)備，可以確保所選設(shè)備更好地反映整體數(shù)據(jù)分布。對于在車聯(lián)網(wǎng)和無人機(jī)集群等多設(shè)備協(xié)同工作環(huán)境中，這有助于顯著提高模型性能。

為應(yīng)對無人設(shè)備間資源不均衡和數(shù)據(jù)分布異質(zhì)性問題，已有多種客戶端選擇策略被提出。文獻(xiàn)［36］提出一種通過聚合服務(wù)器篩選客戶端的機(jī)制，避免低質(zhì)量設(shè)備的參與，從而加速聯(lián)邦訓(xùn)練并提高模型精度。該方法尤其適用于計(jì)算能力較弱的無人機(jī)，能夠排除低效設(shè)備，減少通信和計(jì)算開銷，且無須修改同步協(xié)議，與隱私保護(hù)機(jī)制兼容。同樣，王光輝等人［37］提出了基于代理選舉的異構(gòu)聯(lián)邦學(xué)習(xí)方法（FedAE），通過評(píng)估設(shè)備的計(jì)算能力和閑置時(shí)長，選擇高性能設(shè)備作為代理節(jié)點(diǎn)，從而減少低性能設(shè)備的影響并優(yōu)化資源分配。實(shí)驗(yàn)結(jié)果顯示，F(xiàn)edAE在無人系統(tǒng)中的訓(xùn)練效率提升約22%，特別適用于高效調(diào)度和資源優(yōu)化的場景。

在動(dòng)態(tài)場景中，無人機(jī)集群對通信敏感度和實(shí)時(shí)性要求尤為嚴(yán)格。Wu等人［38］提出FedOL結(jié)合在線學(xué)習(xí)與聯(lián)邦學(xué)習(xí)，使無人機(jī)能夠在新場景中快速更新樣本并提高模型準(zhǔn)確性。該方法允許服務(wù)器選擇高效參與者，客戶端無人機(jī)則優(yōu)先處理關(guān)鍵樣本，從而減少訓(xùn)練延遲并提升性能。實(shí)驗(yàn)表明，F(xiàn)edOL在通信資源有限的環(huán)境中加速訓(xùn)練速度約1.02倍。

對于長時(shí)間自主運(yùn)行的無人機(jī)網(wǎng)絡(luò)，能耗管理是一個(gè)關(guān)鍵挑戰(zhàn)。文獻(xiàn)［39］提出了節(jié)能客戶端選擇（ESCS）算法，該算法擴(kuò)展了RAWCS算法，通過評(píng)估訓(xùn)練時(shí)間、電池電量和能耗，優(yōu)化客戶端選擇，既保證了模型性能，又最大化了能源效率，避免因設(shè)備掉線導(dǎo)致的精度下降。然而，這種方法需要實(shí)時(shí)監(jiān)控設(shè)備能耗，從而增加了系統(tǒng)管理的復(fù)雜性和成本。

在車聯(lián)網(wǎng)中，高移動(dòng)性和數(shù)據(jù)異質(zhì)性進(jìn)一步增加了客戶端選擇的復(fù)雜性。Zhao等人［40］提出了一種專門為車聯(lián)網(wǎng)設(shè)計(jì)的客戶端選擇機(jī)制，結(jié)合盡力而為的培訓(xùn)策略與多標(biāo)準(zhǔn)貢獻(xiàn)評(píng)價(jià)法，篩選高質(zhì)量車輛參與訓(xùn)練，有效提升了設(shè)備頻繁變動(dòng)和通信資源有限情況下的聯(lián)邦學(xué)習(xí)性能［41］。

為了進(jìn)一步提高客戶端選擇策略的魯棒性和適應(yīng)性，文獻(xiàn)［42］提出了一種基于聯(lián)邦強(qiáng)化學(xué)習(xí)客戶端選擇策略，通過智能調(diào)整選擇過程，以應(yīng)對無人機(jī)集群中的設(shè)備差異性和動(dòng)態(tài)性。強(qiáng)化學(xué)習(xí)方法能夠優(yōu)化客戶端選擇，提升模型性能和收斂速度。然而，由于強(qiáng)化學(xué)習(xí)對計(jì)算資源的需求較高，如何在資源受限的設(shè)備中有效應(yīng)用仍然是未來的研究挑戰(zhàn)。

3.2 設(shè)備異構(gòu)性的解決方案

設(shè)備異構(gòu)性是異構(gòu)聯(lián)邦學(xué)習(xí)中的核心挑戰(zhàn)之一，尤其在無人系統(tǒng)中，不同設(shè)備的計(jì)算能力、存儲(chǔ)容量和通信帶寬存在顯著差異。這些硬件限制給聯(lián)邦學(xué)習(xí)中的模型協(xié)同訓(xùn)練帶來了復(fù)雜性，特別是在無人駕駛汽車與低功耗無人機(jī)之間的性能差異尤為明顯。為應(yīng)對這些挑戰(zhàn)，研究者提出了多種解決方案，如計(jì)算能力感知、模型壓縮與剪枝以及分層策略，以提升系統(tǒng)性能并優(yōu)化資源利用。

3.2.1 計(jì)算能力感知

計(jì)算能力感知技術(shù)旨在通過動(dòng)態(tài)調(diào)整模型訓(xùn)練和任務(wù)分配，以確保無人系統(tǒng)中的設(shè)備資源得到最優(yōu)利用。在無人機(jī)集群中，設(shè)備的計(jì)算能力差異顯著，低功耗無人機(jī)通常因與高性能設(shè)備承擔(dān)相同任務(wù)而效率低下。為此，Mishra等人［43］提出了一種異構(gòu)計(jì)算能力感知的聯(lián)邦學(xué)習(xí)框架，該框架根據(jù)無人機(jī)的計(jì)算能力動(dòng)態(tài)分配任務(wù)，從而提升了多設(shè)備參與訓(xùn)練時(shí)的效率。然而，當(dāng)設(shè)備間的計(jì)算能力差距過大時(shí)，任務(wù)分配不均衡可能導(dǎo)致低算力設(shè)備過載，進(jìn)而影響系統(tǒng)的整體效率。

為應(yīng)對這一問題，Shkurti等人［44］提出了一種自適應(yīng)聯(lián)邦學(xué)習(xí)算法，該算法能夠?qū)崟r(shí)監(jiān)測無人機(jī)的計(jì)算能力和資源使用情況，并動(dòng)態(tài)調(diào)整模型參數(shù)和任務(wù)分配。盡管這種實(shí)時(shí)監(jiān)測機(jī)制優(yōu)化了任務(wù)分配，但也增加了系統(tǒng)的復(fù)雜性和管理成本。此外，在高頻交互的場景中，監(jiān)測精度和時(shí)延可能會(huì)對算法的實(shí)際表現(xiàn)產(chǎn)生影響。

與此同時(shí)，F(xiàn)edNorm算法［45］可允許無人駕駛車輛和低功耗無人機(jī)根據(jù)其計(jì)算能力執(zhí)行不同的局部訓(xùn)練迭代，從而進(jìn)一步緩解設(shè)備間計(jì)算能力差異帶來的問題。該算法通過累積局部迭代的平均梯度來更新全局模型，打破了固定迭代次數(shù)的限制，然而，在大規(guī)模系統(tǒng)中，累積大量梯度可能導(dǎo)致較高的計(jì)算和內(nèi)存開銷，從而對系統(tǒng)資源構(gòu)成額外負(fù)擔(dān)。

文獻(xiàn)［46］進(jìn)一步提出了一種結(jié)合聯(lián)邦學(xué)習(xí)與深度強(qiáng)化學(xué)習(xí)（DRL）的車對萬物（V2X）通信智能資源分配方案。該方案通過感知自身計(jì)算能力并對動(dòng)態(tài)任務(wù)分配，優(yōu)化了不同計(jì)算能力設(shè)備的資源使用，兼顧延遲和可靠性需求。這一策略有效幫助不同設(shè)備更好地協(xié)調(diào)訓(xùn)練任務(wù)，提升了系統(tǒng)整體性能，同時(shí)減少了因設(shè)備異構(gòu)性引發(fā)的資源浪費(fèi)。

3.2.2 模型壓縮與剪枝

無人系統(tǒng)中的設(shè)備在計(jì)算能力、存儲(chǔ)容量和通信帶寬方面存在顯著差異，這給系統(tǒng)的計(jì)算、存儲(chǔ)和通信帶來了巨大挑戰(zhàn)。為應(yīng)對這些問題，模型壓縮與剪枝技術(shù)通過降低計(jì)算復(fù)雜度、減少存儲(chǔ)需求和提升模型效率，促進(jìn)了異構(gòu)設(shè)備在聯(lián)邦學(xué)習(xí)中的協(xié)同工作。

Han等人［47］提出了初始訓(xùn)練、基于權(quán)重重要性的移除和微調(diào)三步剪枝方法。這種方法通過移除冗余權(quán)重，使得計(jì)算能力較弱的低功耗無人機(jī)也能運(yùn)行復(fù)雜的深度學(xué)習(xí)模型。以AlexNet和VGG-16為例，分別減少了9倍和13倍的權(quán)重，極大提升了異構(gòu)設(shè)備間的協(xié)作效率。這一技術(shù)在無人機(jī)網(wǎng)絡(luò)中尤為關(guān)鍵，有助于在有限的硬件資源下，確保任務(wù)的順利執(zhí)行和模型性能的平衡。此外，文獻(xiàn)［48］在自動(dòng)駕駛場景中采用動(dòng)態(tài)結(jié)構(gòu)化剪枝，通過調(diào)整剪枝閾值刪除不重要的神經(jīng)元，壓縮了深度強(qiáng)化學(xué)習(xí)（DRL）模型的93%神經(jīng)元，且僅帶來極小的精度損失，為無人系統(tǒng)中的高效計(jì)算奠定了基礎(chǔ)。

為了進(jìn)一步優(yōu)化資源利用，Hinton等人［49］提出了一種基于知識(shí)蒸餾的聯(lián)邦學(xué)習(xí)框架。該框架通過將復(fù)雜教師模型的知識(shí)傳遞給簡化的學(xué)生模型，實(shí)現(xiàn)了模型壓縮，減少了計(jì)算和存儲(chǔ)的開銷。在車聯(lián)網(wǎng)集群中，該方法有效降低了低計(jì)算能力設(shè)備的通信負(fù)擔(dān)，適合資源受限的設(shè)備協(xié)同工作。然而，該方法可能導(dǎo)致模型的計(jì)算時(shí)間增加，尤其在要求低延遲和高可靠性的車聯(lián)網(wǎng)環(huán)境中，這種額外的延遲可能不利于實(shí)時(shí)性要求較高的任務(wù)。為解決這一問題，文獻(xiàn)［50］提出了一種優(yōu)化剪枝率和通信輪次的技術(shù)，確保在有限的通信時(shí)間內(nèi)平衡模型的準(zhǔn)確性和延遲。

面對計(jì)算資源受限與數(shù)據(jù)異質(zhì)性的問題，文獻(xiàn)［51］提出了針對社交網(wǎng)絡(luò)數(shù)據(jù)收集的時(shí)空智能無人機(jī)軌跡優(yōu)化方法。通過減少冗余數(shù)據(jù)的收集并動(dòng)態(tài)調(diào)整模型結(jié)構(gòu)，該方法有效降低了無人機(jī)的能量消耗，優(yōu)化了其計(jì)算與資源利用。Jiang等人［52］進(jìn)一步提出了動(dòng)態(tài)剪枝技術(shù)，該技術(shù)能夠根據(jù)無人機(jī)和車聯(lián)網(wǎng)等邊緣設(shè)備的資源動(dòng)態(tài)變化實(shí)時(shí)調(diào)整剪枝率，從而有效減少計(jì)算和存儲(chǔ)需求。文獻(xiàn)［53］還提出了一種基于主成分分析（PCA）的技術(shù)，該技術(shù)應(yīng)用于交通流預(yù)測（TFP）任務(wù)中，減少了無人駕駛汽車與服務(wù)器之間的數(shù)據(jù)傳輸量，顯著降低了通信成本。結(jié)合貝葉斯優(yōu)化動(dòng)態(tài)調(diào)整客戶端權(quán)重，該方法在帶寬受限的無人系統(tǒng)中顯著加快了聯(lián)邦學(xué)習(xí)的收斂過程，并減少了通信開銷。

在隱私敏感的無人系統(tǒng)中（如軍事領(lǐng)域），數(shù)據(jù)安全尤為重要。文獻(xiàn)［54］提出了一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（CNN）與方向梯度直方圖的差分隱私保護(hù)方法，通過利用梯度剪裁和高斯噪聲添加，既能確保數(shù)據(jù)隱私，又能減少隱私保護(hù)機(jī)制對模型性能的負(fù)面影響。這種方法在軍用無人設(shè)備中的應(yīng)用尤為廣泛，能夠在保障隱私的前提下維持較高的模型性能。

3.2.3 分層聯(lián)邦學(xué)習(xí)

在無人系統(tǒng)中，由于設(shè)備類型、計(jì)算能力和通信帶寬的差異，設(shè)備異構(gòu)性問題尤為突出。邊緣計(jì)算技術(shù)通過分散計(jì)算任務(wù)，減輕中心服務(wù)器的負(fù)擔(dān)并降低通信開銷，已成為解決設(shè)備異構(gòu)性的一項(xiàng)有效手段，進(jìn)而提升系統(tǒng)的整體性能和可靠性。

為應(yīng)對無人系統(tǒng)中的設(shè)備異構(gòu)性，研究者提出了云-邊-端協(xié)同的雙重聯(lián)邦學(xué)習(xí)方法［55，56］。該方法首先在終端設(shè)備上進(jìn)行K1輪的本地訓(xùn)練，然后將更新后的模型傳遞至邊緣服務(wù)器，在邊緣服務(wù)器上進(jìn)行K2次模型聚合后，再上傳至云端服務(wù)器。這種多層結(jié)構(gòu)有效減少了終端設(shè)備與云端服務(wù)器之間的高成本通信，對于需要高帶寬低延時(shí)支持的應(yīng)用場景，如無人機(jī)集群、無人車隊(duì)和水下傳感器網(wǎng)絡(luò)等非常契合。盡管這一策略僅帶來了輕微的性能損失，但顯著減少了異構(gòu)設(shè)備直接通信的需求，緩解了設(shè)備性能差異對訓(xùn)練效率的負(fù)面影響。

文獻(xiàn)［57］提出了一種針對數(shù)據(jù)分布不均的分層聯(lián)邦學(xué)習(xí)系統(tǒng)，專門設(shè)計(jì)用于無人系統(tǒng)場景中的多樣化設(shè)備。該系統(tǒng)在車聯(lián)網(wǎng)場景中可以實(shí)時(shí)動(dòng)態(tài)將自身模型上傳到最近的邊緣RSU服務(wù)器，優(yōu)化資源分配。這一策略顯著提升了模型訓(xùn)練效率。然而，隨著系統(tǒng)規(guī)模的不斷擴(kuò)大，如何在分層架構(gòu)下確保模型的一致性和穩(wěn)定性仍是一個(gè)關(guān)鍵挑戰(zhàn)。

針對設(shè)備性能差異較大的問題，Chai等人［58］提出了基于性能分層的聯(lián)邦學(xué)習(xí)方法。該方法將設(shè)備按照性能進(jìn)行分層，并僅選擇同層設(shè)備參與訓(xùn)練。對于海上無人系統(tǒng)，如海上無人機(jī)、水下機(jī)器人和低功耗傳感器等異構(gòu)設(shè)備，這種分層訓(xùn)練策略能夠有效減少因設(shè)備掉線或訓(xùn)練中斷導(dǎo)致的性能損失，提升系統(tǒng)的整體穩(wěn)定性。然而，設(shè)備頻繁掉線或任務(wù)中斷依然可能對系統(tǒng)的魯棒性產(chǎn)生不利影響。

為了進(jìn)一步提升分層聯(lián)邦學(xué)習(xí)在異構(gòu)環(huán)境中的適應(yīng)性，文獻(xiàn)［59］提出了一種數(shù)據(jù)重要性感知的分層聯(lián)邦學(xué)習(xí)（DHFL）方案。該方案依據(jù)設(shè)備的計(jì)算能力，并通過計(jì)算本地?cái)?shù)據(jù)的梯度范數(shù)對數(shù)據(jù)的重要性進(jìn)行評(píng)估，從而進(jìn)行資源的動(dòng)態(tài)分配，旨在優(yōu)化帶寬利用效率，降低訓(xùn)練延遲和能耗。在資源受限的傳感器網(wǎng)絡(luò)中，在一些大型的無人設(shè)備集群中，該方法展現(xiàn)出顯著的性能優(yōu)勢。然而，當(dāng)處理高維度數(shù)據(jù)時(shí)，DHFL方案的計(jì)算復(fù)雜度顯著增加，可能對其在實(shí)時(shí)應(yīng)用中的效能產(chǎn)生不利影響，限制其在高維環(huán)境中的應(yīng)用潛力。

3.2.4 異步聯(lián)邦學(xué)習(xí)

在設(shè)備異構(gòu)環(huán)境下，傳統(tǒng)的聯(lián)邦學(xué)習(xí)要求所有設(shè)備同步完成本地訓(xùn)練，但這種同步機(jī)制在低性能設(shè)備參與時(shí)容易導(dǎo)致資源利用效率低下，特別是在車聯(lián)網(wǎng)和無人系統(tǒng)中，性能較慢的設(shè)備常常成為系統(tǒng)瓶頸。為解決這一問題，異步聯(lián)邦學(xué)習(xí)允許每個(gè)客戶端在完成本地訓(xùn)練后，立即將更新的模型參數(shù)發(fā)送至中心服務(wù)器進(jìn)行聚合，無須等待其他設(shè)備同步完成，從而避免了低性能設(shè)備拖慢整體訓(xùn)練進(jìn)度［60］。

FedLoop算法［61］作為一種半異步聯(lián)邦學(xué)習(xí)方法，在車聯(lián)網(wǎng)環(huán)境中，通過建立自動(dòng)駕駛車輛間的閉環(huán)連接，使本地模型可以直接傳遞給其他客戶端，從而減少了對中心服務(wù)器頻繁參與模型聚合的依賴，僅在最后一輪集中聚合區(qū)域內(nèi)所有車輛的模型，這一方法在車聯(lián)網(wǎng)等大規(guī)模集群通信中顯著降低了通信延遲和時(shí)間開銷。

在異步聯(lián)邦學(xué)習(xí)中，設(shè)備性能差異可能引發(fā)更新延遲，尤其是在車聯(lián)網(wǎng)場景中。為此，F(xiàn)edAsync機(jī)制［62］提出結(jié)合數(shù)據(jù)量和陳舊性雙重因素，當(dāng)區(qū)域內(nèi)的無人車輛在RSU側(cè)異步更新全局模型時(shí)，該機(jī)制利用數(shù)據(jù)量權(quán)重β和陳舊性因子α來決定模型權(quán)重。陳舊性因子為單調(diào)遞減的反比例函數(shù)，隨著邊緣無人車輛上傳的模型版本落后輪次增加而減少。這種機(jī)制有效緩解了模型陳舊問題，顯著提升了模型聚合效率。

文獻(xiàn)［63］通過結(jié)合異步聯(lián)邦學(xué)習(xí)與深度強(qiáng)化學(xué)習(xí)（DRL），在車聯(lián)網(wǎng)中提出了一種移動(dòng)感知的邊緣緩存策略。該方法通過利用異步聯(lián)邦學(xué)習(xí)框架進(jìn)行堆疊自動(dòng)編碼器（SAE）的本地更新和全局聚合，增強(qiáng)了模型預(yù)測熱門內(nèi)容的能力，有效應(yīng)對了車聯(lián)網(wǎng)中不確定的時(shí)空流量需求。通過與深度強(qiáng)化學(xué)習(xí)相結(jié)合，提出的智能緩存決策不僅減少了通信開銷，還顯著提升了邊緣緩存命中率。該研究表明，異步聯(lián)邦學(xué)習(xí)能夠在不依賴同步機(jī)制的情況下提升系統(tǒng)性能，特別是在處理高度動(dòng)態(tài)和復(fù)雜的車聯(lián)網(wǎng)環(huán)境中。

盡管異步聯(lián)邦學(xué)習(xí)在提高訓(xùn)練效率方面表現(xiàn)優(yōu)異，但在大規(guī)模異構(gòu)系統(tǒng)中，設(shè)備頻繁通信與更新可能導(dǎo)致參數(shù)失配，影響模型的收斂穩(wěn)定性。因此，未來研究需進(jìn)一步探索如何在保持異步更新高效性的同時(shí)，確保模型的一致性與穩(wěn)定性，以推動(dòng)其在復(fù)雜異構(gòu)無人系統(tǒng)中的廣泛應(yīng)用。

3.3 模型異構(gòu)性的解決方案

在聯(lián)邦學(xué)習(xí)中，由于無人設(shè)備的本地資源限制和局部數(shù)據(jù)差異，不同任務(wù)和設(shè)備對模型架構(gòu)和性能的需求不同，進(jìn)而引發(fā)了模型異構(gòu)性問題。為應(yīng)對此挑戰(zhàn)，研究者提出了多種技術(shù)來應(yīng)對這些差異，模型共享與個(gè)性化模型訓(xùn)練技術(shù)尤其在緩解模型異構(gòu)性方面展現(xiàn)出了出色的效果。

3.3.1 模型共享與傳遞

模型共享與傳遞技術(shù)通過在設(shè)備間傳遞模型知識(shí)和參數(shù)，緩解了無人系統(tǒng)中的模型異構(gòu)性問題，增強(qiáng)了模型在異構(gòu)環(huán)境中的泛化能力和適應(yīng)性。對于無人系統(tǒng)中的異構(gòu)設(shè)備（如高性能無人車與低功耗無人機(jī)），該技術(shù)有效利用設(shè)備的局部信息來優(yōu)化全局模型，減輕因計(jì)算能力和數(shù)據(jù)分布差異帶來的影響，從而提升系統(tǒng)的整體性能。

Tanmoy等人［64］提出了一種基于模型共享的聯(lián)邦學(xué)習(xí)框架，通過設(shè)備間的模型參數(shù)傳遞與共享，提升了異構(gòu)環(huán)境下模型的表現(xiàn)。在多種無人系統(tǒng)中，如無人機(jī)集群、無人地面車輛和水下無人機(jī)網(wǎng)絡(luò)，該方法表現(xiàn)尤為出色。設(shè)備無須進(jìn)行復(fù)雜的獨(dú)立模型訓(xùn)練，即可通過共享模型來優(yōu)化任務(wù)執(zhí)行，顯著提高了系統(tǒng)的協(xié)作效率，減少了由于計(jì)算和通信資源不足而引發(fā)的性能瓶頸。

Noguchi等人［65］進(jìn)一步探索了基于遷移學(xué)習(xí)的模型共享技術(shù)，提出了一種能夠顯著提升模型適應(yīng)性與泛化能力的框架。借助遷移學(xué)習(xí)的知識(shí)共享機(jī)制，設(shè)備可以利用其他設(shè)備的已有模型經(jīng)驗(yàn)進(jìn)行優(yōu)化，進(jìn)而提升任務(wù)協(xié)作效率與資源利用率。

最后，文獻(xiàn)［66］提出的聯(lián)邦遷移學(xué)習(xí)方法結(jié)合了遷移學(xué)習(xí)與聯(lián)邦學(xué)習(xí)的優(yōu)勢。通過根據(jù)設(shè)備的計(jì)算能力（如無人車和無人機(jī)的算力）將其分為低、中、高三類設(shè)備，該方法為不同層級(jí)的設(shè)備預(yù)設(shè)合適的模型進(jìn)行訓(xùn)練。分層策略有效平衡了不同算力設(shè)備的負(fù)載，尤其提高了低算力設(shè)備的參與度和訓(xùn)練效率。然而，在復(fù)雜多樣的應(yīng)用場景中，預(yù)設(shè)模型可能難以充分適應(yīng)多樣化任務(wù)的需求，限制了模型精度和泛化能力的進(jìn)一步提升。

3.3.2 個(gè)性化模型訓(xùn)練

個(gè)性化模型訓(xùn)練允許每個(gè)設(shè)備根據(jù)其本地?cái)?shù)據(jù)特性和計(jì)算資源動(dòng)態(tài)調(diào)整模型結(jié)構(gòu)與參數(shù)，從而優(yōu)化異構(gòu)設(shè)備之間的模型性能。在多類型無人設(shè)備中，個(gè)性化模型訓(xùn)練對提升模型的適應(yīng)性和魯棒性至關(guān)重要。這一方法不僅有效應(yīng)對了設(shè)備間數(shù)據(jù)分布的差異，還增強(qiáng)了系統(tǒng)在異構(gòu)環(huán)境中的擴(kuò)展性和靈活性。

Zhang等人［67］提出了一種針對無人機(jī)集群的個(gè)性化聯(lián)邦學(xué)習(xí)方法，允許設(shè)備根據(jù)其計(jì)算能力和本地?cái)?shù)據(jù)實(shí)時(shí)調(diào)整模型結(jié)構(gòu)，從而優(yōu)化全局模型與本地模型的協(xié)調(diào)。在無人機(jī)集群中，不同設(shè)備的任務(wù)需求和功耗限制各不相同，通過靈活調(diào)整模型結(jié)構(gòu)，設(shè)備能夠高效執(zhí)行特定任務(wù)。這種個(gè)性化訓(xùn)練策略顯著提高了異構(gòu)設(shè)備的性能，減少了因設(shè)備差異導(dǎo)致的模型失衡問題，增強(qiáng)了系統(tǒng)整體的性能和適應(yīng)性。

進(jìn)一步地，Zheng等人［68］提出一種個(gè)性化聯(lián)邦學(xué)習(xí)框架，使得設(shè)備可以在訓(xùn)練過程中動(dòng)態(tài)調(diào)整模型參數(shù)和優(yōu)化策略，以適應(yīng)不同任務(wù)的需求。該框架支持多樣化任務(wù)場景，如海底探測、空中監(jiān)控和車隊(duì)協(xié)同等，使無人設(shè)備能夠根據(jù)具體任務(wù)靈活調(diào)整模型結(jié)構(gòu)和訓(xùn)練策略。通過這種動(dòng)態(tài)調(diào)整，確保了模型在復(fù)雜異構(gòu)環(huán)境中的高效性和魯棒性，顯著提升了系統(tǒng)應(yīng)對設(shè)備頻繁掉線或通信不穩(wěn)定等問題的容錯(cuò)能力，尤其在資源受限的場景中表現(xiàn)出色。

總體而言，個(gè)性化模型訓(xùn)練技術(shù)極大提升了聯(lián)邦學(xué)習(xí)系統(tǒng)在異構(gòu)無人設(shè)備中的協(xié)同效率，降低了因設(shè)備資源不均衡對訓(xùn)練效果的負(fù)面影響，進(jìn)一步增強(qiáng)了系統(tǒng)的擴(kuò)展性和任務(wù)執(zhí)行的精度。這一技術(shù)在面對多樣化任務(wù)需求和復(fù)雜環(huán)境時(shí)，展現(xiàn)出了強(qiáng)大的適應(yīng)能力，為無人系統(tǒng)的高效運(yùn)行提供了有力支持。

本節(jié)討論了聯(lián)邦學(xué)習(xí)在無人系統(tǒng)中應(yīng)對異構(gòu)性挑戰(zhàn)的解決方案，包括數(shù)據(jù)、設(shè)備和模型的異構(gòu)性問題及優(yōu)化策略。表1總結(jié)了這些解決方案及其應(yīng)用場景。所提出的方法顯著提高了系統(tǒng)的魯棒性、計(jì)算效率和適應(yīng)性，成功應(yīng)對了分布式設(shè)備的異構(gòu)數(shù)據(jù)分布、硬件差異和個(gè)性化任務(wù)需求。

盡管已有進(jìn)展，無人系統(tǒng)在實(shí)際應(yīng)用中仍面臨挑戰(zhàn)，例如模型壓縮與剪枝技術(shù)需要優(yōu)化以應(yīng)對資源受限場景，系統(tǒng)兼容性需提高，現(xiàn)有解決方案的擴(kuò)展性和自適應(yīng)能力仍需增強(qiáng)。未來的研究應(yīng)集中于這些挑戰(zhàn)，探索多種解決方案的整合應(yīng)用，推動(dòng)異構(gòu)聯(lián)邦學(xué)習(xí)技術(shù)在無人機(jī)集群、車聯(lián)網(wǎng)等多設(shè)備協(xié)同場景中的廣泛應(yīng)用。

4 未來展望

異構(gòu)聯(lián)邦學(xué)習(xí)在無人系統(tǒng)中的應(yīng)用能夠有效應(yīng)對多種異構(gòu)性挑戰(zhàn)，為聯(lián)邦學(xué)習(xí)技術(shù)的進(jìn)一步推廣提供了重要支持。隨著技術(shù)的不斷進(jìn)步和應(yīng)用需求的增加，異構(gòu)聯(lián)邦學(xué)習(xí)將在多個(gè)方面展現(xiàn)出巨大的潛力和發(fā)展空間。下面將對未來的研究方向和應(yīng)用前景進(jìn)行展望。

4.1 未來研究方向

1）進(jìn)一步提升多模態(tài)數(shù)據(jù)融合技術(shù)

未來的無人系統(tǒng)將面臨復(fù)雜多變的任務(wù)場景，不同任務(wù)往往對模型架構(gòu)和參數(shù)配置提出截然不同的要求。研究重點(diǎn)應(yīng)聚焦于自適應(yīng)和動(dòng)態(tài)模型調(diào)整，以應(yīng)對這些差異。通過自動(dòng)化神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）［69］以及元學(xué)習(xí)［70］等技術(shù)，模型能夠根據(jù)實(shí)時(shí)任務(wù)需求和環(huán)境變化靈活調(diào)整，從而顯著增強(qiáng)無人系統(tǒng)的適應(yīng)性與決策能力。

2）強(qiáng)化隱私保護(hù)與安全機(jī)制

隨著無人系統(tǒng)在敏感領(lǐng)域（如軍事、醫(yī)療和工業(yè)）中的廣泛部署，數(shù)據(jù)隱私和安全問題愈發(fā)凸顯。盡管聯(lián)邦學(xué)習(xí)能夠減少原始數(shù)據(jù)的暴露，防止隱私泄露，但某些高級(jí)推斷技術(shù)仍然能夠推測出敏感信息［71］。因此，未來研究需要進(jìn)一步探索結(jié)合差分隱私、同態(tài)加密及安全多方計(jì)算等方法，確保數(shù)據(jù)的安全性與隱私保護(hù)，從而增強(qiáng)用戶對無人系統(tǒng)的信任。

3）高效通信與資源管理策略

在聯(lián)邦學(xué)習(xí)的應(yīng)用中，通信帶寬和延遲始終是關(guān)鍵挑戰(zhàn)，尤其在無人駕駛汽車和無人機(jī)這類對實(shí)時(shí)性要求高的系統(tǒng)中，過高的延遲可能導(dǎo)致任務(wù)失敗。未來研究應(yīng)致力于優(yōu)化通信協(xié)議、引入模型壓縮與稀疏化傳輸?shù)燃夹g(shù)，減少模型更新時(shí)的通信負(fù)荷。同時(shí)，分布式計(jì)算和分層模型聚合策略能夠提升資源的有效利用率，并加速模型同步過程，進(jìn)一步提升系統(tǒng)的整體性能。

4.2 應(yīng)用方向展望

1）低空經(jīng)濟(jì)的發(fā)展與應(yīng)用

隨著無人機(jī)技術(shù)的快速發(fā)展，低空經(jīng)濟(jì)逐漸成為智能城市和現(xiàn)代經(jīng)濟(jì)的重要組成部分。低空經(jīng)濟(jì)通常指利用1 000米以下的低空空域進(jìn)行的一系列經(jīng)濟(jì)活動(dòng)，廣泛應(yīng)用于物流配送［72］、城市監(jiān)控［73］和農(nóng)業(yè)巡檢［74］等場景。在這些場景中，聯(lián)邦學(xué)習(xí)具有廣闊的應(yīng)用前景，特別是在解決無人機(jī)集群異構(gòu)性問題上展現(xiàn)出顯著優(yōu)勢。通過聯(lián)邦學(xué)習(xí)，無人機(jī)能夠在無須傳輸原始數(shù)據(jù)的情況下協(xié)同學(xué)習(xí)，顯著提高低空作業(yè)的效率。

低空經(jīng)濟(jì)中的無人機(jī)需要應(yīng)對大量分散且異構(gòu)的數(shù)據(jù)源，如不同的城市環(huán)境、氣候條件和建筑結(jié)構(gòu)等。無人機(jī)在計(jì)算能力、通信帶寬等方面存在顯著差異，這些因素為協(xié)同作業(yè)帶來了挑戰(zhàn)。異構(gòu)聯(lián)邦學(xué)習(xí)為這一復(fù)雜環(huán)境提供了解決方案，能夠幫助無人機(jī)根據(jù)其各自的資源狀況優(yōu)化學(xué)習(xí)策略，確保任務(wù)的高效執(zhí)行。如在城市物流場景下，部分無人機(jī)可能由于電池續(xù)航能力不足或計(jì)算資源有限，難以長時(shí)間工作。通過資源調(diào)度優(yōu)化，異構(gòu)聯(lián)邦學(xué)習(xí)能夠有效減少這些差異對任務(wù)完成的影響。

此外，聯(lián)邦學(xué)習(xí)去中心化的架構(gòu)減少了對中心服務(wù)器的依賴，顯著降低了通信成本，這對于低空經(jīng)濟(jì)中的實(shí)時(shí)任務(wù)尤為重要。隨著低空經(jīng)濟(jì)的不斷發(fā)展，聯(lián)邦學(xué)習(xí)將在無人機(jī)管理、城市物流、環(huán)境監(jiān)控等領(lǐng)域發(fā)揮關(guān)鍵作用，為智能城市的建設(shè)提供重要技術(shù)支持。

2）跨領(lǐng)域協(xié)作與應(yīng)用擴(kuò)展

未來，聯(lián)邦學(xué)習(xí)的應(yīng)用場景將進(jìn)一步拓展，不再局限于無人系統(tǒng)，擴(kuò)展至多個(gè)智能設(shè)備之間的協(xié)同工作。例如，聯(lián)邦學(xué)習(xí)可以與智能交通系統(tǒng)相結(jié)合，通過多種交通設(shè)備間的數(shù)據(jù)協(xié)同與學(xué)習(xí)，優(yōu)化交通流量管理和車聯(lián)網(wǎng)系統(tǒng)的效率［75］。同樣，聯(lián)邦學(xué)習(xí)也能夠用于智能家居系統(tǒng)，多個(gè)智能設(shè)備能夠在保持隱私的前提下共享信息，提升家庭自動(dòng)化和能源管理的整體性能。

5 結(jié)束語

異構(gòu)聯(lián)邦學(xué)習(xí)在無人系統(tǒng)中的應(yīng)用展現(xiàn)出廣闊前景，特別是在應(yīng)對數(shù)據(jù)、設(shè)備和模型異構(gòu)性方面發(fā)揮了重要作用。本文系統(tǒng)總結(jié)了相關(guān)研究進(jìn)展，分析了現(xiàn)有技術(shù)在提升協(xié)同學(xué)習(xí)能力、保障數(shù)據(jù)隱私和優(yōu)化資源利用方面的優(yōu)勢。然而，隨著應(yīng)用場景的復(fù)雜性增加，當(dāng)前技術(shù)在降低通信開銷和優(yōu)化個(gè)性化模型訓(xùn)練等方面仍有提升空間。

未來，隨著低空經(jīng)濟(jì)和智能交通等領(lǐng)域的發(fā)展，異構(gòu)聯(lián)邦學(xué)習(xí)將在無人系統(tǒng)中發(fā)揮更關(guān)鍵的作用。通過持續(xù)的算法優(yōu)化和系統(tǒng)創(chuàng)新，無人系統(tǒng)的智能化水平將不斷提升，為復(fù)雜環(huán)境中的應(yīng)用提供強(qiáng)有力的技術(shù)支持，推動(dòng)智能社會(huì)的實(shí)現(xiàn)。

參考文獻(xiàn)：

［1］Kushwaha D， Redhu S， Hegde R M. Low latency federated learning over wireless edge networks via efficient bandwidth allocation［C］//Proc of the 8th World Forum on Internet of Things. Piscataway， NJ： IEEE Press， 2022： 1-6.

［2］Sharma S， Guleria K. A federated learning mechanism for preserving security of sensitive data［C］//Proc of the 4th International Confe-rence on Data Analytics for Business and Industry. Piscataway， NJ： IEEE Press， 2023： 1-5.

［3］Yu Miri， Kwon O K， Oh S. Addressing client heterogeneity in synchronous federated learning： the CHAFL approach［C］//Proc of the 29th International Conference on Parallel and Distributed Systems. Piscataway， NJ： IEEE Press， 2023： 2804-2805.

［4］Deng Yuchen， Yan Xin. Federated learning on heterogeneous opportunistic networks［C］//Proc of the 5th International Seminar on Artificial Intelligence， Networking and Information Technology. Pisca-taway， NJ： IEEE Press， 2024： 447-451.

［5］He Wenji， Yao Haipeng， Mai Tianle， et al. Three-stage Stackelberg game enabled clustered federated learning in heterogeneous UAV swarms［J］. IEEE Trans on Vehicular Technology， 2023， 72（7）： 9366-9380.

［6］邱曉慧， 楊波， 趙孟晨， 等. 聯(lián)邦學(xué)習(xí)安全防御與隱私保護(hù)技術(shù)研究［J］. 計(jì)算機(jī)應(yīng)用研究， 2022， 39（11）： 3220-3231. （Qiu Xiaohui， Yang Bo， Zhao Mengchen， et al. Survey on federated learning security defense and privacy protection technology［J］. Application Research of Computers， 2022， 39（11）： 3220-3231.）

［7］Wang Rui， Liu Xin， Xie Liang， et al. Privacy-preserving incentive scheme design for UAV-enabled federated learning［C］//Proc of IEEE Wireless Communications and Networking Conference. Pisca-taway， NJ： IEEE Press， 2024： 1-6.

［8］Shen Shuaiqi， Yu Chong， Zhang Kuan， et al. Communication-efficient federated learning for connected vehicles with constrained resources［C］//Porc of International Wireless Communications and Mobile Computing. Piscataway， NJ： IEEE Press， 2021： 1636-1641.

［9］Yang Chengxu， Xu Mengwei， Wang Qipeng， et al. FLASH： heterogeneit-aware federated learning at scale［J］. IEEE Trans Mobile Computing， 2022， 23（1）： 483-500.

［10］McMahan H B， Moore E， Ramage D， et al. Communication-efficient learning of deep networks from decentralized data［EB/OL］. （2016-02-17）. https：//arxiv.org/abs/1602.05629.

［11］Li Tian， Sahu A K， Talwalkar A， et al. Federated learning： challenges， methods， and future directions［J］. IEEE Signal Processing Magazine， 2020，37（3）： 50-60.

［12］Hamidi S M， Tan Renhao， Ye Linfeng， et al. Fed-IT： addressing class imbalance in federated learning through an information-theoretic lens［C］//Proc of IEEE International Symposium on Information Theory. Piscataway， NJ： IEEE Press， 2024： 1848-1853.

［13］Kairouz P， McMahan H B， Avent B， et al. Advances and open problems in federated learning［J］. Foundations and Trends in Machine Learning， 2021，14（1-2）： 214-217.

［14］Zhong Yaoyao， Deng Weihong， Wang Mei， et al. Unequal-training for deep face recognition with long-tailed noisy data［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 7804-7813.

［15］Gong Zijun， Li Cheng， Jiang Fan， et al. Design， analysis， and field testing of an innovative drone-assisted zero-configuration localization framework for wireless sensor networks［J］. IEEE Trans on Vehicular Technology， 2017， 66（11）： 10322-10335.

［16］Jünger F， Schopferer S， Benders S， et al. Talking to autonomous drones： command and control based on hierarchical task decomposition［C］//Proc of International Conference on Unmanned Aircraft Systems. Piscataway， NJ： IEEE Press， 2021： 968-977.

［17］Sawa T， Sato K， Watari K. Remote control of underwater drone by fiber-coupled underwater optical wireless communication［C］//Proc of OCEANS 2022. Piscataway， NJ： IEEE Press， 2022： 1-6.

［18］Novikova E S， Chen Yang， Meleshko A V. Evaluation of data heterogeneity in FL environment［C］//Proc of XXVII International Confe-rence on Soft Computing and Measurements. Piscataway， NJ： IEEE Press， 2024： 344-347.

［19］Wang Jianyu， Charles Z， Xu Zheng， et al. A field guide to federated optimization［EB/OL］. （2021-07-14）. https：//arxiv.org/abs/2107.06917.

［20］Cai Han， Gan Chuang， Lin Ji， et al. Network augmentation for tiny deep learning［EB/OL］. （2022-04-24）. https：//arxiv.org/abs/2110.08890.

［21］Wang Hongyi， Yurochkin M， Sun Yuekai， et al. Federated learning with matched averaging［EB/OL］. （2020-02-15）. https：//arxiv.org/abs/2002.06440.

［22］Tang Runtian， Jiang Mingyue. Enhancing federated learning： transfer learning insights［C］//Proc of the 3rd International Conference on Electrical Engineering， Big Data and Algorithms. Piscataway， NJ： IEEE Press， 2024： 1358-1362.

［23］Fan Wenhao， Su Yi， Liu Jie， et al. Joint task offloading and resource allocation for vehicular edge computing based on V2I and V2V modes［J］. IEEE Trans on Intelligent Transportation Systems， 2023， 24（4）： 4277-4292.

［24］Matolak D W， Wu Q. Channel models for V2V communications： a comparison of different approaches［C］//Proc of the 5th European Conference on Antennas and Propagation. Piscataway， NJ： IEEE Press， 2011： 2891-2895.

［25］張紅艷， 張玉， 曹燦明. 一種解決數(shù)據(jù)異構(gòu)問題的聯(lián)邦學(xué)習(xí)方法［J］. 計(jì)算機(jī)應(yīng)用研究， 2024， 41（3）： 713-720. （Zhang Hong-yan， Zhang Yu， Cao Canming. Effective method to solve problem of data heterogeneity in federated learning［J］. Application Research of Computers， 2024， 41（3）： 713-720.）

［26］唐曉嵐， 梁煜婷， 陳文龍. 面向非獨(dú)立同分布數(shù)據(jù)的車聯(lián)網(wǎng)多階段聯(lián)邦學(xué)習(xí)機(jī)制［J］. 計(jì)算機(jī)研究與發(fā)展， 2024， 61（9）： 2170-2184. （Tang Xiaolan， Liang Yuting， Chen Wenlong. Multi-stage federated learning mechanism with non-IID data in Internet of vehicles［J］. Journal of Computer Research and Development， 2024，61（9）： 2170-2184.）

［27］Liang Xinle， Liu Yang， Chen Tianjian， et al. Federated transfer reinforcement learning for autonomous driving［M］//Razavi-Far R， Wang B， Taylor M E， et al. Federated and Transfer Learning. Cham： Springer， 2022： 357-371.

［28］Kundroo M， Kim T. Efficient federated learning with adaptive client-side hyper-parameter optimization［C］//Proc of the 43rd International Conference on Distributed Computing Systems. Piscataway， NJ： IEEE Press， 2023： 973-974.

［29］Zhu Zheqi， Shi Yuchen， Fan Pingyi， et al. ISFL： federated learning for non-IID. data with local importance sampling［J］. IEEE Internet of Things Journal， 2024， 11（16）： 27448-27462.

［30］Liu Chunming， Alghazzawi D M， Cheng Li， et al. Disentangling client contributions： improving federated learning accuracy in the pre-sence of heterogeneous data［C］//Proc of IEEE Intl Conf on Parallel amp; Distributed Processing with Applications， Big Data amp; Cloud Computing， Sustainable Computing amp; Communications， Social Computing amp; Networking. Piscataway， NJ： IEEE Press， 2023： 381-387.

［31］Cho Y J， Wang Jianyu， Joshi G. Client selection in federated lear-ning： convergence analysis and power-of-choice selection strategies［EB/OL］. （2020-10-03）. https：//arxiv.org/abs/2010.01243.

［32］Bhatti D M S， Nam H. A robust aggregation approach for heterogeneous federated learning［C］//Proc of Fourteenth International Confe-rence on Ubiquitous and Future Networks. Piscataway， NJ： IEEE Press， 2023： 300-304.

［33］Chen Zheng， Hu C H， Larsson E G. Anomaly-aware federated lear-ning with heterogeneous data［C］//Proc of IEEE International Confe-rence on Autonomous Systems. Piscataway， NJ： IEEE Press， 2021： 1-5.

［34］Qayyum T， Trabelsi Z， Tariq A， et al. Flexible global aggregation and dynamic client selection for federated learning in Internet of Vehicles［J］. Computers， Materials amp; Continua， 2023， 77（2）： 1739-1757.

［35］Luo Yibo， Liu Xuefeng， Xiu Jianwei. Energy-efficient clustering to address data heterogeneity in federated learning［C］//Proc of IEEE International Conference on Communications. Piscataway， NJ： IEEE Press， 2021： 1-6.

［36］Bonawitz K， Ivanov V， Kreuter B， et al. Practical secure aggregation for privacy-preserving machine learning［C］//Proc of ACM SIGSAC Conference on Computer and Communications Security. New York： ACM Press， 2017： 1175-1191.

［37］王光輝， 白天水， 丁爽， 等. 基于代理選舉的高效異構(gòu)聯(lián)邦學(xué)習(xí)方法［J］. 計(jì)算機(jī)應(yīng)用研究， 2024， 41（3）： 688-693. （Wang Guanghui， Bai Tianshui， Ding Shuang， et al. Efficient and heterogeneous federated learning based on agent election［J］. Application Research of Computers， 2024， 41（3）： 688-693.）

［38］Wu Feiyu， Qu Yuben， Wu Tao， et al. Participant and sample selection for efficient online federated learning in UAV swarms［J］. IEEE Internet of Things Journal， 2024， 11（12）： 21202-21214.

［39］Maciel F， de Souza A M， Bittencourt L F， et al. Federated learning energy saving through client selection［J］. Pervasive and Mobile Computing， 2024， 103： 101948.

［40］Zhao Zhiyi， Xiang Tianao， Bi Yuanguo， et al. A novel multi-criteria contribution evaluation scheme for federated learning in Internet of vehicles［C］//Proc of the 15th International Conference on Communication Software and Networks. Piscataway， NJ： IEEE Press， 2023： 319-325.

［41］Zhao H， Zhang S， Liu M. FedGCS： Generative client selection for federated learning［C］//Proc of AAAI Spring Symposium Series. Palo Alto， CA： AAAI Press， 2024： 156-167.

［42］Peng Yubo， Jiang Feibo， Tu Siwei， et al. Dynamic client scheduling enhanced federated learning for UAVs［J］. IEEE Wireless Communications Letters， 2024， 13（7）： 1998-2002.

［43］Mishra R， Gupta H P， Banga G， et al. Fed-RAC： resource-aware clustering for tackling heterogeneity of participants in federated lear-ning［J］. IEEE Trans on Parallel and Distributed Systems， 2024， 35（7）： 1207-1220.

［44］Shkurti L， Selimi M. BACA： bandwidth and CPU-aware adaptive federated learning for wireless environments［C］//Proc of the 13th Mediterranean Conference on Embedded Computing. Piscataway， NJ： IEEE Press， 2024： 1-5.

［45］Lian Zirui， Liu Weihong， Cao Jing， et al. FedNorm： an efficient federated learning framework with dual heterogeneity coexistence on edge intelligence systems［C］//Proc of the 40th International Conference on Computer Design. Piscataway， NJ： IEEE Press， 2022： 619-626.

［46］Zhang Xinran， Peng Mugen， Yan Shi， et al. Deep-reinforcement-learning-based mode selection and resource allocation for cellular V2X communications［J］. IEEE Internet of Things Journal， 2020， 7（7）： 6380-6391.

［47］Han Song， Pool J， Tran J， et al. Learning both weights and connections for efficient neural networks［EB/OL］. （2015-10-30）. https：//arxiv.org/abs/1506.02626.

［48］Su Wensheng， Li Zhenni， Xu Minrui， et al. Compressing deep reinforcement learning networks with a dynamic structured pruning method for autonomous driving［J］. IEEE Trans on Vehicular Technology， 2024， 99： 1-15.

［49］Hinton G， Vinyals O， Dean J. Distilling the knowledge in a neural network［EB/OL］. （2015-05-09）. https：//arxiv.org/abs/1503.02531.

［50］Wang Dawei， Hsieh C K， Chan Kunlin， et al. Model pruning for wireless federated learning with heterogeneous channels and devices［C］//Proc of VTS Asia Pacific Wireless Communications Symposium. Piscataway， NJ： IEEE Press， 2023： 1-5.

［51］Liu Xiao， Song Houbing， Liu Anfeng. Intelligent UAVs trajectory optimization from space-time for data collection in social networks［J］. IEEE Trans on Network Science and Engineering， 2021， 8（2）： 853-864.

［52］Jiang Yuang， Wang Shiqiang， Valls V， et al. Model pruning enables efficient federated learning on edge devices［J］. IEEE Trans on Neural Networks and Learning Systems， 2023， 34（12）： 10374-10386.

［53］Zang Lu， Qin Yang， Li Ruonan. Traffic flow prediction based on federated learning with joint PCA compression and Bayesian optimization［C］//Proc of IEEE International Conference on Systems， Man， and Cybernetics. Piscataway， NJ： IEEE Press， 2022： 3330-3335.

［54］Ling Jie， Zheng Junchang， Chen Jiahui. Efficient federated learning privacy preservation method with heterogeneous differential privacy［J］. Computers amp; Security， 2024， 139： 103715.

［55］Luo Long， Zhang Chi， Yu Hongfang， et al. Communication-efficient federated learning with adaptive aggregation for heterogeneous client-edge-cloud network［J/OL］. IEEE Trans on Services Computing， （2024-05-10）. http：//doi.org/10.1109/tsc.2024.3399649.

［56］Liu Lumin， Zhang Jun， Song S H， et al. Client-edge-cloud hierarchical federated learning［C］//Proc of IEEE International Conference on Communications. Piscataway， NJ： IEEE Press， 2020： 1-6.

［57］Li Yang， Xu Xiaolong， Huang Gengjun， et al. VSFL： trajectory prediction framework based on validity-aware semi-asynchronous federated learning in Internet of Vehicles［J］. Computer Communications， 2024， 224： 106-117.

［58］Chai Zheng， Ali A， Zawad S， et al. TiFL： a tier-based federated learning system［C］//Proc of the 29th International Symposium on High-Performance Parallel and Distributed Computing. New York： ACM Press， 2020： 125-136.

［59］Qiang Xianke， Hu Yun， Chang Zheng， et al. Importance-aware data selection and resource allocation for hierarchical federated edge learning［J］. Future Generation Computer Systems， 2024， 154： 35-44.

［60］Xie Cong， Koyejo S， Gupta I. Asynchronous federated optimization［EB/OL］. （2020-12-05）. https：//arxiv.org/abs/1903.03934.

［61］Hu Fei， Zhou Wuneng， Liao Kaili， et al. FedLoop： heterogeneity mitigation in federated learning［C］//Proc of the 42nd Chinese Control Conference. Piscataway， NJ： IEEE Press， 2023： 6159-6164.

［62］Jia Yudong， Zhang Ningbo. Research and implementation of asynchronous transmission and update strategy for federated learning［C］//Proc of the 8th International Conference on Computer and Communications. Piscataway， NJ： IEEE Press， 2022： 1281-1286.

［63］Jiang Kai， Cao Yue， Song Yujie， et al. Asynchronous federated and reinforcement learning for mobility-aware edge caching in IoV［J］. IEEE Internet of Things Journal， 2024， 11（9）： 15334-15347.

［64］Tanmoy O B， Al Mamun M， Hasan S， et al. Enhancing federated learning with globally shared model： a modified FedAVG approach（GSM-FedAVG）［C］//Proc of the 6th International Conference on Electrical Information and Communication Technology. Piscataway， NJ： IEEE Press， 2023： 1-6.

［65］Noguchi H， Isoda T， Arai S. Shared trained models selection and management for transfer reinforcement learning in open IoT［C］//Proc of IEEE International Conference on Systems， Man， and Cybernetics. Piscataway， NJ： IEEE Press， 2021： 2170-2176.

［66］Ahmed K M， Imteaj A， Amini M H. Federated deep learning for heterogeneous edge computing［C］//Proc of the 20th IEEE International Conference on Machine Learning and Applications. Piscataway， NJ： IEEE Press， 2021： 1146-1152.

［67］Zhang Ran， Liu Fangqi， Liu Jiang， et al. CPPer-FL： clustered parallel training for efficient personalized federated learning［J］. IEEE Trans on Mobile Computing， 2024， 23（10）： 9424-9436.

［68］Zheng Shenhai， Xu Haihan， Han Peng， et al. Personalized federated learning with local optimization models［C］//Proc of the 29th International Conference on Parallel and Distributed Systems. Piscataway， NJ： IEEE Press， 2023： 302-307.

［69］Ferguson A， McCarthy J. Sharing the skies（safely）： near term perspective on sUAS integration in the NAS［C］//Proc of Integrated Communications， Navigation and Surveillance Conference. Pisca-taway， NJ： IEEE Press， 2017： 3B2-1-3B2-10.

［70］Liu Xiaonan， Deng Yansha， Nallanathan A， et al. Federated learning and meta learning： approaches， applications， and directions［J］. IEEE Communications Surveys amp; Tutorials， 2024， 26（1）： 571-618.

［71］Jiang Bin， Li Jianqiang， Yue Guanghui， et al. Differential privacy for industrial Internet of Things： opportunities， applications， and challenges［J］. IEEE Internet of Things Journal， 2021， 8（13）： 10430-10451.

［72］Huang Yang， Han Han， Zhang Bo， et al. Supply distribution center planning in UAV-based logistics networks for post-disaster supply delivery［C］//Proc of IEEE International Conference on E-health Networking， Application amp; Services. Piscataway， NJ： IEEE Press， 2021： 1-6.

［73］Al-Mashhadani M A， Hamdi M M， Mustafa A S. Role and challenges of the use of UAV-aided WSN monitoring system in large-scale sectors［C］//Proc of the 3rd International Congress on Human-Computer Interaction， Optimization and Robotic Applications. Piscataway， NJ： IEEE Press， 2021： 1-5.

［74］Liu Xunchen， Chen Mingzhang， Zhangchen Xinfei， et al. Intelligent UAV platform： assist construction of agricultural production automation［C］//Proc of the 7th International Conference on Intelligent Computing and Signal Processing. Piscataway， NJ： IEEE Press， 2022： 1009-1012.

［75］Wang Tianyu， Liang Teng， Li Jun， et al. Adaptive traffic signal control using distributed MARL and federated learning［C］//Proc of the 20th International Conference on Communication Technology. Pisca-taway， NJ： IEEE Press， 2020： 1242-1248.