6G 聯(lián)邦邊緣學(xué)習(xí)新范式：基于任務(wù)導(dǎo)向的資源管理策略

王志勤，江甲沫，劉沛西，曹曉雯，李陽(yáng)，韓凱峰，杜瀅，朱光旭

（1.中國(guó)信息通信研究院移動(dòng)通信創(chuàng)新中心，北京 100191；2.北京大學(xué)電子學(xué)院，北京 100871；3.廣東工業(yè)大學(xué)信息工程學(xué)院，廣東 廣州 510006；4.深圳市大數(shù)據(jù)研究院，廣東 深圳 518172）

0 引言

隨著5G 網(wǎng)絡(luò)的大規(guī)模商用，全球已開啟對(duì)下一代移動(dòng)通信技術(shù)——6G 的研究探索。面向2030 年及未來(lái)，人類社會(huì)將進(jìn)入智能化時(shí)代，6G 將構(gòu)建一張泛在互聯(lián)的智慧網(wǎng)絡(luò)，實(shí)現(xiàn)從服務(wù)于人、人與物，到支撐智能體高效連接的躍遷，通過(guò)人機(jī)物智能互聯(lián)、協(xié)同共生，滿足經(jīng)濟(jì)社會(huì)高質(zhì)量發(fā)展需求，服務(wù)智慧化生產(chǎn)與生活，推動(dòng)構(gòu)建普惠智能的人類社會(huì)，從而實(shí)現(xiàn)“萬(wàn)物智聯(lián)、數(shù)字孿生”的6G 總體愿景[1-3]。

為滿足未來(lái)6G 更加豐富的業(yè)務(wù)應(yīng)用以及極致的性能需求，需要傳統(tǒng)空口技術(shù)的持續(xù)演進(jìn)以及對(duì)新型網(wǎng)絡(luò)架構(gòu)的深入探索。作為具有廣泛共識(shí)的技術(shù)趨勢(shì)之一，無(wú)線通信與人工智能深度融合，賦予無(wú)線空口和網(wǎng)絡(luò)架構(gòu)等內(nèi)生智能特性[4]。為高效收集和學(xué)習(xí)來(lái)自網(wǎng)絡(luò)邊緣側(cè)的大規(guī)模數(shù)據(jù)，并為移動(dòng)終端提供超快速、智能化服務(wù)以及環(huán)境感知等功能，邊緣智能技術(shù)應(yīng)運(yùn)而生，其通過(guò)將機(jī)器學(xué)習(xí)算法部署在網(wǎng)絡(luò)邊緣（如基站和智能終端），以快速高效地利用分布式移動(dòng)數(shù)據(jù)來(lái)持續(xù)訓(xùn)練和調(diào)整邊緣云（或基站）中的人工智能模型[5-6]。在眾多邊緣智能技術(shù)中，聯(lián)邦邊緣學(xué)習(xí)（FEEL,federated edge learning）以其優(yōu)越的數(shù)據(jù)隱私保護(hù)性以及高效的終端計(jì)算資源利用率，逐漸成為目前最流行的邊緣學(xué)習(xí)范式之一[7-10]。在聯(lián)邦邊緣學(xué)習(xí)中，分布式無(wú)線設(shè)備可以協(xié)作執(zhí)行一個(gè)共享機(jī)器學(xué)習(xí)任務(wù)，只需將局部學(xué)習(xí)模型上傳到邊緣服務(wù)器，并不需共享所有訓(xùn)練數(shù)據(jù)樣本。由于樣本數(shù)據(jù)被保留在每個(gè)設(shè)備上，只需上傳局部機(jī)器學(xué)習(xí)模型參數(shù)至邊緣服務(wù)器，因此可以保護(hù)設(shè)備的數(shù)據(jù)隱私。同時(shí)，在設(shè)備本地完成局部模型更新參數(shù)，能高效利用本地的計(jì)算資源。

1) 聯(lián)邦邊緣學(xué)習(xí)技術(shù)及典型應(yīng)用場(chǎng)景

在聯(lián)邦邊緣學(xué)習(xí)過(guò)程中，分布式無(wú)線設(shè)備協(xié)作執(zhí)行機(jī)器學(xué)習(xí)任務(wù)，并不需共享所有訓(xùn)練數(shù)據(jù)樣本，只需將局部學(xué)習(xí)模型上傳到邊緣服務(wù)器。這樣，數(shù)據(jù)樣本將被保留在每個(gè)設(shè)備上，不需要打破“數(shù)據(jù)孤島”和共享數(shù)據(jù)資源，能更好地保護(hù)設(shè)備的數(shù)據(jù)隱私。聯(lián)邦邊緣學(xué)習(xí)的基本框架及流程如圖1 所示。聯(lián)邦邊緣學(xué)習(xí)的訓(xùn)練過(guò)程可以基于分布式梯度下降法迭代進(jìn)行，即在每一次迭代中，不同終端設(shè)備根據(jù)各自的本地?cái)?shù)據(jù)更新本地模型參數(shù)，并通過(guò)無(wú)線信道將各自的本地模型參數(shù)上傳至邊緣服務(wù)器進(jìn)行模型匯總，以更新全局模型參數(shù)；上述步驟迭代進(jìn)行，直至全局模型參數(shù)收斂。

圖1 聯(lián)邦邊緣學(xué)習(xí)的基本框架及流程

聯(lián)邦邊緣學(xué)習(xí)技術(shù)應(yīng)用前景廣闊，可有效賦能智慧醫(yī)療、車聯(lián)網(wǎng)、物聯(lián)網(wǎng)通信等業(yè)務(wù)場(chǎng)景，并且由于其不需要共享數(shù)據(jù)，能夠充分保證數(shù)據(jù)隱私和安全性。例如，在醫(yī)療領(lǐng)域，為了避免對(duì)醫(yī)療原始數(shù)據(jù)中隱私信息的直接訪問(wèn)，基于聯(lián)邦邊緣學(xué)習(xí)的智慧醫(yī)療可在保護(hù)患者病情隱私的前提下，依靠前期檢驗(yàn)結(jié)果和患者歷史就診信息，建立學(xué)習(xí)模型，幫助醫(yī)生提高診斷患者罹患相應(yīng)疾病的準(zhǔn)確率[11]。在車聯(lián)網(wǎng)領(lǐng)域，通過(guò)引入聯(lián)邦邊緣學(xué)習(xí)技術(shù)，可將道路中不同車輛的傳感器數(shù)據(jù)以及道路基礎(chǔ)設(shè)施所獲取的交通數(shù)據(jù)進(jìn)行聯(lián)合訓(xùn)練，用以提升道路場(chǎng)景地圖重建效率、準(zhǔn)確性和穩(wěn)健性[12]。在物聯(lián)網(wǎng)領(lǐng)域，運(yùn)用聯(lián)邦邊緣學(xué)習(xí)可高效處理物聯(lián)網(wǎng)設(shè)備所產(chǎn)生的海量實(shí)時(shí)數(shù)據(jù)，在有效支撐物聯(lián)網(wǎng)應(yīng)用業(yè)務(wù)的同時(shí)，實(shí)現(xiàn)對(duì)物聯(lián)網(wǎng)系統(tǒng)狀態(tài)的智能監(jiān)測(cè)與反饋，賦能網(wǎng)絡(luò)自動(dòng)化運(yùn)維[13]。

同時(shí)，在無(wú)線通信網(wǎng)絡(luò)中實(shí)現(xiàn)上述聯(lián)邦學(xué)習(xí)應(yīng)用仍面臨非常嚴(yán)峻的挑戰(zhàn)。一方面，聯(lián)邦邊緣學(xué)習(xí)網(wǎng)絡(luò)的主要衡量指標(biāo)一般為機(jī)器學(xué)習(xí)模型的訓(xùn)練可靠性、收斂速度等，而傳統(tǒng)無(wú)線網(wǎng)絡(luò)主要以通信性能為主要衡量指標(biāo)，如丟包率、傳輸速率等。由于學(xué)習(xí)與通信兩者間性能指標(biāo)的差異，現(xiàn)有以通信性能最大化為目標(biāo)的無(wú)線資源管理策略并不能直接應(yīng)用于聯(lián)邦邊緣學(xué)習(xí)網(wǎng)絡(luò)。另一方面，聯(lián)邦邊緣學(xué)習(xí)網(wǎng)絡(luò)是以分布式方式在不同的設(shè)備間訓(xùn)練共享的人工智能模型，且設(shè)備需要通過(guò)無(wú)線鏈路頻繁地與邊緣服務(wù)器傳輸訓(xùn)練更新參數(shù)。然而，由于無(wú)線資源（如帶寬等）有限且無(wú)線鏈路不具有可靠性，更新參數(shù)傳輸過(guò)程會(huì)不可避免地引入一些訓(xùn)練誤差，影響邊緣設(shè)備和服務(wù)器之間模型更新的質(zhì)量和準(zhǔn)確度，進(jìn)而影響聯(lián)邦邊緣學(xué)習(xí)算法的性能。但是，無(wú)線資源與聯(lián)邦學(xué)習(xí)性能之間目前還沒(méi)有清晰的定量分析框架，無(wú)法準(zhǔn)確衡量無(wú)線資源管理對(duì)聯(lián)邦學(xué)習(xí)性能的影響。

2) 聯(lián)邦邊緣學(xué)習(xí)中的無(wú)線通信及資源管理問(wèn)題

在香農(nóng)信息理論的指導(dǎo)下，現(xiàn)有無(wú)線通信系統(tǒng)的核心設(shè)計(jì)目標(biāo)是有效提升通信性能，如提升峰值速率、吞吐量、頻譜效率、能量效率等，稱為通信導(dǎo)向的最優(yōu)設(shè)計(jì)。聯(lián)邦學(xué)習(xí)中頻繁的模型參數(shù)傳輸匯總過(guò)程導(dǎo)致了技術(shù)上的挑戰(zhàn)：持續(xù)的模型/梯度參數(shù)傳輸和更新使終端設(shè)備和邊緣服務(wù)器之間的無(wú)線通信交互十分頻繁，增加無(wú)線通信鏈路負(fù)擔(dān)，并逐漸成為制約聯(lián)邦邊緣學(xué)習(xí)性能提升的瓶頸。但是，現(xiàn)有以通信性能最大化為目標(biāo)的無(wú)線資源管理策略并不能直接應(yīng)用于聯(lián)邦邊緣學(xué)習(xí)網(wǎng)絡(luò)，更無(wú)法突破該通信瓶頸。此外，不同于現(xiàn)有的通信網(wǎng)絡(luò)只關(guān)注數(shù)據(jù)的語(yǔ)法信息傳輸（即通信符號(hào)的準(zhǔn)確傳輸），邊緣智能應(yīng)用主要依靠數(shù)據(jù)的語(yǔ)義特征信息，而現(xiàn)有網(wǎng)絡(luò)中數(shù)據(jù)內(nèi)容的高級(jí)含義或相關(guān)性與傳輸策略之間存在松耦合。為了實(shí)現(xiàn)特定的目標(biāo)（如使用最少的頻譜資源實(shí)現(xiàn)最大速率的數(shù)據(jù)比特傳送，同時(shí)誤碼率最低），無(wú)線傳輸與數(shù)據(jù)的意義和有效性的分離會(huì)不可避免地導(dǎo)致冗余，例如傳輸?shù)男畔⑷狈ο嚓P(guān)性或新鮮度，同時(shí)，現(xiàn)有的信息過(guò)濾、傳輸和處理技術(shù)難以跟上數(shù)據(jù)指數(shù)級(jí)增長(zhǎng)的速度，極大制約信息傳輸?shù)挠行?。因此，為有效支持智能服?wù)的高效通信需求，聯(lián)邦邊緣學(xué)習(xí)系統(tǒng)設(shè)計(jì)逐步向以任務(wù)導(dǎo)向?yàn)楹诵牡脑O(shè)計(jì)范式轉(zhuǎn)變[14]。為提高通信系統(tǒng)性能，常見(jiàn)的設(shè)計(jì)手段包括資源分配、用戶調(diào)度等[15]。相應(yīng)地，在面向任務(wù)導(dǎo)向的聯(lián)邦邊緣學(xué)習(xí)中，無(wú)線資源分配和用戶調(diào)度的設(shè)計(jì)目標(biāo)也需要全新升級(jí)[16]，以進(jìn)一步優(yōu)化網(wǎng)絡(luò)資源使用效率。

①聯(lián)邦邊緣學(xué)習(xí)中的資源分配研究現(xiàn)狀

優(yōu)化設(shè)計(jì)包括帶寬在內(nèi)的無(wú)線資源分配策略已成為突破聯(lián)邦邊緣學(xué)習(xí)性能瓶頸的重要手段。創(chuàng)新無(wú)線資源分配策略、突破通信性能瓶頸，是目前聯(lián)邦邊緣學(xué)習(xí)網(wǎng)絡(luò)設(shè)計(jì)的重要挑戰(zhàn)，包括以下兩方面：建立無(wú)線資源管理與聯(lián)邦邊緣學(xué)習(xí)性能的定量分析框架，探索資源分配策略對(duì)訓(xùn)練性能的準(zhǔn)確度以及收斂速度等的影響；改變現(xiàn)有通信導(dǎo)向的無(wú)線資源管理方案，使其適用于任務(wù)導(dǎo)向的聯(lián)邦邊緣學(xué)習(xí)網(wǎng)絡(luò)，以進(jìn)一步優(yōu)化網(wǎng)絡(luò)資源使用效率。以最小化訓(xùn)練時(shí)間為全新的任務(wù)導(dǎo)向優(yōu)化目標(biāo)，下面介紹相關(guān)代表性工作。

由于聯(lián)邦邊緣學(xué)習(xí)訓(xùn)練過(guò)程由多個(gè)終端設(shè)備和邊緣服務(wù)器之間的模型迭代更新組成，因此聯(lián)邦邊緣學(xué)習(xí)總訓(xùn)練時(shí)間由總通信輪次和每輪次的本地模型更新和聚合時(shí)延決定。為加快聯(lián)邦邊緣學(xué)習(xí)算法收斂，文獻(xiàn)[17]通過(guò)聯(lián)合優(yōu)化傳輸功率和帶寬，在給定的單輪時(shí)間約束下最小化每輪次全局損失函數(shù)。文獻(xiàn)[18]考慮了存在中斷概率時(shí)的最優(yōu)帶寬資源分配策略。上述工作主要關(guān)注如何加快聯(lián)邦邊緣學(xué)習(xí)算法的收斂速度，即減少通信輪次，但并未考慮如何縮短總訓(xùn)練時(shí)間。文獻(xiàn)[19]提出一種基于多址接入的寬帶模擬聚合方案，分析和比較了不同多址方案的通信時(shí)延性能，并通過(guò)仿真證明了該方案相比傳統(tǒng)的正交頻分多址接入方案可以顯著降低聯(lián)邦邊緣學(xué)習(xí)的單次模型聚合時(shí)延。在此基礎(chǔ)上，文獻(xiàn)[20]考慮了用戶移動(dòng)性的場(chǎng)景，提出了基于聯(lián)邦深度Q 網(wǎng)絡(luò)學(xué)習(xí)算法的最優(yōu)路徑選擇及功率分配的聯(lián)合優(yōu)化方案，該方案使網(wǎng)絡(luò)吞吐量最大化的同時(shí)確保了功率約束及移動(dòng)性約束等條件，仿真結(jié)果證明了方案的有效性。但上述工作僅僅考慮單輪通信中的資源分配，而忽略聯(lián)邦邊緣學(xué)習(xí)的總通信輪次。目前已有部分工作直接關(guān)注聯(lián)邦邊緣學(xué)習(xí)的總訓(xùn)練時(shí)延。例如，文獻(xiàn)[21]提出通信和計(jì)算等多維資源聯(lián)合配置策略。文獻(xiàn)[22]則結(jié)合學(xué)習(xí)、無(wú)線資源聯(lián)合分配以及設(shè)備選擇方案，最小化固定通信輪次下的總訓(xùn)練時(shí)間。文獻(xiàn)[23]在進(jìn)一步考慮計(jì)算和通信資源受限場(chǎng)景下，有效設(shè)計(jì)出能夠權(quán)衡通信開銷和學(xué)習(xí)性能的聯(lián)合優(yōu)化方案，經(jīng)仿真驗(yàn)證，該方案的性能優(yōu)于對(duì)比方案。

上述研究工作分別從不同角度探索無(wú)線資源分配策略，以最小化聯(lián)邦邊緣學(xué)習(xí)訓(xùn)練時(shí)延。然而，上述工作均未考慮通信輪次和每輪時(shí)延之間的重要折中關(guān)系，本文將于第1 節(jié)進(jìn)行研究。

② 聯(lián)邦邊緣學(xué)習(xí)中的用戶調(diào)度研究現(xiàn)狀

為實(shí)現(xiàn)高能效聯(lián)邦邊緣學(xué)習(xí)，用戶調(diào)度是一個(gè)備受關(guān)注的重要研究方向，即在帶寬有限的情況下，每次模型更新過(guò)程中僅選擇一部分用戶上傳模型數(shù)據(jù)，通過(guò)減少設(shè)備接入以緩解通信瓶頸制約。

文獻(xiàn)[24]考慮了聯(lián)邦學(xué)習(xí)中的用戶調(diào)度問(wèn)題，利用隨機(jī)策略均勻選擇設(shè)備上傳模型數(shù)據(jù)，從而有效降低通信時(shí)延。在文獻(xiàn)[24]的基礎(chǔ)上，文獻(xiàn)[25]比較了隨機(jī)調(diào)度算法、輪詢算法和比例公平算法等啟發(fā)式調(diào)度算法，并進(jìn)一步分析了這3 種調(diào)度算法的理論收斂性能。此外，為了探索用戶數(shù)據(jù)對(duì)調(diào)度的影響，文獻(xiàn)[26]提出了基于數(shù)據(jù)多樣性的設(shè)備調(diào)度策略。文獻(xiàn)[27]提出了一種在給定訓(xùn)練時(shí)間下最大化模型準(zhǔn)確度的聯(lián)合設(shè)備調(diào)度和資源分配算法。進(jìn)一步，為最小化通信輪次，文獻(xiàn)[28]提出了一種基于重要性的調(diào)度策略，其中重要性度量指標(biāo)為局部更新的范數(shù)，即當(dāng)某個(gè)設(shè)備具有更大的局部更新的范數(shù)時(shí)，會(huì)被分配一個(gè)更高的調(diào)度概率?？紤]單輪通信時(shí)延最小化，文獻(xiàn)[19,29]提出了基于信道質(zhì)量的調(diào)度策略，其中有強(qiáng)信道的設(shè)備比具有弱信道的設(shè)備有更高的調(diào)度概率。

上述研究工作從不同方面針對(duì)聯(lián)邦邊緣學(xué)習(xí)的用戶調(diào)度算法展開了研究。但是，目前針對(duì)最小化訓(xùn)練時(shí)間的用戶調(diào)度算法仍缺少最優(yōu)設(shè)計(jì)，有較大研究空間。為此，本文第2 節(jié)將從最小化通信時(shí)間的角度出發(fā)，設(shè)計(jì)最優(yōu)的無(wú)線資源分配和用戶調(diào)度策略。

1 基于聯(lián)合量化和帶寬優(yōu)化的資源分配策略

基于筆者團(tuán)隊(duì)最新研究成果，本節(jié)將詳細(xì)介紹具有不同計(jì)算能力的邊緣設(shè)備在聯(lián)邦邊緣學(xué)習(xí)框架中設(shè)計(jì)任務(wù)導(dǎo)向的最優(yōu)資源分配策略?？紤]到面向復(fù)雜任務(wù)的模型通常具有大規(guī)模參數(shù)的特點(diǎn)，在終端設(shè)備和邊緣服務(wù)器之間的模型迭代更新過(guò)程將導(dǎo)致巨額的通信開銷。為了解決這一問(wèn)題，文獻(xiàn)[30]提出了量化的聯(lián)邦邊緣學(xué)習(xí)方案，旨在通過(guò)應(yīng)用量化技術(shù)實(shí)現(xiàn)對(duì)模型的高效壓縮以減少交互的數(shù)據(jù)總量，從而大幅降低無(wú)線資源的占用率。目前已有研究開始關(guān)注通過(guò)壓縮和量化來(lái)減少通信開銷。例如，文獻(xiàn)[31]研究了量化方案對(duì)模型最終收斂效果的影響，得出了在高壓縮率的條件下量化模型性能接近理想模型性能的結(jié)論。文獻(xiàn)[32]研究了在給定訓(xùn)練時(shí)間內(nèi)通過(guò)聯(lián)合優(yōu)化數(shù)據(jù)壓縮程度和本地更新步數(shù)來(lái)最小化訓(xùn)練損失，但沒(méi)有涉及通信資源分配。文獻(xiàn)[33]提出了一種自適應(yīng)的模型壓縮機(jī)制，通過(guò)舍棄參數(shù)更新緩慢的模型部分節(jié)點(diǎn)，能夠有效減少冗余通信。文獻(xiàn)[34]針對(duì)能耗和量化誤差受限場(chǎng)景，設(shè)計(jì)了減少模型收斂時(shí)間的優(yōu)化方案，揭示了學(xué)習(xí)準(zhǔn)確度和更新時(shí)延之間的折中關(guān)系。更進(jìn)一步，文獻(xiàn)[35]探討了模型低壓縮率的影響，提出了將本地更新的梯度進(jìn)行1 bit 量化并融合多數(shù)表決的聚合方案，在給定總訓(xùn)練時(shí)間的情況下，揭示了功率和算力受限場(chǎng)景下通信輪次與通信中斷概率的折中關(guān)系。然而，上述研究并未揭示通信輪次和每輪時(shí)延之間的固有折中關(guān)系。

本節(jié)將分析以最小化總訓(xùn)練時(shí)間為目標(biāo)的通信輪次和每輪時(shí)延之間的折中關(guān)系，其中邊緣設(shè)備需要量化上傳梯度以減小通信開銷，但減少最小通信輪次和抑制每輪時(shí)延之間存在著基本的折中關(guān)系，即通過(guò)增加量化級(jí)數(shù)q可以減少最小通信輪次，但以延長(zhǎng)單輪訓(xùn)練時(shí)間為代價(jià)。由于設(shè)備的計(jì)算能力有差異，導(dǎo)致它們的計(jì)算時(shí)間也不同。為了滿足每輪訓(xùn)練的時(shí)間約束，應(yīng)該給計(jì)算能力低的設(shè)備分配更多的頻率帶寬，通過(guò)減小通信時(shí)間補(bǔ)償計(jì)算時(shí)間，反之亦然。因此，設(shè)備間的帶寬分配應(yīng)該同時(shí)考慮信道條件和計(jì)算資源，這與傳統(tǒng)只考慮信道條件的帶寬分配工作截然不同。為此，需要建?？傆?xùn)練時(shí)間最小化問(wèn)題，優(yōu)化量化級(jí)數(shù)和帶寬分配，設(shè)計(jì)交替優(yōu)化算法解決該問(wèn)題。

1.1 系統(tǒng)模型

1.1.1 聯(lián)邦邊緣學(xué)習(xí)框架

基于量化的聯(lián)邦邊緣學(xué)習(xí)系統(tǒng)模型如圖2 所示?？紤]一個(gè)由K個(gè)邊緣設(shè)備和一個(gè)邊緣服務(wù)器組成的聯(lián)邦邊緣學(xué)習(xí)系統(tǒng)。在邊緣服務(wù)器的協(xié)調(diào)下，多個(gè)邊緣設(shè)備協(xié)作訓(xùn)練一個(gè)全局模型。該模型用參數(shù)向量w∈Rd表示，其中d表示模型大小。

圖2 基于量化的聯(lián)邦邊緣學(xué)習(xí)系統(tǒng)模型

訓(xùn)練過(guò)程等價(jià)于最小化經(jīng)驗(yàn)損失函數(shù)，即

在聯(lián)邦邊緣學(xué)習(xí)中,訓(xùn)練過(guò)程是以分布式的方式同時(shí)使用聯(lián)邦隨機(jī)梯度下降（FedSGD,federated stochastic gradient decent）的算法來(lái)實(shí)現(xiàn)的。考慮某個(gè)特定的通信輪次或者迭代n，所有邊緣設(shè)備首先從邊緣服務(wù)器下載當(dāng)前全局模型w(t)。然后，每個(gè)邊緣設(shè)備利用從本地?cái)?shù)據(jù)集Dk中隨機(jī)采樣得到的小批量樣本進(jìn)行本地隨機(jī)梯度下降，得到梯度。將邊緣設(shè)備k在第t輪迭代中采樣的小批量樣本記為，其大小為mb。因此，梯度表示為

其中，ηt表示第t輪迭代中的學(xué)習(xí)率。隨后，邊緣服務(wù)器將更新全局模型，并將其廣播給所有的邊緣設(shè)備，以初始化下一輪訓(xùn)練。上述過(guò)程一直持續(xù)到滿足收斂條件或達(dá)到最大通信輪次為止。

1.1.2 對(duì)梯度的隨機(jī)量化方案

1.2 通信時(shí)間最小化問(wèn)題建模

在量化聯(lián)邦邊緣學(xué)習(xí)中，一個(gè)通信輪次中的計(jì)算時(shí)間和通信時(shí)間如圖3 所示，每個(gè)設(shè)備的單輪訓(xùn)練時(shí)間由計(jì)算時(shí)間和通信時(shí)間兩部分組成。由于邊緣服務(wù)器使用整個(gè)頻段向所有設(shè)備廣播相同的全局模型，與從多個(gè)邊緣設(shè)備上傳到邊緣服務(wù)器的更新導(dǎo)致的上行時(shí)延相比，全局模型廣播導(dǎo)致的下行時(shí)延是可以忽略不計(jì)的。

圖3 一個(gè)通信輪次中的計(jì)算時(shí)間和通信時(shí)間

基于文獻(xiàn)[37]的分析推導(dǎo)，可將總訓(xùn)練時(shí)間最小化問(wèn)題建模為

其中，bk為分配給邊緣設(shè)備k的帶寬，B為系統(tǒng)總帶寬，優(yōu)化目標(biāo)為達(dá)到損失函數(shù)?-最優(yōu)值間隔的總訓(xùn)練時(shí)間，C1 為每輪通信中每個(gè)設(shè)備的訓(xùn)練時(shí)間約束，C2 為總帶寬約束，C3 為量化水平約束。

1.3 最優(yōu)算法設(shè)計(jì)

由于變量Td和q的互相耦合且q為正整數(shù)，P1為非凸整數(shù)規(guī)劃問(wèn)題，難以求取全局最優(yōu)解。為了得到P1 的解決方案，首先將其拆分為2 個(gè)子問(wèn)題：一是在固定量化級(jí)數(shù)q的情況下，求解最優(yōu)帶寬分配bk和Td；二是在固定帶寬分配bk和Td的情況下，求解最優(yōu)量化級(jí)數(shù)q?？梢园l(fā)現(xiàn)，第一個(gè)子問(wèn)題可以高效地求解出唯一解，第二個(gè)子問(wèn)題可以轉(zhuǎn)化為非凸問(wèn)題，再通過(guò)連續(xù)凸近似（SCA,successive convex approximation）[38]的方法進(jìn)行求解。然后，通過(guò)交替求解每個(gè)子問(wèn)題，可以得到量化級(jí)數(shù)和帶寬分配優(yōu)化的次優(yōu)解[31]。

1.4 仿真實(shí)驗(yàn) 1.4.1 仿真設(shè)置

考慮一個(gè)邊緣服務(wù)器覆蓋外圈半徑為500 m、內(nèi)圈半徑為100 m 的環(huán)形區(qū)域的聯(lián)邦邊緣學(xué)習(xí)系統(tǒng)。在該區(qū)域內(nèi)，邊緣設(shè)備被隨機(jī)放置并均勻分布在圓形區(qū)域內(nèi)，且K=6?？紤]使用CIFAR-10 數(shù)據(jù)集進(jìn)行圖像分類的學(xué)習(xí)任務(wù)，該數(shù)據(jù)集由50 000 張訓(xùn)練圖像和10 000 張驗(yàn)證圖像組成，涉及10 類彩色目標(biāo)，如飛機(jī)、汽車等。選擇帶有批量歸一化的ResNet-20（共269 722 個(gè)參數(shù)）網(wǎng)絡(luò)作為本實(shí)驗(yàn)的學(xué)習(xí)模型。目前，關(guān)于最優(yōu)衰減學(xué)習(xí)率的方案并沒(méi)有通用的結(jié)論和理論分析。一般來(lái)說(shuō)，針對(duì)不同的神經(jīng)網(wǎng)絡(luò)模型和任務(wù)，其最優(yōu)衰減學(xué)習(xí)率可能不同。通過(guò)大量實(shí)驗(yàn)發(fā)現(xiàn)，分?jǐn)?shù)學(xué)習(xí)能夠達(dá)到最佳的學(xué)習(xí)性能，因此選擇分?jǐn)?shù)衰減學(xué)習(xí)率作為學(xué)習(xí)率方案。

1.4.2 仿真結(jié)果

帶寬分配最優(yōu)時(shí)，通過(guò)仿真得到的訓(xùn)練時(shí)間與量化級(jí)數(shù)q的關(guān)系如圖4 所示。其中，在每個(gè)量化級(jí)數(shù)上運(yùn)行相同的訓(xùn)練過(guò)程至少5 次，實(shí)線表示多次仿真結(jié)果的平均值，陰影表示多次仿真結(jié)果的范圍。從 圖4 可以看出，存在使訓(xùn)練時(shí)間最小化的最優(yōu)量化級(jí)數(shù)。如1.2 節(jié)所述，訓(xùn)練時(shí)間T=N?Td，其中N?是q的遞減函數(shù)，Td是q的遞增函數(shù)。換言之，圖4 展示了聯(lián)邦邊緣學(xué)習(xí)系統(tǒng)中總通信輪次N?和每輪時(shí)延Td之間的折中關(guān)系。此外，從圖4 中可以看出，通過(guò)理論優(yōu)化中得到的最優(yōu)量化級(jí)數(shù)與仿真結(jié)果一致，同時(shí)驗(yàn)證了所提算法的有效性。

圖4 訓(xùn)練時(shí)間與q 的關(guān)系

損失函數(shù)最優(yōu)值間隔與訓(xùn)練時(shí)間的關(guān)系如圖5所示，其中q*表示最優(yōu)的量化級(jí)數(shù)。首先，通過(guò)求解訓(xùn)練時(shí)間最小化問(wèn)題得到了最優(yōu)量化級(jí)數(shù)和最優(yōu)帶寬分配策略。因此，最優(yōu)量化級(jí)數(shù)和最優(yōu)帶寬分配下的訓(xùn)練損失在更短的時(shí)間內(nèi)達(dá)到了預(yù)定的閾值，并且能取得最高的測(cè)試準(zhǔn)確率。其次，非最優(yōu)量化級(jí)數(shù)和最優(yōu)帶寬分配下的訓(xùn)練性能會(huì)優(yōu)于最優(yōu)量化級(jí)數(shù)和平均帶寬分配的性能，這同時(shí)驗(yàn)證了資源分配的必要性。

圖5 損失函數(shù)最優(yōu)值間隔與訓(xùn)練時(shí)間的關(guān)系

2 基于重要性感知的最小通信時(shí)延用戶調(diào)度方案

本節(jié)描述了一種基于通信時(shí)延最小化的高效用戶調(diào)度方案，稱為TLM（training latency minimization）方案。在現(xiàn)有研究中，文獻(xiàn)[39]強(qiáng)調(diào)了同時(shí)考慮信道質(zhì)量和數(shù)據(jù)重要性的必要性，提出一種調(diào)度策略，即首先選擇具有最好信道狀態(tài)的設(shè)備子集，然后在這些設(shè)備中，基于數(shù)據(jù)重要性選擇一個(gè)更小的設(shè)備子集上傳模型數(shù)據(jù)。文獻(xiàn)[40]提出一種間接方法，通過(guò)設(shè)定一個(gè)權(quán)重系數(shù)建立一個(gè)基于梯度范數(shù)和單輪通信時(shí)間的加權(quán)和目標(biāo)函數(shù)。該方法能在某些聯(lián)邦邊緣學(xué)習(xí)場(chǎng)景中取得較好的增益，但需要理想的權(quán)重超參數(shù)的設(shè)定。文獻(xiàn)[41]為了強(qiáng)調(diào)數(shù)據(jù)重要性，引入了更新年齡（AoU,age of update）的概念，提出了一種聯(lián)合AoU 和信道質(zhì)量的用戶調(diào)度方案，高信道質(zhì)量和AoU 較大的用戶獲得較高的優(yōu)先調(diào)度級(jí)。文獻(xiàn)[42]提出了一種基于時(shí)分多址接入的用戶選擇算法，采用貪心策略選擇時(shí)延最小用戶，并最小化單輪訓(xùn)練所需的傳輸時(shí)延，但該算法沒(méi)有考慮不同用戶計(jì)算任務(wù)對(duì)模型更新影響的重要度不同。文獻(xiàn)[43]引入深度強(qiáng)化學(xué)習(xí)（DRL,deep reinforcement learning）的方法來(lái)實(shí)現(xiàn)用戶調(diào)度，將用戶選擇問(wèn)題建模為馬爾可夫決策過(guò)程（MDP,Markov decision process），設(shè)計(jì)動(dòng)作空間、狀態(tài)空間以及獎(jiǎng)勵(lì)函數(shù)，并采用分布式近端策略優(yōu)化（DPPO,distributed proximal policy optimization）算法進(jìn)行求解。

然而，上述研究?jī)H考慮了數(shù)據(jù)重要性和信道質(zhì)量，并未揭示數(shù)據(jù)重要性和通信輪次的聯(lián)系及信道質(zhì)量和單輪通信時(shí)延的聯(lián)系。本節(jié)通過(guò)將數(shù)據(jù)重要性和通信輪次相聯(lián)系、信道質(zhì)量和單輪通信時(shí)延相聯(lián)系，利用理論模型將兩者統(tǒng)一，建模通信時(shí)間最小化優(yōu)化問(wèn)題。通過(guò)求解該優(yōu)化問(wèn)題發(fā)現(xiàn)，最優(yōu)的調(diào)度策略在前期會(huì)更多地注重?cái)?shù)據(jù)重要性，而在后期更注重信道質(zhì)量。此外，本文還將所提的單設(shè)備調(diào)度算法擴(kuò)展至多設(shè)備調(diào)度場(chǎng)景當(dāng)中。

2.1 系統(tǒng)模型

2.1.1 聯(lián)邦邊緣學(xué)習(xí)模型

訓(xùn)練過(guò)程等價(jià)于式(1)中的最小化經(jīng)驗(yàn)損失函數(shù)。不同的是，這里考慮基于隨機(jī)調(diào)度的概率調(diào)度框架。聯(lián)邦邊緣學(xué)習(xí)用戶概率調(diào)度框架如圖6 所示，在整個(gè)學(xué)習(xí)過(guò)程中，學(xué)習(xí)系統(tǒng)不斷重復(fù)下述步驟直至全局模型收斂。

圖6 聯(lián)邦邊緣學(xué)習(xí)用戶概率調(diào)度框架

全局模型廣播。邊緣服務(wù)器廣播當(dāng)前的全局模型w(t)至各個(gè)邊緣設(shè)備。

局部模型訓(xùn)練。每個(gè)設(shè)備根據(jù)其局部數(shù)據(jù)集和w(t)估計(jì)局部梯度。

2.1.2 多址接入通信模型

采用正交頻分多址接入來(lái)進(jìn)行局部更新的上傳。假設(shè)每個(gè)被選擇的設(shè)備分配一個(gè)固定的帶寬B來(lái)進(jìn)行數(shù)據(jù)上傳。對(duì)于設(shè)備k而言，上傳時(shí)間可表示為

2.2 用戶調(diào)度問(wèn)題建模

概率調(diào)度的目的是在每輪的更新過(guò)程中最小化仍需的通信時(shí)間，即

其中，代表經(jīng)過(guò)第t輪更新后的期望仍需的通信輪次，代表未來(lái)輪次的單輪通信時(shí)間。

2.3 最優(yōu)調(diào)度算法設(shè)計(jì)及分析

以上問(wèn)題建模和分析不只適用于在單用戶調(diào)度場(chǎng)景下求解P2，也支持將單用戶調(diào)度結(jié)論擴(kuò)展至多用戶調(diào)度場(chǎng)景。

通過(guò)將P2 轉(zhuǎn)化為凸優(yōu)化問(wèn)題，可以通過(guò)KKT（Karush-Kuhn-Tucker）條件求解，得到原問(wèn)題的最優(yōu)解為

2.4 仿真實(shí)驗(yàn)

2.4.1 仿真設(shè)置

本節(jié)仿真中采用CARLA（car learning to act）仿真平臺(tái)[45]生成訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。CARLA 是一個(gè)被廣泛接受的模擬駕駛的基準(zhǔn)系統(tǒng)，它提供了復(fù)雜的城市駕駛場(chǎng)景和高質(zhì)量的三維渲染。利用CARLA 在虛擬地圖“Town02”中布置32 輛汽車，其中4 輛汽車為無(wú)人駕駛汽車，以每秒20 幀的速度生成點(diǎn)云數(shù)據(jù)。虛擬環(huán)境鳥瞰圖與點(diǎn)云圖像如圖7 所示，圖7(a)展示了虛擬環(huán)境的鳥瞰圖，并標(biāo)注了4 輛汽車的位置；圖7(b)展示了生成的點(diǎn)云圖像。

圖7 虛擬環(huán)境鳥瞰圖與點(diǎn)云圖像

每輛車生成700 幀的數(shù)據(jù)，其中200 幀用于訓(xùn)練，其余500 幀用于測(cè)試和推斷。本文采用疏散嵌入卷積檢測(cè)（SECOND,sparsely embedded convolutional detection）神經(jīng)網(wǎng)絡(luò)[46]用于三維物體檢測(cè)。從CARLA 生成的原始數(shù)據(jù)按照文獻(xiàn)[47]中的流程被處理成KITTI 格式。每輪局部訓(xùn)練隨機(jī)選擇16 幀，并采用分?jǐn)?shù)衰減學(xué)習(xí)率。

2.4.2 仿真結(jié)果

仿真中將所提TLM 方案與其他3 種常見(jiàn)的調(diào)度方案進(jìn)行比較：1)基于重要性的方案（IA，importance aware）[22]，邊緣設(shè)備的采樣概率僅與其梯度的重要性有關(guān)；2)基于信道的方案（CA,channel aware），邊緣設(shè)備的采樣概率僅與其信道條件成正相關(guān)；3)基于重要性和信道的方案（ICA,importance and channel aware）[40]。

圖8(a)和圖8(b)分別顯示了通信時(shí)間為6 000 s和14 000 s 時(shí)的平均精度，其中平均精度通過(guò)測(cè)量預(yù)測(cè)值與真實(shí)值的聯(lián)合交叉（IoU,intersection of union）得到。從圖8 可以看出，CA 方案在信道衰減最大的1 號(hào)車產(chǎn)生了最差的精度，而IA 方案在數(shù)據(jù)不太重要的4 號(hào)車展現(xiàn)了最差的精度。ICA 方案的目的是在CA 和IA 之間找到一個(gè)平衡點(diǎn)，但由于其啟發(fā)式的性質(zhì)，性能低于TLM 方案。

圖8 不同訓(xùn)練時(shí)期的測(cè)試準(zhǔn)確率

3 未來(lái)研究方向展望

本文通過(guò)對(duì)聯(lián)邦邊緣學(xué)習(xí)中資源分配和用戶調(diào)度2 個(gè)資源管理策略方向的研究，深刻剖析了以任務(wù)導(dǎo)向的聯(lián)邦邊緣學(xué)習(xí)設(shè)計(jì)新范式。接下來(lái)，將介紹2 個(gè)具備發(fā)展前景的潛在研究方向。

3.1 無(wú)線空中計(jì)算賦能聯(lián)邦邊緣學(xué)習(xí)

在聯(lián)邦邊緣學(xué)習(xí)場(chǎng)景下，若終端設(shè)備數(shù)目很大并且訓(xùn)練迭代次數(shù)很多時(shí)，“先通信再計(jì)算”的設(shè)計(jì)策略將會(huì)受限于網(wǎng)絡(luò)中的無(wú)線資源，難以突破通信瓶頸。而利用無(wú)線空中計(jì)算技術(shù)[48-49]進(jìn)行高效的模型參數(shù)傳輸聚合，即空中聯(lián)邦邊緣學(xué)習(xí)（Air-FEEL,over-the-air federated edge learning），成為解決上述聯(lián)邦學(xué)習(xí)通信瓶頸的一個(gè)研究熱門。無(wú)線空中計(jì)算賦能邊緣聯(lián)邦學(xué)習(xí)的場(chǎng)景如圖9 所示。

圖9 無(wú)線空中計(jì)算賦能邊緣聯(lián)邦學(xué)習(xí)的場(chǎng)景

與傳統(tǒng)多址接入方式對(duì)多用戶數(shù)據(jù)單獨(dú)解碼、通信計(jì)算分離設(shè)計(jì)不同，空中聯(lián)邦邊緣學(xué)習(xí)可以利用無(wú)線通道的波形疊加特性，一次性對(duì)訓(xùn)練梯度/模型在空中進(jìn)行聚合運(yùn)算，從而保證極低的聚合時(shí)延以及實(shí)現(xiàn)隱私保護(hù)，且與網(wǎng)絡(luò)規(guī)模無(wú)關(guān)。這種設(shè)計(jì)可以有效降低分布式訓(xùn)練過(guò)程中的通信開銷和時(shí)延，提高聯(lián)邦邊緣學(xué)習(xí)訓(xùn)練效率。例如，文獻(xiàn)[50]結(jié)合用戶篩選和接收端波束成形設(shè)計(jì)，在滿足計(jì)算均方誤差要求的情況下，最大化參與聯(lián)邦學(xué)習(xí)的終端設(shè)備數(shù)目，以提高模型訓(xùn)練的性能。文獻(xiàn)[19]針對(duì)一個(gè)寬帶正交頻分多址接入系統(tǒng)提出一種截?cái)喙β士刂品椒?，排除深度衰落信道的終端設(shè)備，在學(xué)習(xí)性能和聚合誤差之間取得良好的折中。

3.2 通信感知一體化賦能聯(lián)邦邊緣學(xué)習(xí)

通信感知一體化（ISAC,integrated sensing and communication）被業(yè)界普遍認(rèn)為是未來(lái)6G 網(wǎng)絡(luò)中的關(guān)鍵空口技術(shù)和重點(diǎn)業(yè)務(wù)場(chǎng)景之一[4]。ISAC 是指基于軟硬件資源共享或信息共享，同時(shí)實(shí)現(xiàn)感知與通信功能協(xié)同的新型信息處理技術(shù)，有效提升系統(tǒng) 頻譜效率、硬件效率和信息處理效率[51]。通過(guò)與ISAC 的結(jié)合來(lái)釋放聯(lián)邦邊緣學(xué)習(xí)的全部潛力具有十分重大的應(yīng)用前景。通信感知一體化賦能聯(lián)邦邊緣學(xué)習(xí)的場(chǎng)景如圖10 所示。

圖10 通信感知一體化賦能聯(lián)邦邊緣學(xué)習(xí)的場(chǎng)景

分布式無(wú)線ISAC 邊緣設(shè)備可以產(chǎn)生大量感知數(shù)據(jù)，這些數(shù)據(jù)需要通過(guò)人工智能算法進(jìn)行快速準(zhǔn)確的處理（也可能與來(lái)自其他傳感器，如相機(jī)和激光雷達(dá)的傳感數(shù)據(jù)共同處理），以支持具有超低時(shí)延“傳感-通信-計(jì)算-控制”要求的業(yè)務(wù)。因此，聯(lián)邦邊緣學(xué)習(xí)可以成為一個(gè)非常有效的解決方案，其中分布式ISAC 邊緣設(shè)備可以用無(wú)線傳輸?shù)姆绞浇粨Q它們?cè)诒镜赜?xùn)練的人工智能模型，分布式更新所需的全局人工智能模型，同時(shí)保護(hù)每個(gè)設(shè)備的數(shù)據(jù)隱私。聯(lián)邦邊緣學(xué)習(xí)與ISAC 的結(jié)合將帶來(lái)大量潛在機(jī)遇。

4 結(jié)束語(yǔ)

本文概述了聯(lián)邦邊緣學(xué)習(xí)基本概念、典型應(yīng)用場(chǎng)景及其在無(wú)線資源管理中的關(guān)鍵問(wèn)題。然后，結(jié)合前期研究積累，以聯(lián)邦邊緣學(xué)習(xí)中帶寬資源分配和用戶調(diào)度策略為典型的資源管理案例，深入闡述基于任務(wù)導(dǎo)向的設(shè)計(jì)范式思想。最后，對(duì)聯(lián)邦邊緣學(xué)習(xí)的未來(lái)潛在研究方向進(jìn)行了展望。