PFKD:綜合考慮數(shù)據(jù)異構(gòu)和模型異構(gòu)的個性化聯(lián)邦學(xué)習(xí)框架

摘要 聯(lián)邦學(xué)習(xí)是解決機(jī)器學(xué)習(xí)中數(shù)據(jù)共享和隱私保護(hù)兩個關(guān)鍵難題的重要方法．然而，聯(lián)邦學(xué)習(xí)本身也面臨著數(shù)據(jù)異構(gòu)和模型異構(gòu)的挑戰(zhàn)．現(xiàn)有研究往往只專注于解決其中一個方面的問題，忽視了兩者之間的關(guān)聯(lián)性．為此，本文提出了一個名為PFKD的框架，該框架通過知識蒸餾技術(shù)解決模型異構(gòu)問題，通過個性化算法解決數(shù)據(jù)異構(gòu)問題，以實(shí)現(xiàn)更具個性化的聯(lián)邦學(xué)習(xí)．通過實(shí)驗分析驗證了所提出框架的有效性．實(shí)驗結(jié)果顯示，該框架能夠突破模型的性能瓶頸，提高模型精度約1個百分點(diǎn)．此外，在調(diào)整適當(dāng)?shù)某瑓?shù)后，該框架的性能得到進(jìn)一步提升．關(guān)鍵詞聯(lián)邦學(xué)習(xí);數(shù)據(jù)異構(gòu);模型異構(gòu)

中圖分類號TP18;TP309

文獻(xiàn)標(biāo)志碼A

0引言

通過讓計算機(jī)自動學(xué)習(xí)和改善，機(jī)器學(xué)習(xí)已經(jīng)廣泛應(yīng)用于各個領(lǐng)域［1］．然而，傳統(tǒng)的中心化機(jī)器學(xué)習(xí)方法面臨數(shù)據(jù)孤島［2］和個人隱私保護(hù)要求等挑戰(zhàn)．為了應(yīng)對這些問題，聯(lián)邦學(xué)習(xí)［3-4］作為一種分布式機(jī)器學(xué)習(xí)技術(shù)被提出，它能確保多個參與方協(xié)同訓(xùn)練機(jī)器學(xué)習(xí)模型，同時不泄露參與方的數(shù)據(jù)．憑借在隱私保護(hù)方面的優(yōu)勢，聯(lián)邦學(xué)習(xí)被廣泛應(yīng)用于政務(wù)、醫(yī)療、金融和物流等領(lǐng)域．

聯(lián)邦學(xué)習(xí)系統(tǒng)主要由客戶端和服務(wù)端兩部分組成，其中，客戶端負(fù)責(zé)模型的訓(xùn)練，服務(wù)端負(fù)責(zé)模型的聚合．在理想的聯(lián)邦學(xué)習(xí)場景下，客戶端均使用相同的模型進(jìn)行訓(xùn)練，服務(wù)端對模型執(zhí)行平均聚合［3］．然而，在現(xiàn)實(shí)情況中，聯(lián)邦學(xué)習(xí)除了要面臨安全挑戰(zhàn)以外［5］，還由于客戶端之間的數(shù)據(jù)量、數(shù)據(jù)分布、算力資源等存在差異，使得聯(lián)邦學(xué)習(xí)面臨數(shù)據(jù)異構(gòu)和模型異構(gòu)兩大挑戰(zhàn)．其中，數(shù)據(jù)異構(gòu)是客觀存在且不可避免的，主要表現(xiàn)為客戶端之間的數(shù)據(jù)分布不同．而模型異構(gòu)則指不同客戶端的訓(xùn)練模型不一致，是人為可控的．

目前，多數(shù)研究僅從數(shù)據(jù)異構(gòu)的角度出發(fā)，以適應(yīng)本地預(yù)測為目標(biāo)，提出個性化的聯(lián)邦學(xué)習(xí)．然而，他們忽略了一個事實(shí)：不同客戶端之間的數(shù)據(jù)量和算力資源是不同的，統(tǒng)一的模型不可能適配所有客戶端的本地資源．因此，為了使模型更具個性化、更適用于本地預(yù)測，不同的客戶端應(yīng)擁有不同的模型，即：對個性化聯(lián)邦學(xué)習(xí)的研究不應(yīng)局限于只考慮客戶端之間的數(shù)據(jù)異構(gòu)性，還應(yīng)當(dāng)關(guān)注客戶端之間的模型異構(gòu)性．

針對目前個性化聯(lián)邦學(xué)習(xí)研究中的不足之處，本文綜合考慮了客戶端之間的數(shù)據(jù)異構(gòu)性和模型異構(gòu)性，提出了更能實(shí)際應(yīng)用的個性化聯(lián)邦框架（Personalized Federated learning based on Knowledge Distillation，PFKD）．首先，分析了聯(lián)邦學(xué)習(xí)面臨的兩大挑戰(zhàn)，并強(qiáng)調(diào)個性化聯(lián)邦學(xué)習(xí)研究需要關(guān)注客戶端之間的模型異構(gòu);然后，對現(xiàn)有解決數(shù)據(jù)異構(gòu)和模型異構(gòu)的研究方案進(jìn)行比較;接著，針對聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)異構(gòu)和模型異構(gòu)，提出了PFKD框架，以實(shí)現(xiàn)完整的個性化聯(lián)邦學(xué)習(xí);最后，通過實(shí)驗證明了PFKD框架在解決聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)異構(gòu)和模型異構(gòu)問題上的有效性，并給出了PFKD框架的聯(lián)邦通信次數(shù)建議和框架中超參數(shù)α的取值建議．

1相關(guān)工作

目前，對個性化聯(lián)邦學(xué)習(xí)的研究大多僅考慮了客戶端之間的數(shù)據(jù)異構(gòu)性．例如，Briggs等［6］和Mansour等［7］利用聚類技術(shù)將同類成員共同訓(xùn)練一個模型，以實(shí)現(xiàn)個性化模型訓(xùn)練．也有研究者設(shè)計了兩個模型，既能為全局模型作出貢獻(xiàn)，又能獲得適應(yīng)本地數(shù)據(jù)的模型［8-9］．還有研究者將模型分為基礎(chǔ)層和個性層［10］，其中，基礎(chǔ)層通過聯(lián)邦學(xué)習(xí)進(jìn)行協(xié)作訓(xùn)練，個性層則只使用本地數(shù)據(jù)進(jìn)行訓(xùn)練，以實(shí)現(xiàn)個性化的聯(lián)邦學(xué)習(xí)．此外，F(xiàn)allah等[11]基于模型無關(guān)元學(xué)習(xí)（Model-Agnostic Meta-Learning，MAML）的思想，試圖先協(xié)作訓(xùn)練出一個適合所有用戶的初始模型，每個客戶端再利用本地數(shù)據(jù)訓(xùn)練此模型，從而實(shí)現(xiàn)個性化的聯(lián)邦學(xué)習(xí)．然而，以上研究的不足之處在于沒有考慮客戶端之間的模型異構(gòu)，從而不能充分利用客戶端本地資源，導(dǎo)致個性化效果并不徹底．

在聯(lián)邦學(xué)習(xí)中，模型異構(gòu)是一個十分嚴(yán)峻的挑戰(zhàn)．解決這一問題最常見的處理技術(shù)是知識蒸餾（Knowledge Distillation，KD）［12］．然而，目前將知識蒸餾應(yīng)用于聯(lián)邦學(xué)習(xí)時需要解決兩個關(guān)鍵問題：1） 如何選擇教師模型;2） 如何解決相同數(shù)據(jù)集的問題．尤其是第二個問題決定了KD方法能否成功應(yīng)用于聯(lián)邦學(xué)習(xí)．本文將沿用文獻(xiàn)［13］中的術(shù)語，將歸一化后的輸出預(yù)測分布稱為“l(fā)ogit vector”．已有研究提出了多種方法將KD應(yīng)用于聯(lián)邦學(xué)習(xí)，以解決模型異構(gòu)問題．例如：Jeong等［13］采用平均logit vector的方法來解決相同數(shù)據(jù)集的問題;Li等［14］假設(shè)存在一個公共數(shù)據(jù)集來解決相同數(shù)據(jù)集的問題;Sattler等［15］和Gong等［16］提出了使用輔助數(shù)據(jù)集的假設(shè)．值得一提的是，Shen等［17］在客戶端多設(shè)計了一個用于通信的模型，從而避免了相同數(shù)據(jù)集的問題．具體而言，他們在客戶端本地設(shè)計了兩種模型：私有模型和公有模型．其中，私有模型保留在客戶端本地，而公有模型用于實(shí)現(xiàn)信息交互．每次更新時，使用DML［18］同時更新公有模型和私有模型，以完成知識交互．另外，Zhu等［19］提出了FEDGEN方法來解決相同數(shù)據(jù)集的問題，其核心是學(xué)習(xí)一個logit vector生成器．

綜上所述，單方面解決聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)異構(gòu)或模型異構(gòu)已經(jīng)成為可能．因此，本文將綜合考慮聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)異構(gòu)和模型異構(gòu)，首先利用KD技術(shù)來解決模型異構(gòu)，然后根據(jù)KD的特性改進(jìn)現(xiàn)有解決數(shù)據(jù)異構(gòu)的算法，以實(shí)現(xiàn)完整的個性化聯(lián)邦學(xué)習(xí)．

2方法：PFKD

2.1PFKD框架概述

PFKD框架（圖1）通過兩個獨(dú)立的組件來分別解決模型異構(gòu)和數(shù)據(jù)異構(gòu)，從而實(shí)現(xiàn)個性化聯(lián)邦學(xué)習(xí)．第一個組件的核心是不同功能的模型設(shè)計和知識蒸餾技術(shù)，該組件將解決聯(lián)邦學(xué)習(xí)中的模型異構(gòu);第二個組件的核心是個性化算法設(shè)計，該組件將解決聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)異構(gòu)．

在PFKD框架中，存在三類模型，分別是個性化模型（P-Model）、知識交流模型（C-Model）和元模型（M-Model）．不同類別的模型之間通過知識蒸餾實(shí)現(xiàn)知識的傳遞．個性化算法將為不同的客戶端返回合適的M-Model，用于傳遞知識并指導(dǎo)本地的P-Model更新．

2.2知識蒸餾設(shè)計

本文將知識蒸餾技術(shù)中學(xué)生模型的目標(biāo)函數(shù)設(shè)計為：L=（1-α）L_ce（y，p）+αD_KL（q，p）·T²．其中：T表示超參數(shù)“溫度”；α表示權(quán)重系數(shù)；L_ce表示交叉熵?fù)p失；D_KL表示相對熵（KL散度）；p表示學(xué)生模型的輸出（由0和1組成的向量，也稱為hard logit vector）；q為教師模型的輸出（也稱為soft logit vector）．

通過上述設(shè)計，客戶端的模型訓(xùn)練目標(biāo)可被簡要概括為：在最小化學(xué)生模型損失、最小化學(xué)生模型與教師模型的差距損失之間尋求平衡．這種平衡可以通過超參數(shù)α的調(diào)整來自由控制，從而有效地調(diào)節(jié)兩種損失的權(quán)重比例．

在本文提出的PFKD框架中，當(dāng)采用知識蒸餾技術(shù)進(jìn)行訓(xùn)練時，將作為學(xué)生模型訓(xùn)練的目標(biāo)函數(shù)修改為上述的目標(biāo)函數(shù)．例如，在利用服務(wù)端發(fā)送的M-Model來更新本地的P-Model時，客戶端會更改本地模型的訓(xùn)練目標(biāo)為上述的目標(biāo)函數(shù)．此時，P-Model充當(dāng)學(xué)生模型的角色，而M-Model則充當(dāng)教師模型的角色，在經(jīng)過一系列本地數(shù)據(jù)集上的迭代訓(xùn)練后，P-Model逐漸在學(xué)生模型損失與模型輸出差距損失之間找到了一個平衡點(diǎn)，從而實(shí)現(xiàn)知識的傳遞．類似地，當(dāng)P-Model用于指導(dǎo)C-Model的訓(xùn)練時，也是經(jīng)過類似的過程，最終達(dá)到相似的平衡狀態(tài)．

2.3PFKD模型設(shè)計

在PFKD框架中，為不同客戶端根據(jù)本地資源擁有適配的個性化模型（對應(yīng)P-Model），也為實(shí)現(xiàn)與其他客戶端模型的聯(lián)邦學(xué)習(xí)，本文引入一個統(tǒng)一的模型（對應(yīng)C-Model）．此時，服務(wù)端可以在相同結(jié)構(gòu)的模型集（對應(yīng)C-Model）上執(zhí)行個性化算法，為每個客戶端返回獨(dú)特的模型（對應(yīng)M-Model）．因此，客戶端將擁有三類模型：P-Model、C-Model和M-Model，而服務(wù)端將擁有兩類模型：C-Model和M-Model．以下是三類模型的詳細(xì)介紹．

1）P-Model：通過客戶端本地數(shù)據(jù)訓(xùn)練得到的模型，適用于客戶端的本地數(shù)據(jù)，為客戶端所私有．

2）C-Model：C-Model是通過使用知識蒸餾（KD）技術(shù)，以P-Model作為教師模型進(jìn)行訓(xùn)練得到的模型．C-Model的設(shè)計是為了在不同客戶端之間實(shí)現(xiàn)知識交流，從而促進(jìn)模型間的信息傳遞．所有客戶端的C-Model結(jié)構(gòu)相同．

3）M-Model：M-Model是通過個性化算法聚合得到的，由服務(wù)端返回給不同客戶端的模型．M-Model的結(jié)構(gòu)與C-Model相同，但其內(nèi)容是根據(jù)個性化算法對每個客戶端的需求進(jìn)行調(diào)整而得到的．在客戶端更新自己的P-Model時，M-Model起著指導(dǎo)和輔助的作用，從而提高本地模型的性能．

2.4PFKD個性化算法設(shè)計

在PFKD框架中，本文利用C-Model來有效地解決聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)異構(gòu)問題．由于C-Model在所有客戶端中保持一致，并且已有豐富的算法可供借鑒，本文在現(xiàn)有方法的基礎(chǔ)上做了一些微創(chuàng)新，以更有效地解決數(shù)據(jù)異構(gòu)的挑戰(zhàn)．例如，采納Briggs等［6］提出的聚類算法作為基礎(chǔ)，將客戶端上傳的模型分為多個組．然后，將同一組的成員共同訓(xùn)練得到M-Model，有效地克服了數(shù)據(jù)異構(gòu)的問題．在實(shí)驗部分采用該算法，獲得了令人滿意的分組結(jié)果．

值得強(qiáng)調(diào)的是，本文提出的PFKD框架利用知識蒸餾技術(shù)在模型之間傳遞知識，而KD技術(shù)的有效性與教師模型輸出的可信度相關(guān)．根據(jù)實(shí)踐經(jīng)驗，本文將模型的精確度作為評估教師模型可信度的指標(biāo)．當(dāng)服務(wù)端所聚合模型的精度越高時，知識傳遞效果就越明顯．因此，在基于上述算法得到的分組基礎(chǔ)上，本文引入一種選擇策略．具體步驟如下：

1） 對同一組內(nèi)的所有模型在私有數(shù)據(jù)集上進(jìn)行測試，評估其模型精度;

2） 基于精度值，計算前30％模型精度的平均值，并將其減少5％（具體減少量可根據(jù)經(jīng)驗設(shè)定）作為合格閾值；

3） 將精度高于合格閾值的模型進(jìn)行平均聚合［3］，形成同一組的M-Model.

除此之外，如果不存在隱私威脅，服務(wù)端可以將最終聚合階段的模型集返回給客戶端．客戶端可以自主選擇哪些模型用于聚合，以生成最終的M-Model．在確保安全性的前提下，該流程允許客戶端參與模型的選擇過程，進(jìn)一步增強(qiáng)了聯(lián)邦學(xué)習(xí)的協(xié)作性，但僅適合特定場合．

2.5PFKD框架流程

PFKD框架的流程如下：

1） 客戶端利用本地數(shù)據(jù)集訓(xùn)練得到P-Model;

2） 客戶端使用KD技術(shù)，將P-Model作為教師模型，使用本地數(shù)據(jù)集訓(xùn)練C-Model;

3） 客戶端上傳C-Model至服務(wù)端;

4） 服務(wù)端使用個性化算法聚合得到M-Model;

5） 服務(wù)端下發(fā)M-Model至客戶端;

6） 客戶端使用KD技術(shù)，將M-Model作為教師模型，使用本地數(shù)據(jù)集更新P-Model．

在不同的聯(lián)邦學(xué)習(xí)場景［20］中，可以靈活地應(yīng)用以上流程，從而適應(yīng)不同的需求．例如，在Cross-Device聯(lián)邦學(xué)習(xí)場景下，可以重復(fù)步驟2）—6），進(jìn)行多次聯(lián)邦通信，加強(qiáng)模型更新和知識傳遞效果．而在Cross-Silo聯(lián)邦學(xué)習(xí)場景下，一次聯(lián)邦通信即可滿足實(shí)驗需求，避免不必要的通信開銷．

綜上所述，PFKD框架通過兩個分離的組件解決了客戶端之間的模型異構(gòu)和數(shù)據(jù)異構(gòu)，從而實(shí)現(xiàn)個性化聯(lián)邦學(xué)習(xí)．它引入知識蒸餾技術(shù)和個性化算法，以實(shí)現(xiàn)在聯(lián)邦學(xué)習(xí)中的知識傳遞和模型更新．通過P-Model、C-Model和M-Model之間的知識交流，客戶端能夠提高本地模型的精度，而個性化算法則能夠根據(jù)不同客戶端的需求返回合適的M-Model．PFKD框架的流程十分簡潔，允許在不同聯(lián)邦學(xué)習(xí)場景中重復(fù)執(zhí)行以提升P-Model的準(zhǔn)確性．

3實(shí)驗設(shè)計和內(nèi)容

1）硬件和軟件：本文的實(shí)驗在CentOS Linux系統(tǒng)上執(zhí)行，使用的CPU配置為28個Intel（R） Xeon（R） CPU E5-2680 v4 @ 2.40 GHz，GPU配置為Tesla P40．實(shí)驗代碼采用Python 3.8編寫，聯(lián)邦學(xué)習(xí)的模擬使用PyTorch 1.13.0構(gòu)建．

2）異構(gòu)模型設(shè)置：為了模擬聯(lián)邦學(xué)習(xí)中不同客戶端的異構(gòu)模型，本實(shí)驗選擇4種不同結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)（DNN）模型．第1個模型結(jié)構(gòu)被選為基礎(chǔ)結(jié)構(gòu)，第2個模型在基礎(chǔ)結(jié)構(gòu)上增加深度，第3個模型在基礎(chǔ)結(jié)構(gòu)上增加寬度，第4個模型在基礎(chǔ)結(jié)構(gòu)上同時增加深度和寬度．4個模型的結(jié)構(gòu)分別為：784×360×180×10、784×360×240×180×10、784×500×180×10和784×500×360×180×10．除輸出層外，中間層都采用ReLU激活函數(shù)．此外，在本實(shí)驗中，C-Model和M-Model的結(jié)構(gòu)與第1個模型相同．模型使用交叉熵?fù)p失函數(shù)（Cross Entropy Loss）進(jìn)行訓(xùn)練，采用隨機(jī)梯度下降（SGD）進(jìn)行優(yōu)化，學(xué)習(xí)率為0.1．

3）聯(lián)邦學(xué)習(xí)設(shè)置：在實(shí)驗中已經(jīng)使用文獻(xiàn)［6］中的算法成功進(jìn)行了個性化分組．基于此前提，實(shí)驗設(shè)置了4個客戶端和1個聚合服務(wù)端，這4個客戶端屬于同一組成員．除非另有說明，客戶端默認(rèn)在本地數(shù)據(jù)集上進(jìn)行200輪的訓(xùn)練，包括P-Model、C-Model的本地訓(xùn)練以及更新P-Model的本地訓(xùn)練．聯(lián)邦通信的輪數(shù)為1．

4）數(shù)據(jù)集和劃分：本文采用流行的Fashion-MNIST數(shù)據(jù)集（https：／／github.com／zalandoresearch／fashion-mnist）．該數(shù)據(jù)集包含70 000張衣物圖像，其中60 000張用于訓(xùn)練，10 000張用于測試．每個圖像的大小為28×28像素，與10個類別的標(biāo)簽相關(guān)聯(lián)．總數(shù)據(jù)集被劃分為150個大小為400的塊，除非另有說明，每個參與方擁有一個包含不同標(biāo)簽的塊，數(shù)據(jù)總量為4 000．

5）評價指標(biāo)：本文使用準(zhǔn)確率作為評價PFKD框架有效性的指標(biāo)．

6）實(shí)驗內(nèi)容：將僅在本地訓(xùn)練的模型的精度變化作為基準(zhǔn);比較在使用PFKD框架后模型精度的變化情況;在PFKD框架下，將比較一次聯(lián)邦通信和多次聯(lián)邦通信對模型精度的影響;比較不同精度的M-Model對P-Model精度提升的程度，以及KD中的超參數(shù)α對P-Model精度的影響．

4實(shí)驗結(jié)果與分析

4.1PFKD框架的有效性分析

PFKD框架的有效性依賴于模型間知識傳遞的有效性，而本文采用的核心技術(shù)是知識蒸餾．因此，需要驗證使用KD在本文提出的三類模型間傳遞知識的有效性．

從圖2可以觀察到，KD能夠有效地將P-Model的知識傳遞給C-Model，并且相比于P-Model，C-Model的精度波動更小．圖3表示在200輪本地迭代后，使用PFKD框架和僅進(jìn)行本地訓(xùn)練的模型精度隨迭代次數(shù)的變化情況．其中：LT-1表示相同的200輪本地訓(xùn)練;LT-2表示在LT-1的基礎(chǔ)上，保持本地訓(xùn)練的結(jié)果;PFKD表示在LT-1的基礎(chǔ)上，使用PFKD框架的結(jié)果;Client-i（i=0，1，2，3）表示第i個客戶端的模型精度．由圖3可以看出，在M-Model作為教師模型指導(dǎo)P-Model進(jìn)行二次更新后，P-Model的精度突破了模型精度的瓶頸，將模型精度提升了約1個百分點(diǎn)（表1，其中：Muti-PFKD表示執(zhí)行了多次聯(lián)邦通信;加粗?jǐn)?shù)據(jù)表示P-Model的平均精度最高值）．同時，使用PFKD框架還減少了模型性能的波動．另外，通過比較使用PFKD框架和僅進(jìn)行本地訓(xùn)練的模型精度變化，可以觀察到該框架能夠防止模型的過擬合．

4.2PFKD聯(lián)邦通信次數(shù)分析

本節(jié)將分析在使用PFKD框架的情況下，一次聯(lián)邦通信和多次聯(lián)邦通信對模型精度的影響．本文設(shè)置PFKD框架的多次聯(lián)邦學(xué)習(xí)是指在一次完整的聯(lián)邦通信后，將客戶端中M-Model指導(dǎo)P-Model和P-Model指導(dǎo)C-Model的訓(xùn)練輪數(shù)從200輪降低到20輪，總共進(jìn)行20次聯(lián)邦通信．

從表1中可以觀察到，由于客戶端之間的P-Model精度差距不大，它們之間的C-Model也不會存在較大的精度差異，因此，服務(wù)端返回的M-Model并不能顯著提升P-Model的精度．即使用PFKD框架進(jìn)行多次聯(lián)邦通信對模型精度的提升并不是特別顯著．結(jié)合第4.3節(jié)的分析可知，當(dāng)服務(wù)端的個性化算法使客戶端組合固定時，PFKD更適合進(jìn)行一次聯(lián)邦通信，只需要在這一次通信中獲得更高精度的M-Model即可．而當(dāng)服務(wù)端的個性化算法使客戶端組合多變時，PFKD更適合進(jìn)行多次聯(lián)邦通信．

4.3M-Model精度與超參數(shù)的影響分析

本節(jié)分析不同精度的M-Model以及KD中的α對P-Model精度的影響．為了模擬此場景，首先通過增加客戶端1和客戶端2的本地數(shù)據(jù)量來實(shí)現(xiàn)不同的C-Model精度，然后通過不同的聚合算法生成不同精度的M-Model，以分析不同精度的M-Model對P-Model的影響．接著，使用不同的α來分析其對P-Model的影響．結(jié)果如表2所示．其中：M-Acc表示M-Model的模型精度;α為KD中的超參數(shù);加粗?jǐn)?shù)據(jù)表示不同精度的M-Model與不同α下的最高精度．

從表2中可以觀察到：當(dāng)M-Model的精度高于P-Model的精度時，可以明顯提高P-Model的精度;而當(dāng)M-Model的精度低于P-Model的精度時，更多地表現(xiàn)為防止模型過擬合的功能．超參數(shù)α的取值決定了M-Model對P-Model的影響程度．當(dāng)M-Model的精度高于P-Model時，較大的超參數(shù)值能更大程度地提高模型精度;當(dāng)M-Model的精度低于P-Model時，較小的超參數(shù)值能更大程度地提高模型精度．因此，在PFKD框架中，根據(jù)M-Model精度與P-Model精度的差異，選擇適當(dāng)?shù)摩林的芨蟪潭鹊靥嵘齈-Model的精度．

綜上所述，通過模擬實(shí)驗，本文證明了PFKD的有效性．根據(jù)服務(wù)端個性化算法得到的結(jié)果，本文給出了PFKD聯(lián)邦通信次數(shù)的建議．最后，本文分析了不同精度的M-Model與不同的超參數(shù)α對P-Model精度的影響．

5結(jié)語

本文在聯(lián)邦學(xué)習(xí)領(lǐng)域中提出了PFKD框架，該框架綜合考慮了數(shù)據(jù)異構(gòu)和模型異構(gòu)的問題，為實(shí)現(xiàn)個性化聯(lián)邦學(xué)習(xí)提供了有效的解決方案．實(shí)驗結(jié)果驗證了該框架的優(yōu)越性，并為未來的研究提供了指導(dǎo)性的建議．未來可以進(jìn)一步擴(kuò)展和改進(jìn)PFKD框架，以適應(yīng)不斷變化的數(shù)據(jù)異構(gòu)性和模型異構(gòu)性挑戰(zhàn)，推動聯(lián)邦學(xué)習(xí)在更廣泛領(lǐng)域的應(yīng)用和發(fā)展．

參考文獻(xiàn)

References

［1］JordanM I，Mitchell T M.Machine learning：trends，perspectives，and prospects［J］.Science，2015，349（6245）：255-260

［2］Zhang C，Xie Y，Bai H，et al.A survey on federated learning［J］.Knowledge-Based Systems，2021，216：106775

［3］McMahan B，Moore E，Ramage D，et al.Communication-efficient learning of deep networks from decentralized data［C］／／Proceedigns of the 20th International Conference on Artificial Intelligence and Statistics.PMLR，2017：1273-1282

［4］Yang Q，Liu Y，Chen T J，et al.Federated machine learning：concept and applications［J］.ACM Transactions on Intelligent Systems and Technology，2019，10（2）：1-19

［5］Zhai R，Chen X B，Pei L T，et al.A federated learning framework against data poisoning attacks on the basis of the genetic algorithm［J］.Electronics，2023，12（3）：560

［6］Briggs C，F(xiàn)an Z，Andras P.Federated learning with hierarchical clustering of local updates to improve training on non-IID data［C］／／2020 International Joint Conference on Neural Networks （IJCNN）.July 19-24，2020，Glasgow，UK.IEEE，2020：1-9

［7］MansourY，Mohri M，Ro J，et al.Three approaches for personalization with applications to federated learning［J］.arXiv e-Print，2020，arXiv：2002.10619

［8］DengY Y，Kamani M M，Mahdavi M.Adaptive personalized federated learning［J］.arXiv e-Print，2020，arXiv：2003.13461

［9］PillutlaK，Malik K，Mohamed A R，et al.Federated learning with partial model personalization［C］／／Proceedings of the 39th International Conference on Machine Learning.PMLR，2022：17716-17758

［10］ArivazhaganM G，Aggarwal V，Singh A K，et al.Federated learning with personalization layers［J］.arXiv e-Print，2019，arXiv：1912.00818

［11］FallahA，Mokhtari A，Ozdaglar A.Personalized federated learning：a meta-learning approach［J］.arXiv e-Print，2020，arXiv：2002.07948

［12］HintonG，Vinyals O，Dean J.Distilling the knowledge in a neural network［J］.arXiv e-Print，2015，arXiv：1503.02531

［13］JeongE，Oh S，Kim H，et al.Communication-efficient on-device machine learning：federated distillation and augmentation under non-IID private data［J］.arXiv e-Print，2018，arXiv：1811.11479

［14］LiD L，Wang J P.FedMD：heterogenous federated learning via model distillation［J］.arXiv e-Print，2049，arXiv：1910.03581

［15］SattlerF，Korjakow T，Rischke R，et al.FedAUX：leveraging unlabeled auxiliary data in federated learning［J］.IEEE Transactions on Neural Networks and Learning Systems，2023，34（9）：5531-5543

［16］GongX A，Sharma A，Karanam S，et al.Preserving privacy in federated learning with ensemble cross-domain knowledge distillation［J］.Proceedings of the AAAI Conference on Artificial Intelligence，2022，36（11）：11891-11899

［17］ShenT，Zhang J，Jia X，et al.Federated mutual learning［J］.arXiv e-Print，2020，arXiv：2006.16765

［18］ZhangY，Xiang T，Hospedales T M，et al.Deep mutual learning［C］／／2018 IEEE／CVF Conference on Computer Vision and Pattern Recognition.June 18-23，2018，Salt Lake City，UT，USA.IEEE，2018：4320-4328

［19］Zhu Z D，Hong J Y，Zhou J Y.Data-free knowledge distillation for heterogeneous federated learning［J］.Proceedings of Machine Learning Research，2021，139：12878-12889

［20］KairouzP，McMahan H B，Avent B，et al.Advances and open problems in federated learning［J］.Foundations and Trends in Machine Learning，2021，14（1／2）：1-210

PFKD：a personalized federated learning framework that integrates

data heterogeneity and model heterogeneity

CHEN Xuebin1REN Zhiqiang1

1College of Science／Hebei Key Laboratory of Data Science and Application／Tangshan Key Laboratory of

Data Science，North China University of Science and Technology，Tangshan 063210，China

AbstractFederated learning is an important method to address two critical challenges in machine learning：data sharing and privacy protection.However，federated learning itself faces challenges related to data heterogeneity and model heterogeneity.Existing researches often focus on addressing one of these issues while overlook the correlation between them.To address this，this paper introduces a framework named PFKD （Personalized Federated learning based on Knowledge Distillation）.This framework utilizes knowledge distillation techniques to address model heterogeneity and personalized algorithms to tackle data heterogeneity，thereby achieving more personalized federated learning.Experimental analysis validates the effectiveness of the proposed framework.The experimental results demonstrate that the framework can overcome model performance bottlenecks and improve model accuracy by approximately one percentage point.Furthermore，with appropriate hyperparameter adjustment，the frameworks performance is further enhanced.

Key wordsfederated learning;data heterogeneity;model heterogeneity