基于三支決策的聯邦學習客戶選擇模型

李曉琦,張春英,劉璐,王立亞

(華北理工大學 理學院,河北 唐山 063210)

引言

聯邦學習(Federated Learning,FL)作為一個新的分布式機器學習模式,使客戶端在保持數據集私有化的前提下訓練本地模型,中央服務器通過多次迭代聚合本地模型,得到了具有良好推廣性的全局模型[1,2]。在聯邦學習中,中央服務器的核心任務是聚合從客戶端收到的模型參數,以學習改進全局模型,并將其與客戶端共享。通信帶寬是聯邦學習的一個主要瓶頸,因為大量的客戶端都將其模型參數更新發送給中央服務器。聯邦服務器的通信資源和計算資源也會限制參與客戶端的數量。

最常用的減少聯邦學習通信帶寬的方法之一是降低通信頻次,增加客戶端的計算成本。這通常要求客戶端在通信之前多次迭代局部梯度下降[3]。作為使用最廣泛的聯邦學習算法,FedAvg也是采用這種方法來減少通信成本的。為了進一步減少通信成本,服務器可以選擇每一輪參與迭代的客戶端集合。FedAvg在不改變總客戶端數量的情況下隨機選擇參與訓練的客戶端,同時服務器把全局模型廣播給所有的客戶端,包括該輪未參與的客戶端。然而,在這種方案存在偏頗。因為對于未參與訓練的客戶端,FedAvg產生的模型與預期中客戶端單獨訓練得到的模型存在著偏差。Li等人[4]提出了一個公正的客戶選擇方案,即為被選中的客戶端創建新的全局模型。

由于聯邦學習中的通信限制和間歇性客戶端可用性,只有一部分客戶端可以參與每輪訓練。但是,每輪迭代中客戶端部分參與聯邦訓練會加劇數據異質性對最終全局模型的影響[5-7]。F-RCCE[8](Federated REINFORCE Client Contribution Evaluation)框架使用了參與方全部的梯度參數并且驗證了該框架在數據分布不平衡下的性能,CFFL[9](Collaborative Fair Federated Learning)框架使用參與方部分的梯度參數調整分配的模型性能來實現聯邦學習的合作公平性。文獻[10]通過提出Top-k梯度選擇算法,篩選上傳的梯度參數以減少用戶之間同步梯度的通信開銷。客戶選擇中最常見的目標是加快訓練的聚合過程。不同的學者給出了不同的技術方案。Chen等人[11]專注于減少訓練輪中的客戶數量,僅與選中的客戶端進行通信可以將通信減少到客戶端循環迭代中的十分之一。Chen等人[3]表示,最佳客戶抽樣可能會產生與客戶完全參與方案中相似的學習曲線。Cho 等人[6]提出了 pow-d 方法,旨在減少訓練輪次的總數以達到相同的精度。Cho等人[12]提出了基于MAB(Multi-Armed Bandit)的客戶端選擇策略UCB-CS,并計算每個客戶端的累積局部損失值和每個客戶端被采樣次數的計數,使該客戶選擇策略提高了收斂速度。

三支決策(Three-way Decisions)[13]是一種處理不確定性決策的粒計算方法,已成功用于各種領域。三支決策理論通過引入邊界域的概念,將那些不能立刻做出判決的對象劃分到邊界域以待進一步處理,這和人們在實際生活中做決斷的行為相符合,同時能降低一定的決策錯誤率。針對聯邦學習中客戶選擇的問題,依據三支決策理論,在客戶選擇的過程中,制定三支聯邦客戶的分類規則,提出了一種基于三支決策的聯邦客戶選擇模型。該模型根據客戶端的參數損失值和精度,利用三支決策的閾值判定客戶端是否參與聯邦聚合訓練,從而加快聯邦模型的收斂。

1 三支決策相關理論

1.1 三支決策

三支決策的主要思想就是根據域的劃分將整體分為3個獨立的部分,并對不同部分采用不同的處理方法,其基本思想可以用圖1來描述。設U={x1,x2,...,xn}是有限、非空實體(對象)集,C是有限條件集。三部分分別為正域、負域和邊界域。

圖1 三支決策的三個域

表1 代價函數

表2 代價函數

λPP,λNP,λBP分別表示當對象屬于C時采取行動aP,aN,aB的代價,λPN,λNN,λBN分別表示當對象屬于C時采取行動aP,aN,aB的代價。P(C|[x])表示[x]屬于集合C的條件概率,對于[x]中的對象,分別采取行動aP,aN,aB的期望代價為:

(1)

根據貝葉斯決策論的最小風險決策過程,可得如下最小代價決策規則[17]:

(P)若R(aP|[x])≤R(aN|[x])且R(aP|[x])≤R(aB|[x]),則x∈POS(α,β)(C)接受決策;

(N)若R(aN|[x])≤R(aP|[x])且R(aN|[x])≤R(aB|[x]),則x∈NEG(α,β)(C)拒絕決策;

(B)若R(aB|[x])≤R(aP|[x])且R(aB|[x])≤R(aN|[x]),則x∈BND(α,β)(C)延遲決策。

令,

(2)

(P) 如果P(C|[x])≥α,則x∈POS(α,β)(C)接受決策;

(N)如果P(C|[x])≤β,則x∈NEG(α,β)(C)拒絕決策;

(B)如果α

2 基于三支決策的聯邦客戶選擇模型

該部分詳細介紹聯邦學習的基本步驟,基于三支決策的聯邦客戶過程和基于三支決策的橫向聯邦學習模型。

2.1 聯邦學習基本步驟

聯邦學習被認為是一個迭代過程,每次迭代都對中心機器學習模型進行改進,從服務器隨機選擇客戶端下載可訓練模型,使用自己的數據更新模型,并將更新后的模型上傳到服務器,同時要求服務器聚合多個客戶端更新以進一步改進模型。

聯邦學習實現可以概括為以下3個步驟[18]:

(1)模型選擇:首先啟動中央服務器預練的機器學習模型即全局模型及其初始參數,然后將全局機器學習模型與聯邦學習環境中的所有客戶端共享;

(2)局部模型訓練:在與所有客戶端共享初始機器學習模型和參數后,在客戶端的初始機器學習模型即局部機器學習模型使用個人訓練數據進行訓練;

(3)數據傳輸:上行:客戶端上傳參數到服務器,下行:服務器傳輸參數到客戶端;

(4)聚合模型:本地模型在客戶端級別進行訓練,更新被發送到中央服務器,以聚合和訓練全局機器學習模型。全局模型將被更新,改進后的模型將在各個客戶機之間為下一次迭代共享。

聯邦學習處于一個持續的迭代學習過程中,重復上述(2)和(3)的訓練步驟,以保持所有客戶端的全局機器學習模型更新。

聯邦學習經典算法FedAvg主要思路是隨機選擇m個客戶端采樣,對這m個客戶端的梯度進行全局模型更新。

在一般橫向聯邦學習框架FedAvg算法中有K個客戶端,其中客戶端k有本地數據集Bk,包含數據樣本Dk=|Bk|。所有客戶端利用中央服務器旨在共同尋求模型參數向量w,以最大限度地降低以下目標:

(3)

2.2 基于三支決策的聯邦客戶選擇模型

結合聯邦學習的主要步驟[18]:模型選擇、局部模型訓練、數據傳輸、聚合模型。在第一輪聚合模型之后增加客戶選擇模塊,設計出基于三支決策選擇模型的聯邦學習整體框架,如圖2所示。

圖2 聯邦客戶選擇總體框架圖

在聯邦客戶選擇框架中,中央服務器執行全局模型聚合模塊和客戶選擇模塊。依據Yao提出的多類分類問題[13]三支決策模型,客戶選擇模塊將把所有客戶端劃分為3個部分,分別是POS域表示被選中,NEG域表示沒有被選中,BND域表示待定選擇。基于三支決策的聯邦客戶選擇模型具體算法思路如下:

(1)分域:利用上一輪客戶端的損失函數Fk(w)采取行動aPP的期望代價,使雙曲正切函數tanh(Fk(w))代表條件概率,令tanh(Fk(w))=P(C|xk),若P(C|xk)>α將k劃分POS域,若P(C|xk)<β將k劃分NEG域,若β

(2)判斷:如果POS域中被選中的客戶端少于m個,則從BND域中再次選擇;

(3)迭代:此時條件概率使用上一輪客戶端回傳的精度vacck的雙曲正弦函數sinh(vacck),令sinh(vacck)=P(C|xk),直到正域中選中的客戶端大于等于m個。

雙曲正切函數和雙曲正弦函數,在(0,+∞)范圍能單調遞增,使用雙曲正切函數和雙曲正弦函數對參數進行歸一化處理。客戶端總數是K,每輪客戶樣本數量為m。

3 實驗

3.1 實驗環境

為了驗證算法的有效性, 本次實驗共選擇:CIFAR-10、Fashion-MNIST、MNIST這3種公開的數據集進行試驗。

選取Fashion-MNIST、MNIST、CIFAR-10數據集中的2個類別,轉換圖片像素為1×28×28,每種類別挑選4 000張圖片,其中3 000張訓練圖片、1 000張測試圖片。初始化100個客戶端,把3 000張訓練圖片及1 000張測試圖片分別平分為100份,也即每個客戶端擁有30張訓練圖片、10張測試圖片,使其充分滿足橫向聯邦學習的業務特征。

實驗采用聯邦平均經典算法FedAvg的聯邦聚合算法和三支聯邦客戶選擇算法進行比較,均采用CNN機器學習算法。2個算法參數如表3所示。其中IID表示客戶端數據的分布方式,IID=TRUE代表客戶端的數據分布方式采用獨立同分布方式;K表示客戶端總數量;C表示客戶端選擇比例;Learning_rate表示學習率,代表可變參數每次更新的幅度。

表3 算法參數

3.2 實驗結果

3.2.1參數C=0.1

參數C=0.1時的實驗結果分別如圖3、圖4、圖5所示。

圖3 Fashion-MNIST數據集參數C=0.1時的實驗結果

圖4 CIFAR-10數據集參數C=0.1的實驗結果

圖5 MNIST數據集參數C=0.1的實驗結果

根據圖3 Fashion-MNIST數據集實驗結果可知,隨著迭代輪次增加,三支聯邦客戶選擇算法的準確率逐漸上升,而且上升幅度較大。FedAvg算法準確率變化幅度較小。當迭代輪次到600時,三支聯邦客戶選擇算法的準確率達到99%,與FedAvg算法相比準確率提高了約5.5%。三支聯邦客戶選擇算法的損失值下降幅度較大,且總是低于FedAvg算法。三支聯邦客戶選擇算法收斂速度比FedAvg快。

根據圖4 CIFAR-10數據集實驗結果可知,隨著迭代輪次增加,三支聯邦客戶選擇算法和FedAvg算法的準確率都逐漸上升,而且三支聯邦客戶選擇算法變化幅度較大,FedAvg算法準確率變化幅度較小。當迭代輪次大于300時,三支聯邦客戶選擇算法準確率高于FedAvg算法。當迭代輪次到600時,三支聯邦客戶選擇算法的準確率達到83.2%,與FedAvg算法相比提高了約4%。三支聯邦客戶選擇算法的損失值下降幅度較大,且總是低于FedAvg算法。三支聯邦客戶選擇算法收斂速度比FedAvg快。

根據圖5 MNIST數據集實驗結果可知,三支聯邦客戶選擇算法的準確率逐漸上升,而且三支聯邦客戶選擇算法變化幅度較大。FedAvg算法準確率變化幅度較小。在迭代輪次大于400時,三支聯邦客戶選擇算法準確率高于FedAvg算法。當迭代輪次到600時,三支聯邦客戶選擇算法的準確率到94%,與FedAvg算法相比提高了約3%。在迭代輪次大于100時,三支聯邦客戶選擇算法的損失值下降幅度較大,且總是低于FedAvg算法。三支聯邦客戶選擇算法收斂速度比FedAvg快。

3.2.2參數 C=0.15

參數C=0.15時準確率的實驗結果分別如圖6、圖7、圖8所示。

圖6 MNIST數據集參數C=0.15的實驗結果

圖7 Fashion-MNIST數據集參數C=0.15的實驗結果

圖8 CIFAR-10數據集參數C=0.15的實驗結果

根據圖6 MNIST數據集實驗結果可知,當迭代輪次小于420時,三支聯邦客戶選擇算法的準確率小于FedAvg算法。當迭代輪次大于420時,三支聯邦客戶選擇算法的準確率變化幅度較大,且始終大于FedAvg算法準確率。整體來看,FedAvg算法準確率變化幅度較小。當迭代輪次到600時,三支聯邦客戶選擇算法的精度達到95%,與FedAvg算法相比準確率提高了約3%。在迭代輪次大于100時,三支聯邦客戶選擇算法的損失值下降幅度略大于FedAvg算法。三支聯邦客戶選擇算法收斂速度比FedAvg 快。

根據圖7 Fashion-MNIST數據集實驗結果可知,在迭代輪次達到100之后,FedAvg算法的準確率沒有明顯增加。當迭代輪次到600時,三支聯邦客戶選擇算法的準確率達到98%,比FedAvg算法的準確度提高了約5%。在迭代輪次大于100并且小于400時,FedAvg算法和三支聯邦客戶選擇算法收斂速度差別不大,但在迭代輪次大于400時,FedAvg算法的損失值又逐漸增加,這是出現了過擬合現象。而三支聯邦客戶選擇算法隨著迭代輪次增加,損失值逐步減小,沒有出現過擬合現象。

根據圖8 CIFAR-10數據集實驗結果可知,隨著迭代輪次增加,三支聯邦客戶選擇算法和FedAvg算法的準確率都逐漸上升,當迭代輪次小于500時,FedAvg算法高于三支聯邦客戶選擇算法的準確率。當迭代輪次大于500時,三支聯邦客戶選擇算法的準確率高于FedAvg算法。當迭代輪次到600時,三支聯邦客戶選擇算法的準確率達到84%,與FedAvg算法相比準確度提高了約2%。隨著迭代輪次增加,三支聯邦客戶選擇算法的損失值下降幅度較大,且總是低于FedAvg算法。三支聯邦客戶選擇算法收斂速度比FedAvg快。

3.2.3參數C=0.2

參數C=0.2時準確率的實驗結果分別如圖9、圖10、圖11所示。

圖9 Fashion-MNIST數據集參數C=0.1的實驗結果

圖10 CIFAR-10數據集參數C=0.2的實驗結果

圖11 MNIST數據集參數C=0.2時的實驗結果

根據圖9 Fashion-MNIST數據集實驗結果可知,在迭代輪次大于100時,三支聯邦客戶選擇算法的準確率大于FedAvg算法,三支聯邦客戶選擇算法的準確率逐漸上升,而且變化幅度較大。FedAvg算法精準度變化幅度較小。當迭代輪次到600時,三支聯邦客戶選擇算法的準確率達到99.5%,與FedAvg算法相比準確率提高了約5%。在迭代輪次大于100并且小于400時,FedAvg算法和三支聯邦客戶選擇算法收斂速度差別不大,但在迭代輪次大于400時,FedAvg算法的損失值又逐漸增加,這是出現了過擬合現象。而三支聯邦客戶選擇算法隨著迭代輪次增加,損失值逐步減小,沒有出現過擬合現象。

根據圖10 CIFAR-10數據集實驗結果可知,隨著迭代輪次增加,三支聯邦客戶選擇算法和FedAvg算法的準確率都逐漸上升。當迭代輪次小于420時,FedAvg算法高于三支聯邦客戶選擇算法的準確率。當迭代輪次大于420時,三支聯邦客戶選擇算法的準確率高于FedAvg算法。當迭代輪次到600時,三支聯邦客戶選擇算法的準確率達到86%,與FedAvg算法相比準確率提高了約3.5%。隨著迭代輪次增加,三支聯邦客戶選擇算法的損失值下降幅度較大。在迭代輪次小于300時,FedAvg算法收斂速度比三支聯邦客戶選擇算法快。在迭代輪次大于300時,三支聯邦客戶選擇算法收斂速度比FedAvg快。

根據圖11 MNIST數據集實驗結果可知,當迭代輪次小于340時,三支聯邦客戶選擇算法的準確率小于FedAvg算法。當迭代輪次大于340時,三支聯邦客戶選擇算法的準確率大于FedAvg算法,而且變化幅度較大。FedAvg算法準確率變化幅度較小。當迭代輪次到600時,三支聯邦客戶選擇算法的準確率達到95%,與FedAvg算法相比,準確度提高了約4%。三支聯邦客戶選擇算法收斂速度比FedAvg 快。在迭代輪次小于200時,FedAvg算法損失值小于三支聯邦客戶選擇算法的損失值。在迭代輪次大于200時,三支聯邦客戶選擇算法的損失值小于FedAvg算法,并且下降幅度大于FedAvg算法。

根據在不同數據集上,聯邦平均算法FedAvg和基于三支決策的聯邦客戶選擇算法,針對不同參數設置得到的算法結果進行對比分析。表4、表5和表6列出了三個數據集在參數C=0.1、0.15、0.2的情況下實驗結果顯示的最高準確率和最小損失值。

表4 C=0.1的最高準確率和最小損失值

表5 C=0.15的最高準確率和最小損失值

表6 C=0.2的最高準確率和最小損失值

由表4、表5和表6可知,三個數據集在不同的參數C的情況下,三支聯邦客戶選擇算法的準確率均高于FedAvg算法。三個數據集在參數C=0.1、0.15的情況下,三支聯邦客戶選擇算法的損失值均小于FedAvg算法。Fashion-MNIST數據集在C=0.2的情況下,三支聯邦客戶選擇算法的損失值均大于FedAvg算法,在參數C=0.1、0.15的情況下,三支聯邦客戶選擇算法的損失值均小于FedAvg算法。

4 結論

(1)提出了一種融合三支決策思想的聯邦客戶選擇的方法。在CIFAR-10、MNIST、Fashion-MNIST這3種數據集進行的實驗證實了所提出方法的可行性與有效性。

(2)與隨機選擇方法相比,基于三支決策的聯邦客戶選擇方法,Fashion-MNIST數據集上準確率提高了約5%,在CIFAR-10數據集上準確率提高了約3%,在MNIST數據集準確率提高了約4%。