基于聯邦學習的多源異構網絡無數據融合方法

段昕汝, 陳桂茸, 姬偉峰, 申秀雨

(空軍工程大學信息與導航學院,西安,710077)

隨著云計算、大數據、物聯網、無人技術等為代表的現代信息技術在軍事領域的廣泛應用,未來戰爭呈現信息化、智能化、協同化發展趨勢,聯合作戰成為打贏現代和未來戰爭的必然要求。在聯合作戰體系中,數據作為支撐高效指揮決策的戰略資源,發揮著重要的底層支撐作用,數據妥善管理和高效利用成為推動作戰能力整體躍遷和作戰樣式深度變革的重要動力。實現不同作戰系統間的數據安全互聯對進一步發揮數據資源在指揮決策中的支撐作用,實現高速計算、存儲、檢索的智能數據融合體系,構建大數據驅動的智能化模型,對加快推進智能化復雜網絡信息系統建設、助力軍事智能化發展具有重要意義。

由于前期系統建設的階段性和獨立性,以及戰略目的的針對性,不同系統間隔離程度較高,數據孤島成為軍事數據建設的關鍵掣肘因素。軍事數據的特殊戰略性地位,使得大數據在軍事領域的應用如同雙刃劍,在加快國防軍隊現代化的同時也要充分考慮信息化過程中隱藏的信息泄露的風險[1-2]。

現有研究依托于“網-端-云”結構理論結合統一體系結構框架方法,對后勤與裝備保障指揮信息系統進行建模,建立全域聯通的信息網,然而這種大規模通信網絡并不能滿足對于安全需求較高的重要數據交互業務[3]。基于區塊鏈的軍事數據安全治理方法實現數據的安全共享,并對交互過程執行訪問控制[4],然而在實現了高質量的數據安全同時也受到區塊鏈技術特性的限制,對于大數據業務交互效率較低。文獻[5]結合聯邦學習技術在聯合作戰場景下的應用進行分析建模,通過聯邦學習跨域安全互聯方法幫助不同作戰域進行信息整合,保障數據安全的前提下充分利用保存在各作戰域的數據資源,進而安全可靠的實施作戰任務協同,然而該方法尚未充分考慮數據結構、特征、分布的差異性。

本文基于聯邦學習技術開展進一步研究,提出多源異構網絡無數據融合方法,從交互媒介層面對傳統方法進行改進,弱化其對于局部模型和全局模型間的同構需求,同時已無數據方式知識遷移,保持對模型結構的不完全可知,一定程度上遏制了系統中的不安全因素。

1 相關工作

1.1 聯邦學習

聯邦學習(federated learning,FL)這一技術概念由Google公司首先提出并用于分布式語言模型的訓練中以保護用戶原始數據安全與隱私,在不共享原始數據的情況下通過模型梯度的周期性交互完成協同訓練(見圖1),利用FedAvg算法最小化全局目標函數優化模型(見式(1)),解決了大規模分布式訓練網絡中的數據交互需求和隱私問題,同時實現了計算資源和數據分散化[6]。

(1)

式中:n為參與訓練的客戶端總數;f(ω)為全局目標函數;fi(ω)=(xi,yi;ω)表示局部參數化模型的損失函數。

圖1 移動終端上的聯邦學習方法原理

為進一步適應不同系統和數據分布的異構性,Li等人改進的FedProx算法允許在不同的設備之間局部執行不同數量的工作,并在局部子問題上添加一個近端項以限制變量局部更新的影響[7]。如式(2)所示:

式中:ωi為第i個客戶端的局部參數化模型;Fi(ωi)為對應的損失函數。

以上方法在模型更新上具有相似的原理,均采用了梯度平均的思想,通過聚合邊緣節點上傳的局部模型梯度實現全局模型的訓練,此類方法要求各局部模型完全同構,一定程度上限制了模型對于本地數據的適應性。為解決聯邦學習中跨設備數據集的非獨立同分布(Non-IID)問題,Jeong等[8]首次提出了聯邦蒸餾(federated distillation,FD)的思想,打破了基于更新梯度傳統方法,以模型輸出代替模型梯度進行交互。Seo等[9]設計了一種交換模型輸出的分布式框架,從局部模型中提取logit輸出向量的統計量,并以元數據形式進行共享,提取局部模型知識同時提高了模型的通信效率。

知識蒸餾(knowledge distillation,KD)可在神經網絡模型之間傳遞知識[10-11]。區別于標準神經網絡通過匹配樣本的預測與真實標簽進而優化模型參數,知識蒸餾利用轉移集,通過匹配教師模型與學生模型的軟間隔優化模型,將教師模型中的規律傳遞到學生模型上來改善模型性能。該方法不強調教師模型和學生模型之間同構,將其與聯邦學習相結合可以在保障本地數據安全的同時滿足多源網絡的異構性[12-16]。

1.2 生成對抗網絡

生成對抗網絡(generative adversarial network,GAN)是一種基于零和博弈理論的生成式模型,該模型由2個同時訓練的模型構成,即生成器G和鑒別器D,通過2個模型的動態博弈訓練網絡模型其達到納什均衡,具體結構見圖2。近年來這一技術不斷進化,在數據增廣、遷移學習等領域展現出了巨大的潛力,在軍事領域具有廣闊的應用前景[17]。

圖2 條件生成對抗網絡結構圖

條件生成對抗網絡(conditional generative adversarial network,CGAN)[18]在GAN基礎上添加了條件標簽y,其結構見圖2。生成器使用噪聲向量z和條件標簽y合成一個偽樣本x*,鑒別器接收帶標簽的真實樣本(x,y)及帶生成標簽的偽樣本(x*|y,y),利用真實樣本-標簽對訓練鑒別器完成識別配對,同時利用偽樣本-標簽對學習識別偽樣本并與真實樣本區分開來,其目標函數為:

Ez～p(z)[log(1-D(G(z|y)))]

(3)

CGAN用于樣本增強可以在不依賴先驗假設的情況下實現數據復雜分布特征的學習,生成與原始數據分布相似的高質量樣本,通過擴充數據集提升模型在現有樣本上的識別率。Lee等[19]利用CGAN實現了虹膜圖像數據增強,并使用這種增強方法提高了識別性能,緩解了神經網絡訓練中缺少標記樣本的問題,解決了生物特征隱私問題。Souibgui等[20]針對文檔退化導致的讀取困難問題,提出了一種有效的文檔增強生成對抗網絡(DE-GAN),使用CGANs來恢復嚴重退化的文檔圖像,生成高質量的降級文檔。Yang等[21]對于噪聲魯棒語音識別問題,利用CGAN實現音頻數據增強,提高在噪聲環境下的語音識別能力。Roheda等[22]提出使用CGAN從傳感器數據中提取知識,并增強低分辨率的目標檢測。

2 基于聯邦學習的信息交互方法

2.1 問題分析

信息化戰爭制勝的關鍵在于能否及時有效地對海量作戰數據進行整合,將信息優勢轉化為作戰優勢。在聯合作戰場景中,樣本數據來源廣泛、特征迥異且具有戰略特殊性,整合時需要重點考慮以下問題:

1)系統安全性。在進行信息融合的過程中通常涉及多個作戰域的信息交互,作戰數據中可能包含關鍵戰略信息,此類數據在使用時需全面考慮交互過程中存在的安全風險,在保證數據安全的情況下對數據資源進行合理、高效、充分的利用。

2)數據異構性。用于訓練的各單位數據往往普遍存在異構性。首先,全局數據與局部數據分布存在差異,即Pk≠Pjoint,用戶k的損失函數的期望可能不滿足EPk[Fk(ω)]=f(ω),導致直接全局共享模型可能比單獨訓練私有數據的本地模型表現差;其次,各單位數據規模存在不平衡問題,基于數據安全設定,系統中的各單位不直接進行數據交互,可能導致收斂緩慢、全局模型飄移等問題。

3)目標差異性。針對不同的本地數據表示、不同的硬件能力、不同的任務,各作戰域設計模型的目標和提取結構可能存在較大差異。其中服務器的目標是適合Pjoint(x,y)的廣義模型,而客戶端的目標是適合Pk(x,y)的個性化模型,可能存在更新對聯合模型訓練有害但對本地模型有益的情況,因此基于本地數據訓練單一可用的模型對各單位具體情況缺乏適用性。

2.2 聯邦學習系統模型

為了解決以上問題,本文深入分析了聯邦學習系統框架及模型訓練流程,并從以下2個維度加以改進:

1)聯邦學習機制中的信息交互介質。現有方法大多基于模型梯度完成信息共享,通過數學運算完成對局部模型的聚合。本文通過加密共享本地服務器上訓練的完整網絡模型,同時限制聚合時對局部網絡結構的可知性。

2)聯邦學習的聚合方法。通過局部教師模型-全局模型的架構對局部模型知識進行提取,允許局部模型與全局模型之間的差異性,允許各單位針對性細化模型及訓練算法,獨立地訓練個性化模型,并利用局部模型的集成知識豐富全局模型,緩解局部模型中由異構性引起的模型漂移,細化全局模型。

本文考慮了典型的聯邦學習設置,即包括一個聚合服務器和N個持有本地數據集的私有域,這些本地數據集共享相同的特征空間且樣本不重疊。在不進行數據互通前提下協同訓練模型實現信息交互,基于聯邦學習系統模型見圖3。

圖3 總體框架

具體來說,為了保證數據的安全性,在進行模型訓練時通過設置一個私有特征提取器對原始數據進行特征提取,從而避免模型直接接觸原始數據,保護源數據的隱私,進而保證了源數據在系統內的安全性。通過特征提取減少數據的維度,去除冗余信息,同時保留數據的重要特征,從而提高模型的精度和效率。其次,通過聯合訓練一個輕量級生成器,以無數據的方式集成用戶信息,作為歸納偏差來調節局部數據并轉移知識,以獲得更好的收斂性能,緩解數據的異構性。最后利用知識蒸餾的方法進行模型聚合,將局部教師模型的知識轉移到全局模型中,允許多個教師模型之間異構,即不同類型的模型可以參與知識蒸餾,從而實現在保證模型準確性的同時提高模型的效率和對局部目標的適用性。

3 多源異構網絡無數據融合方法

3.1 符號定義

D為所有數據樣本的集合,X為數據集中所包含的特征集合,Y為樣本X對應的標簽集,Dk為本地客戶端數據子集,其中k∈K,K為參與訓練的客戶端集合。X?d表示數據集D中的樣本對應特征空間,Z?c表示潛在空間,其中c

CGAN參數化模型(θG,θD),其中θG為生成器G(z,y)=x*|y,θD為判別器D(x*|y,x)。

在教師-學生架構中,ωk為教師模型,ω為學生模型,Dt為知識蒸餾轉移集。

3.2 聯邦無數據蒸餾算法

本算法通過訓練CGAN網絡提取關于數據分布的全局視圖,向本地用戶傳達多方共識知識,指導局部模型的訓練,并從給定的教師網絡中生成圖像,通過局部教師模型-全局模型的框架對各單位異構網絡的知識進行遷移以訓練全局模型。具體的算法如表1所示。

表1 聯邦無數據蒸餾算法(FedND)流程

首先由中央服務器初始化并廣播CGAN參數化模型,并由各客戶端基于可用的本地數據訓練CGAN網絡使其達到納什平衡。其目標函數:

Ez～pk(z){log[1-D(G(z|y))]}

(4)

中央服務器利用各單位學習到的生成器以聚合來自不同本地客戶端的信息,計算全局最小化損失擬合局部模型使模型的損失降到最低。并通過訓練生成網絡,利用其潛在空間恢復一個誘導分布G*:Y→Z(見式(5)以緩解訓練過程中的相關數據安全問題。

學習一個參數化條件生成器θG提取知識以優化以下目標:

式中:g(·)和σ(·)是logit輸出和激活函數。給定任意的目標標簽y,生成器可以產生特征z～G(·|y)。從用戶模型的集合中誘導理想的預測,這與來自全局視圖的用戶數據是一致的。

局部設備利用生成器聚合知識識別出本地數據樣本中缺少的目標標簽,基于目標標簽生成與全局數據分布相似的高質量樣本,以實現樣本增強直至滿足IID特性,使全局數據分布Pjoint與局部數據分布Pk滿足Pk=Pjoint(見圖4)。

圖4 數據增強

其次,通過局部教師模型-全局模型的框架,利用生成器生成轉移集Dt蒸餾細化全局模型(見圖5),最小化教師模型和學生模型softmax層對應輸出向量的差距,具體計算方式如下:

σ(g((G(x*|y),ω)))]}

(7)

(8)

圖5 聯邦無數據蒸餾聚合

與現有方法相比,本文方法具有以下優點:

1)將局部模型的訓練從全局中解耦出來,以便根據局部目標調整訓練算法與網絡模型結構,允許多個數據源針對性訓練局部模型;

2)利用教師-全局模型架構提取知識而不是直接對局部模型參數進項加權平均,允許對局部訓練算法和模型結構保持一定的不可知性;

3)利用CGAN實現數據增強,提高模型訓練效率和收斂速度,減小通信開銷。

4)使用無數據融合的方法,用生成數據代替本地小批量樣本作為轉移集,保證了本地數據源的安全性。

4 實驗及分析

4.1 數據集及實驗設置

實驗選取了不同數據集用以驗證方法的有效性,包含廣泛用于機器學習任務研究和評估的MNIST、EMNIST、CELEBA數據集和真實FOQA數據集。其中,MNIST數據集包含了70 000個灰度圖像樣本,每個樣本的維度為28像素×28像素,對應10類樣本標簽;EMNIST數據集是基于MNIST數據集擴展而來的一個數據集,包含大寫字母、小寫字母、數字和符號等6類樣本;CELEBA數據集包含10 177個名人身份的202 599張圖片樣本,并且都做好了特征標記,每個圖像都附帶了40個不同的屬性標簽。FOQA數據集是NASA研究團隊開源的真實數據集,包括99 837個不同航線的樣本數據,對應4類標簽,每個數據樣本為160×20維。

實驗基于中心化的系統架構開展,包括1個聚合服務器和20個邊緣訓練節點,將訓練集和測試集分成20組分發至不同的模擬邊緣訓練節點,以還原實際應用場景中不同節點間數據相互隔離的設定。實驗設置了200輪迭代,并對所有邊緣節點使用相同的超參進行設置,批處理大小epochs為32,學習率η為0.01,優化器為Adam,蒸餾溫度參數為10。

為了驗證本方法的有效性及可用性,實驗結合卷積神經網絡將本文的FedND算法與FedAvg算法[6]、FedProx算法[7]、FedDistill算法[8]性能進行對比,并采用如下指標對實驗結果進行評估:①準確率accuracy:分類正確的樣本占全部測試樣本的比例;②模型損失loss:衡量全局模型的預測結果與真實標簽之間的差異程度,記錄全局模型的損失函數變化趨勢。

4.2 實驗結果及分析

首先驗證算法對于異構樣本的有效性。對于MNIST和EMNIST數據集,本文使用dirichlet函數將數據集劃分為20組,通過調整Dirichlet分布參數來控制生成的每組分配的樣本數,使得每個數據子集的樣本分布不同,滿足數據異構性設定,并用于訓練本地模型;對于CELEBA數據集,隨機將屬于不同名人的圖片聚集成不相交的組來增加了數據的異構性;對于FOQA數據集,隨機劃分不同樣本數據來表現數據子集的異構性。

在4個數據集上不同算法下模型訓練收斂過程對比見圖6,實驗結果顯示,在迭代輪數小于200時本算法能夠更快地進行學習使全局模型收斂,且從模型精度上來看本方法略優于其他3個對照組。圖中結果表明了在相同的條件下,本方法以更小的通信輪數達到更優的訓練效果,減小了模型收斂所需的交互次數,從而減少實際應用中的通信開銷和信息暴露面。

(a) MNIST

(b) EMNIST

(c) CELEBA

(d) FOQA

圖7給出了不同算法下模型訓練過程的損失對比,可以看出,隨著迭代輪數的增加,FedND在實驗數據集上損失更低。

(a) MNIST

(b) EMNIST

(c) CELEBA

為進一步探討數據異構性對模型精度的影響,本文利用MNIST和EMNIST數據集開展進一步驗證。利用numpy庫中的Dirichlet分布函數對數據子集的異構性程度進行量化,通過設置超參數α的值控制分布的形狀,進而驗證本方法下數據分布的異構程度與模型精度之間的關系。實驗結果如表2所示,其中α值越大表示數據子集間的分布異構性越弱;α值越小則概率分布更分散,數據子集間的分布異構性越強。首先實驗結果表明,在同樣的超參數條件下本文所提出的方法在模型精度上略高于其他對照組。其次,實驗結果反映了數據異構性對模型性能的影響:FedND對不同量級的異構性具有魯棒性,特別是當數據分布高度異構時,本方法對全局模型的增益效果更為顯著。

5 結語

本文提出了一種基于聯邦學習的多源異構網絡無數據融合方法,在傳統的聯邦優化算法的基礎上加以改進,引入知識蒸餾用于解決各單位普遍存在的數據異構性問題,同時使用聚合知識細化服務器模型代替直接聚合的模型參數,強化了聯邦學習系統的安全性,通過保持聚合服務器對局部模型的不可知性,減少安全風險保護代理數據;利用CGAN網絡集成代理信息和數據成分布知識調節模型訓練,實現不依賴于任何外部數據模型知識蒸餾。通過基于MNIST數據集和CELEBA數據集驗證了方法的有效性,實驗結果表明,對比于其他3種聯邦學習算法,本文方法可以使用更少聚合輪數達到更好的效果,在收斂速度和模型精度上優于現有的聯邦學習算法,可以有效減少邊緣服務器和中央服務器之間的通信。