基于自編碼神經(jīng)網(wǎng)絡的半監(jiān)督聯(lián)邦學習模型

摘要：聯(lián)邦學習是一種新型的分布式機器學習方法，可以使得各客戶端在不分享隱私數(shù)據(jù)的前提下共同建立共享模型。然而現(xiàn)有的聯(lián)邦學習框架僅適用于監(jiān)督學習，即默認所有客戶端數(shù)據(jù)均帶有標簽。由于現(xiàn)實中標記數(shù)據(jù)難以獲取，聯(lián)邦學習模型訓練的前提假設通常很難成立。為解決此問題，對原有聯(lián)邦學習進行擴展，提出了一種基于自編碼神經(jīng)網(wǎng)絡的半監(jiān)督聯(lián)邦學習模型ANN-SSFL，該模型允許無標記的客戶端參與聯(lián)邦學習。無標記數(shù)據(jù)利用自編碼神經(jīng)網(wǎng)絡學習得到可被分類的潛在特征，從而在聯(lián)邦學習中提供無標記數(shù)據(jù)的特征信息來作出自身貢獻。在MNIST數(shù)據(jù)集上進行實驗，實驗結(jié)果表明，提出的ANN-SSFL模型實際可行，在監(jiān)督客戶端數(shù)量不變的情況下，增加無監(jiān)督客戶端可以提高原有聯(lián)邦學習精度。

關(guān)鍵詞：聯(lián)邦學習；半監(jiān)督學習；隱私保護；自編碼神經(jīng)網(wǎng)絡

中圖分類號：TP309文獻標志碼：A

文章編號：1001-3695（2022）04-019-1071-04

doi：10.19734/j.issn.1001-3695.2021.08.0374

Semi-supervised federated learning model based on AutoEncoder neural network

Hou Kunchi1，Wang Nan1，Zhang Kejia1，Song Lei2，Yuan Qi3，Miao Fengjuan3

（1.School of Mathematical Science，Heilongjiang University，Harbin 150080，China；2.College of "Computer Science amp; Technology，Harbin Engineering University，Harbin 150001，China；3.College of Communication amp; Electronic Engineering，Qiqihar University，Qiqihar Heilongjiang 161006，China）

Abstract：Federated learning is a novel distributed machine learning approach，which provides a privacy protection way to learn a shared model without sharing each client’s private data.However，the existing frameworks of federated learning only work for supervised learning wherein each client’s data is labeled.Since collecting labeled data is difficult and expensive to obtain in the real world，the assumption of federated learning is not valid.To solve this problem，this paper proposed a semi-supervised federated learning model named ANN-SSFL based on an AutoEncoder neural network.The proposed model was extended from classical federated learning and allowed clients who might not have labeled data to participate the federated learning.The latent features which could be identified by the classifier were obtained by AutoEncoder neural network from unlabeled data，therefore unlabeled data could provide their data information to make their contributions.This paper conducted experiments on MNIST data sets.The experimental results show that the proposed ANN-SSFL is practical and effective.When the number of supervised clients remains unchanged，adding unsupervised clients can improve the accuracy of classical federated learning.

Key words：federated learning（FL）；semi-supervised learning；privacy preserving；AutoEncoder neural network

0引言

傳統(tǒng)機器學習需要收集大量的數(shù)據(jù)，并中心化存儲在服務器上，再進行模型訓練。這種分布式資源數(shù)據(jù)收集方式可能會帶來隱私泄露問題。為解決數(shù)據(jù)提供者的隱私問題，谷歌提出了聯(lián)邦學習（FL）的概念［1］。聯(lián)邦學習是一種可以提供隱私保護的分布式機器學習方法。在聯(lián)邦學習過程中，數(shù)據(jù)提供者作為客戶端參與訓練。在每輪訓練過程中，利用本地私有數(shù)據(jù)訓練本地模型；再向服務器傳遞本地模型參數(shù)；服務器聚合模型參數(shù)后，將更新的全局模型參數(shù)分發(fā)給各個客戶端；客戶端使用接收到的模型參數(shù)對本地模型完成本輪更新。在整個訓練過程中，每個客戶端的私有數(shù)據(jù)對服務器而言是保密的，對參與訓練的其他客戶端也是不可見的，在完成訓練后所有客戶端共建了一個全局共享模型，實現(xiàn)數(shù)據(jù)隱式共享、合作共贏的目的。隨著海量數(shù)據(jù)出現(xiàn)及本地計算資源的豐富，本地存儲及處理數(shù)據(jù)越來越具有吸引力，聯(lián)邦學習能夠提供邊緣計算和云計算等服務，在機器學習系統(tǒng)中發(fā)揮著越來越重要的作用。

聯(lián)邦學習能夠在大規(guī)模去中心數(shù)據(jù)中訓練模型，并解決隱私中的基本問題。與傳統(tǒng)機器學習相比，它具有許多突出的特點。例如，隱私保護等安全性特征，可以有效解決單一用戶訓練數(shù)據(jù)的不足等，具有潛在的重大經(jīng)濟效益。由于它的這些優(yōu)點，聯(lián)邦學習引起工業(yè)界和學術(shù)界的廣泛關(guān)注。隨著短時間內(nèi)聯(lián)邦學習的快速發(fā)展，聯(lián)邦學習已廣泛應用在各個領域，如金融、醫(yī)療數(shù)據(jù)分析、計算機視覺、自然語音處理和推薦系統(tǒng)等領域。

AI社區(qū)一直致力于建立一個綜合的聯(lián)邦學習生態(tài)系統(tǒng)。大部分研究致力于解決聯(lián)邦學習中隱私安全、減少通信代價和提高在非獨立同分布（Non-IID）數(shù)據(jù)上的性能等關(guān)鍵問題，卻忽略了聯(lián)邦學習在實際場景中的應用問題。現(xiàn)有聯(lián)邦學習的前提假設是所有客戶端擁有的數(shù)據(jù)均為有標簽數(shù)據(jù)，而在現(xiàn)實中大規(guī)模有標簽數(shù)據(jù)極難獲得，需要專家知識且標記價格昂貴。現(xiàn)有的聯(lián)邦學習框架大多為監(jiān)督學習，擁有無標記數(shù)據(jù)的用戶參與的情況極少。利用無標簽數(shù)據(jù)進行聯(lián)邦學習成為新的挑戰(zhàn)。本文針對這種現(xiàn)狀，設計了一種基于自編碼神經(jīng)網(wǎng)絡的半監(jiān)督聯(lián)邦學習模型（AutoEncoder neural network semi-supervised federated learning，ANN-SSFL），該模型可以使得無標記數(shù)據(jù)用戶參與到聯(lián)邦學習中。有標記數(shù)據(jù)集的客戶端利用監(jiān)督學習訓練模型，獲得一個性能好的分類預測器；無標簽數(shù)據(jù)的客戶端利用自編碼器進行特征提取，通過聯(lián)邦學習過程進行交互，使得該潛在特征可被分類器判別，學習到用于優(yōu)化分類的潛在特征。無標簽數(shù)據(jù)的客戶端在訓練中不僅自身貢獻，也從其他參與聯(lián)邦學習訓練的客戶端獲益。最終獲得一個共享的聯(lián)邦學習模型。ANN-SSFL模型是對傳統(tǒng)聯(lián)邦學習的擴展，將使得聯(lián)邦學習不再受限于監(jiān)督學習，具有更好的兼容性和適應性。

1相關(guān)工作

1.1聯(lián)邦學習

2015年，文獻［2］首次把隱私作為深度學習的考慮因素，設計一種新穎的分布式集中訓練方法。聯(lián)邦學習可以看成是另一種分布式機器學習，2016年由Google首次提出［1］。聯(lián)邦學習允許用戶集中學習一個共享模型，或者受益于其他沒有集中存儲訓練數(shù)據(jù)的用戶，同時防止用戶數(shù)據(jù)泄露。近些年，在文獻［1，2］的研究基礎之上，大量具有隱私保護的分布式機器學習研究成果被相繼提出。聯(lián)邦學習的原始概念逐漸擴展為去中心化協(xié)同機器學習技術(shù)的一般概念，并根據(jù)參與訓練客戶端的數(shù)據(jù)分布式特征將聯(lián)邦學習分為橫向聯(lián)邦學習、縱向聯(lián)邦學習和聯(lián)邦遷移學習。現(xiàn)階段，聯(lián)邦學習的研究主要集中在隱私安全、通信代價和Non-IDD數(shù)據(jù)性能等方面。

a）隱私是聯(lián)邦學習的內(nèi)在特性。盡管聯(lián)邦學習在隱私保護方面做了很大的努力，但研究表明參與者之間共享的梯度信息會間接泄露一些隱私信息給半誠實全局服務器［3］或者惡意客戶端［4］。一些隱私技術(shù)為聯(lián)邦學習提供有意義的隱私保證，如安全多方計算（SMC）、同態(tài)加密和差分隱私。文獻［5］提出一種安全聚合方法，利用SMC以一種安全的方式計算全局更新，該方法可以對抗半誠實全局服務器；文獻［6］提出一種安全可證明的聯(lián)邦學習VerifyNet，能夠驗證從服務器中提取出聚合梯度的正確性；文獻［7］利用同態(tài)加密對中間交換參數(shù)進行加密，防止泄露每個用戶的個人貢獻，保證計算安全；文獻［8～10］通過在數(shù)據(jù)上加載噪聲或者梯度來提供不同級別的隱私保護。與加密方法相比，差分隱私算法簡單、耗費較少。然而，提供的隱私保護越嚴格，準確率損失越多。一般情況下，大多數(shù)隱私技術(shù)以降低模型性能或效率為代價為聯(lián)邦學習提供隱私保護。

b）聯(lián)邦學習是一種分布式學習方法。訓練過程需要在全局服務器和客戶端之間進行通信。因此，具有隱私技術(shù)的聯(lián)邦學習需要額外的系統(tǒng)耗費。一些學者對聯(lián)邦學習的通信效率進行研究。文獻［11］提出結(jié)構(gòu)化更新和草圖更新兩種算法來減少通信代價；Sattler等人［12］提出一種新型的針對聯(lián)邦學習的壓縮框架稀疏三元壓縮（STC），訓練迭代次數(shù)更少，且通信負擔更小。在現(xiàn)有研究中，通信效率仍然是大規(guī)模分布式聯(lián)邦學習需要突破的瓶頸。數(shù)據(jù)產(chǎn)生于彼此獨立的用戶端，可能不具備獨立同分布特性。文獻［13］提出FedProx，即通過改進文獻［1］的FedAvg算法來解決聯(lián)邦網(wǎng)絡異構(gòu)問題；文獻［14］將混沌系統(tǒng)引入到聯(lián)邦學習中，與同態(tài)加密結(jié)合構(gòu)建混合隱私保護方案，在Non-IID分布場景下，保證模型精度的同時增強了性能。有研究指出與聯(lián)邦學習相結(jié)合的新的學習方法可以解決數(shù)據(jù)分布不平衡和Non-IID問題，如遷移學習［8］、元學習［15］和多任務學習［16］。

1.2半監(jiān)督聯(lián)邦學習

半監(jiān)督學習是利用有標簽數(shù)據(jù)和未標記數(shù)據(jù)共同訓練的一種學習方法，通過監(jiān)督學習與無監(jiān)督學習相結(jié)合的方式完成模式識別、分類等任務。常用的半監(jiān)督技術(shù)有一致性損失、分配偽標簽等。然而，將傳統(tǒng)半監(jiān)督技術(shù)直接引入聯(lián)邦學習中效果并不理想。文獻［17］探索了半監(jiān)督學習與聯(lián)邦學習可能的結(jié)合方向；文獻［18］提出半監(jiān)督聯(lián)邦學習（SSFL）概念，并提出FedMatch算法來提升聯(lián)邦學習與半監(jiān)督算法簡單結(jié)合的效果，該算法引入客戶端之間的一致性損失函數(shù)，將模型分解成可相加的兩部分，稠密的參數(shù)模型由監(jiān)督訓練得來，稀疏的參數(shù)模型由無監(jiān)督訓練得來；文獻［19］提出FedMix算法，一種分離策略，對在標簽數(shù)據(jù)和無標簽數(shù)據(jù)上學習到的模型進行分離學習；文獻［20］提出FedSiam方法，利用孿生網(wǎng)絡并且動量更新的方式來完成半監(jiān)督聯(lián)邦學習；文獻［21］假設所有客戶端的數(shù)據(jù)均為無標簽數(shù)據(jù)，服務器存儲有標簽數(shù)據(jù)，利用偽標簽方式為客戶端數(shù)據(jù)標注實現(xiàn)半監(jiān)督學習，并針對客戶端發(fā)起投毒攻擊情況，提出RC-SSFL方法，采用基于極大極小優(yōu)化的客戶選擇策略，選擇持有高質(zhì)量更新的客戶進行模型聚合，通過新型對稱量化方法提升通信效率；文獻［22］提出的FedSem同樣利用偽標簽技術(shù)，利用監(jiān)督訓練的FedAvg模型對無標簽數(shù)據(jù)進行標注，生成新的有標簽數(shù)據(jù)集再對FedAvg重新訓練得到更新的全局模型；文獻［23］提出SemiFL，通過交替監(jiān)督訓練服務器與無監(jiān)督訓練客戶端來提高偽標簽質(zhì)量；文獻［24］利用蒸餾的方式獲得公開數(shù)據(jù)集的標注信息，重新訓練客戶端實現(xiàn)模型更新。半監(jiān)督聯(lián)邦學習在許多領域已展開應用，如行為識別［25］、智慧城市［22］、智慧醫(yī)療等［26］。

雖然已有研究半監(jiān)督聯(lián)邦學習的相關(guān)工作，但模型結(jié)構(gòu)相對復雜。利用偽標簽技術(shù)的半監(jiān)督聯(lián)邦學習，容易對低精度的偽標記數(shù)據(jù)產(chǎn)生過擬合，從而影響最終模型精度。多數(shù)研究致力于提高偽標簽的可靠性，如文獻［21～23］等。同時，一些工作需要輔助數(shù)據(jù)集，要求服務器端存儲有標簽數(shù)據(jù)，如文獻［19，21，23］。聯(lián)邦學習的初衷是解決隱私問題，從而不中心化存儲數(shù)據(jù)。本文考慮現(xiàn)實中，一個用戶只有無標簽數(shù)據(jù)參加聯(lián)邦學習的場景，研究結(jié)構(gòu)簡單、通用的半監(jiān)督聯(lián)邦學習方法。

2預備知識

對于一個標準聯(lián)邦學習訓練集，假設有K個客戶端{C1，…，Ck，…，CK}，每一客戶端都包含本地數(shù)據(jù)集Dk={（x（i），y（i））}nki=1 ，其中：k∈{1，…，K}；nk=|Dk|表示數(shù)據(jù)集Dk中的樣例數(shù)量，全體訓練數(shù)據(jù)集為D=D1∪…∪DK，其中訓練集中樣例總數(shù)為n=|D|。K個客戶端在全局服務器SGlobal的幫助下協(xié)同訓練一個共享模型M，在訓練期間數(shù)據(jù)Dk只能被其擁有者Ck訪問，不能暴露給其他客戶端。每一輪通信中，客戶Ck以最小化目標函數(shù)L（x，y，wk）為目標，該目標函數(shù)是由當前參數(shù)為wk的模型建立的數(shù)據(jù)集Dk上的預測損失，使用成功應用于深度學習的隨機梯度下降法（SGD）作為優(yōu)化算法。在隨機梯度下降法中，選擇一批訓練數(shù)據(jù)樣例計算梯度，在每輪迭代t中，w的更新規(guī)則為wt+1k←wt-ηwk，其中η代表學習效率，wk是通過Lw計算得到的客戶端Ck的梯度。然后，全局服務器SGlobal使用從客戶端接收的更新來聚合和更新模型M。具體規(guī)則為wt+1←∑Kk=1nknwt+1k。客戶端Ck可以從全局服務器下載最新模型，然后如上所述進行局部優(yōu)化進入到下一輪迭代，詳細過程請參考文獻［1］。

上面是標準聯(lián)邦學習的訓練過程。可以看出，數(shù)據(jù)集Dk中所有客戶端數(shù)據(jù)x都有自己的標記y，換句話說，傳統(tǒng)聯(lián)邦學習是監(jiān)督學習。類似上面訓練過程，本文研究一種部分客戶端數(shù)據(jù)集沒有標記的半監(jiān)督聯(lián)邦學習。

3半監(jiān)督聯(lián)邦訓練

現(xiàn)實中缺少數(shù)據(jù)集標記的聯(lián)邦學習系統(tǒng)應該具有如下屬性：a）使用無標記數(shù)據(jù)的客戶端可以參與到聯(lián)邦學習中，提供它們的貢獻，并從其他客戶端受益；b）無標記數(shù)據(jù)的客戶端在無監(jiān)督學習中學習特定特征，并用于分類，這種無監(jiān)督學習過程能夠提高全局模型；c）具有無標記數(shù)據(jù)的客戶端模型結(jié)構(gòu)與全局模型結(jié)構(gòu)相同，以便在客戶端和服務器之間進行有效通信。這促使本文改變?nèi)帜Ｐ徒Y(jié)構(gòu)以適應無監(jiān)督學習，使得無標記數(shù)據(jù)集客戶端能夠參與到聯(lián)邦學習中。本章詳細介紹一種新型的半監(jiān)督聯(lián)邦學習模型。

3.1模型結(jié)構(gòu)

半監(jiān)督聯(lián)邦學習模型結(jié)構(gòu)如圖1所示，主要包括自編碼網(wǎng)絡和分類器兩部分。自編碼神經(jīng)網(wǎng)絡是一種試圖接近恒等函數(shù)的無監(jiān)督學習算法，其目的是使其輸出盡可能接近輸入。換句話說，自編碼主要目的是從原始輸入數(shù)據(jù)中學習潛在表示（latent representation）來重建輸入數(shù)據(jù)。編碼器包含學習潛在表示的編碼器（潛在表示也稱為代碼）和重建輸入數(shù)據(jù)的解碼器。從編碼器中學習的潛在表示是由softmax分類器預測的特征，同時該預測器能夠很好地發(fā)揮作用。

自編碼強制編碼器e（·）學習隱式表示（hidden represent-ation）和解碼器d（·）重建原始輸入。通過最小化重建損失，使得重建輸入接近原始輸入x，并利用均方差項計算重建誤差。

arg min LMSEw=1n∑ni=1l1（x（i），w）=1n∑ni=1‖（i）-x（i）‖2=1n∑ni=1‖d（e（x（i）））-x（i）‖2（1）

一般的深度學習模型由兩個函數(shù)g（·）和h（·）組成，g（·）函數(shù)用來提取特征，h（·）用來預測標記。通過分類損失最小化來學習模型，現(xiàn)在比較流行的用于分類的損失函數(shù)是交叉熵損失函數(shù)（cross entropy loss）。

arg min LCEw=1n∑ni=1l2（x（i），y（i），w）=-1n∑ni=1y（i）log（h（g（x（i））））（2）

將編碼器e（·）用做g（·），定義函數(shù)h（·）是全連通網(wǎng)絡，保證其最后一層維度與標記維度相同。因此，分類損失可以表示為

LCE=-1n∑ni=1y（i）log（h（e（x（i））））（3）

進一步，為了同時最小化分類損失和重建損失，將最終目標函數(shù)定義為

L=LCE+λLMSE（4）

其中λ是超參數(shù)。在這個集合中，從編碼器中提取的編碼不僅是輸入數(shù)據(jù)的潛在表示，而且其特性可用于分類。

3.2半監(jiān)督聯(lián)邦學習框架

在半監(jiān)督聯(lián)邦學習集合中，根據(jù)數(shù)據(jù)集是否被標記，可以將客戶端分為{Cs}KsCs=1和{Cu}KuCu=1兩部分，其中Ks是有標記數(shù)據(jù)的客戶端數(shù)量；Ku是無標記數(shù)據(jù)的客戶端數(shù)量。K=Ks+Ku，Ks≥1且Ku≥1。圖2表示半監(jiān)督聯(lián)邦學習框架。對于每個有標記數(shù)據(jù)集的Cs，其目的是通過優(yōu)化目標函數(shù) LCE+λLMSE獲得好的分類預測器。

進一步，e（·）可以看成是一個特征提取器，該特征提取器將分類損失LCE和重建損失LMSE聯(lián)合進行優(yōu)化。同時，d（·）是通過優(yōu)化重建損失LMSE學習的解碼器。在第t次通信迭代中，每個Cs從全局服務器中下載當前模型作為本地模型，本地模型按式（5）進行更新。

wt+1s←wts-ηwtsL=wts-η（LCEwts+λLMSEwts）（5）

然后將更新w（t+1）返回給服務器。對于每個具有無標記數(shù)據(jù)集的Cu，通過優(yōu)化重建損失LMSE訓練自編碼模型。Cu通過式（6）來更新本地模型。

wt+1u←wtu-ηwtuL=wtu-ηLMSEwtu（6）

客戶端Cu模型專注于從本地無標記數(shù)據(jù)中學習一個特征表示。同聯(lián)邦學習一起，Cu將它的特征提取能力貢獻給其他參與者。訓練過程如算法1所示。

算法1半監(jiān)督聯(lián)邦學習框架

服務器端：

服務器初始化全局模型w0

fort=0，1，…，iter do//t是迭代次數(shù)

廣播當前模型wt給所有客戶端

等待從客戶端Ck接收參數(shù)更新wt+1s，其中Ck來自{C1，…，Ck}

聚合參數(shù)，并且更新全局模型wt+1←∑Kk=1nknwt+1k

end for

客戶端：

for 每個來自{C1，…，CK}的客戶端Ck并行執(zhí)行 do

接收當前的全局模型wt

ifCk的數(shù)據(jù)集有標記

then

//在有標記數(shù)據(jù)集上監(jiān)督訓練本地模型

在當前有標記數(shù)據(jù)集Dk的模型wt上計算損失 L=LCE+λLMSE

計算梯度和更新本地模型 wt+1k←wt-η（LCEwtk+λLMSEwtk）

else

//在無標記數(shù)據(jù)集上無監(jiān)督訓練本地模型

在當前無標記數(shù)據(jù)集的模型wt上計算損失λLMSE

計算梯度和更新本地模型wt+1k←（wt-ληLMSEwtk）

end if

將局部更新wt+1k返回給全局服務器

end for

4實驗結(jié)果

本章將采用一系列實驗結(jié)果來驗證ANN-SSFL效率，說明在不同集合中SSFL的性能。實驗通過十個客戶端圖像分類任務模擬一個分布式聯(lián)邦學習來識別手寫數(shù)字。實驗采用手寫體數(shù)據(jù)集MNIST，包含數(shù)字0～9的灰度圖像。MNIST共包含60 000個訓練圖像和10 000個測試圖像，研究無標記數(shù)據(jù)客戶端數(shù)量不同所帶來的影響。

在具有編碼器和解碼器的自編碼模型上進行實驗，包含兩個具有400和128個神經(jīng)元的全連接層。分類器將嵌入特征轉(zhuǎn)換為10維向量，學習率η設為5E-5，λ設為1，批量大小設為64。在每一輪通信中，每一個客戶端在本地數(shù)據(jù)集上進行一個階段的訓練。置換訓練數(shù)據(jù)，隨機選擇2 000個樣例，并將其劃分給10個客戶端，每個客戶端獲得200個樣例。如表1所示，記錄經(jīng)過5 000輪通信后，不同數(shù)量的無標記數(shù)據(jù)客戶端參與到聯(lián)邦學習中的準確度，其中，Ks和Ku分別表示有標記數(shù)據(jù)客戶端數(shù)量和無標記數(shù)據(jù)客戶端數(shù)量。可以看出，在客戶端數(shù)量固定的情況下，參與到訓練中的少量無標記數(shù)據(jù)客戶端對準確性影響不大。隨著無標記數(shù)據(jù)客戶端比例的增加，測試數(shù)據(jù)的準確性也越來越低。在極端情況下，僅有一個客戶端完成監(jiān)督訓練，其他九個客戶端完成無監(jiān)督訓練，準確性下降大概13.4%。然而在聯(lián)邦學習中這種極端情況并不常見。固定有標記數(shù)據(jù)的客戶端數(shù)量，增加一些無標記數(shù)據(jù)的客戶端到訓練集中，可以看出準確性有所提高。這意味著無監(jiān)督訓練對全局模型的特征提取能力有一定貢獻，并且提高了全局模型的準確性。

可視化特征表示如圖3（a）所示，用不同顏色對手寫數(shù)字的每個分類編碼（見電子版）。相同顏色的點線聚合緊密，不同顏色的點線則相距甚遠，這意味著通過編碼器提取的特征表示分類有效。接下來，研究無標記數(shù)據(jù)用戶參與訓練時收斂速度和通信輪數(shù)的影響。圖3（b）（c）顯示不同場景下的通信輪數(shù)和學習損失。由于無標記用戶加入到聯(lián)邦學習中，需要更多迭代和通信輪數(shù)收斂獲得準確性。因此，在不犧牲全局模型精度的情況下，無標記數(shù)據(jù)客戶能夠參與到聯(lián)邦學習并從中受益。

5結(jié)束語

為了解決聯(lián)邦學習受限于監(jiān)督學習的情況，本文提出一種基于自編碼神經(jīng)網(wǎng)絡的半監(jiān)督聯(lián)邦學習模型（ANN-SSFL）。實驗結(jié)果表明該ANN-SSFL模型可行，能夠解決聯(lián)邦學習集合中可能出現(xiàn)的安全和效率問題。與傳統(tǒng)的半監(jiān)督聯(lián)邦學習模型（SSFL）［17～24］相比，本文并沒有將半監(jiān)督學習的技術(shù)（如偽標簽和一致性損失）直接移植于聯(lián)邦學習系統(tǒng)的構(gòu)建中，而是從自編碼網(wǎng)絡和分類器的構(gòu)造出發(fā)，提出一種更為通用的SSFL模型架構(gòu)。這種思想考慮了全局數(shù)據(jù)（標簽數(shù)據(jù)和無標簽數(shù)據(jù)）模型，具有更好的理論意義。

然而，需要指出的是，本文ANN-SSFL是一種基于自編碼的框架，它不適用于任意傳統(tǒng)機器學習。今后的研究工作將探索不同設置情況下的半監(jiān)督聯(lián)邦學習，如只有少量標記樣本的極端情況，提高算法魯棒性使之適用不同場景。考慮在監(jiān)督學習之上建立更具有廣泛性的聯(lián)邦學習系統(tǒng)是筆者后續(xù)研究的重要關(guān)注點。

參考文獻：

［1］McMahan H B，Moore E，Ramage D，et al.Communication-efficient learning of deep networks from decentralized data［EB/OL］.（2017-02-28）.https：//arxiv.org/abs/1602.05629.

［2］Shokri R，Shmatikov V.Privacy-preserving deep learning［C］//Proc of the 53rd Annual Allerton Conference on Communication，Control，and Computing.Piscataway，NJ：IEEE Press，2015：909-910.

［3］Phong L T，Aono Y，Hayashi T，et al.Privacy-preserving deep learning via additively homomorphic encryption［J］.IEEE Trans on Information Forensics and Security，2018，13（5）：1333-1345.

［4］Hitaj B，Ateniese G，Perez-Cruz F.Deep models under the GAN：information leakage from collaborative deep learning［C］//Proc of ACM SIGSAC Conference on Computer and Communications Security.New York：ACM Press，2017：603-618.

［5］Bonawitz K，Ivanov V，Kreuter B，et al.Practical secure aggregation for privacy-preserving machine learning［C］//Proc of ACM SIGSAC Conference on Computer and Communications Security.New York：ACM Press，2017：1175-1191.

［6］Xu Guowen，Li Hongwei，Liu Sen，et al.VerifyNet：secure and verifiable federated learning［J］.IEEE Trans on Information Forensics and Security，2020，15：911-926.

［7］Liu Yang，Kang Yan，Xing Chaoping，et al.A secure federated transfer learning［J］.IEEE Intelligent Systems，2018，35（4）：70-82.

［8］Bhowmick A，Duchi J，F(xiàn)reudiger J，et al.Protection against reconstruction and its applications in private federated learning［EB/OL］.（2019-06-03）.https：//arxiv.org/abs/1812.00984.

［9］Geyer R C，Klein T，Nabi M.Differentially private federated learning：a client level perspective［EB/OL］.（2018-03-01）.https：//arxiv.org/ abs/1712.07557.

［10］董業(yè)，侯煒，陳小軍，等.基于秘密分享和梯度選擇的高效安全聯(lián)邦學習［J］.計算機研究與發(fā)展，2020，57（10）：2241-2250.（Dong Ye，Hou Wei，Chen Xiaojun，et al.Efficient and secure federated learning based on secret sharing and gradients selection［J］.Journal of Computer Research and Development，2020，57（10）：2241-2250.）

［11］KonecnyJakub，Mcmahan H B，Yu F X，et al.Federated learning：strategies for improving communication efficiency［EB/OL］.（2017-10-30）.https：//arxiv.org/abs/1610.05492.

［12］Sattler F，Wiedemann S，Müller K R，et al.Robust and communication-efficient federated learning from Non-IID data［EB/OL］.（2019-03-07）.https：//arxiv.org/abs/1903.02891.

［13］Sahu A K，Li Tian，Sanjabi M，et al.On the convergence of federated optimization in heterogeneous networks［EB/OL］.（2018-12-14）［2021-03-29］.https：//arxiv.org/abs/1812.06127.

［14］張澤輝，李慶丹，富瑤，等.面向非獨立同分布數(shù)據(jù)的自適應聯(lián)邦深度學習算法［J］.自動化學報，2021，5（5）：1-13.（Zhang Zehui，Li Qingdan，F(xiàn)u Yao，et al.Adaptive federated deep learning with Non-LLD data［J］.Acta Automatica Sinica，2021，5（5）：1-13.）

［15］Jiang Yihan，KonecnyJakub，Rush K，et al.Improving federated lear-ning personalization via model agnostic meta learning［EB/OL］.（2019-09-27）.https：//arxiv.org/abs/1909.12488.

［16］Corinzia Luca，Beuret A，Buhmann J M.Variational federated multi-task learning［EB/OL］.（2021-02-04）.https：//arxiv.org/abs/1906.06268.

［17］Jin Yilun，Wei Xiguang，Liu Yang，et al.Towards utilizing unlabeled data in federated learning：a survey and prospective［EB/OL］.（2020-05-11）.https：//arxiv.org/abs/2002.11545.

［18］Jeong W，Yoon J，Yang E，et al.Federated semi-supervised learning with inter-client consistency amp; disjoint learning［EB/OL］.（2021-03-29）.https：//arxiv.org/abs/2006.12097.

［19］王樹芬，張哲，馬士堯，等.邁向魯棒的半監(jiān)督聯(lián)邦學習系統(tǒng)［J/OL］.計算機工程.（2021-08-18）［2021-09-30］.http：//www.doi.org/10.19678/j.issn.1000-3428.0061911.（Wang Shufen，Zhang Zhe，Ma Shiyao，et al.Towards robust semi-supervised federated learning system［J/OL］.Computer Engineering.（2021-08-18）［2021-09-30］.http：//doi.org/10.19678/j.issn.1000-3428.0061911.）

［20］Long Zewei，Che Liwei，Wang Yaqing，et al.FedSemi：an adaptive federated semi-supervised learning framework［EB/OL］（2020-12-06）［2021-03-29］.https：//arxiv.org/abs/2012.03292.

［21］Liu Yi，Yuan Xingliang，Zhao Ruihui，et al.RC-SSFL：towards robust and communication-efficient semi-supervised federated learning system［EB/OL］.（2020-12-08）.https：//arxiv.org/abs/2012.04432.

［22］Albaseer A，Ciftler B S，Abdallah M，et al.Exploiting unlabeled data in smart cities using federated edge learning［C］//Proc of International Wireless Communications and Mobile Computing.Piscataway，NJ：IEEE Press，2020：1666-1671.

［23］Diao Enmao，Ding Jie，Tarokh V.SemiFL：communication efficient semi-supervised federated learning with unlabeled clients［EB/OL］.（2021-10-07）.https：//arxiv.org/abs/2106.01432.

［24］Itahara S，Nishio T，Koda Y，et al.Distillation-based semi-supervised federated learning for communication-efficient collaborative training with Non-IID private data［J/OL］.IEEE Trans on Mobile Computing.（2021-03-31）.http：//doi.org/10.1109/TMC.2021.3070013.

［25］Zhao Yuchen，Liu Hanyang，Li Honglin，et al.Semi-supervised federated learning for activity recognition［EB/OL］.（2021-03-31）.https：//arxiv.org/abs/2011.00851.

［26］Yang Dong，Xu Ziyue，Li Wenqi，et al.Federated semi-supervised learning for COVID region segmentation in chest CT using multi-national data from China，Italy，Japan［J］.Medical Image Analysis，2021，70：101992.

收稿日期：2021-08-15；修回日期：2021-10-08基金項目：國家自然科學基金資助項目（61872204，61802118）；黑龍江省自然基金資助項目（JQ2019F003）；黑龍江省省屬本科高校基本科研業(yè)務費科研項目（135309453）

作者簡介：侯坤池（1987-），女，黑龍江大慶人，碩士研究生，主要研究方向為機器學習、大數(shù)據(jù)分析；王楠（1984-），男（通信作者），黑龍江哈爾濱人，副教授，碩導，博士，主要研究方向為統(tǒng)計機器學習、大數(shù)據(jù)分析（wangnan10@hlju.edu.cn）；張可佳（1987-），男，黑龍江大慶人，教授，博士，主要研究方向為密碼學、網(wǎng)絡空間安全；宋蕾（1989-），女，黑龍江牡丹江人，博士研究生，主要研究方向為人工智能安全、聯(lián)邦學習；袁琪（1973-），女，湖南寧鄉(xiāng)人，教授，博士，主要研究方向為區(qū)塊鏈、信息安全；苗鳳娟（1982-），女，黑龍江克山人，教授，博士，主要研究方向為微納傳感器、物聯(lián)網(wǎng)技術(shù)應用．