面向分布式復雜數據樣本的聯邦語義分割方法綜述

摘 要：語義分割在醫學圖像分析、戰場態勢感知等領域起著重要作用，但單一客戶端通常無法為模型提供足夠數量與多樣性的訓練數據，因此從復雜多變的分布式數據中訓練語義分割模型是有必要的。為了不泄露數據隱私和保護數據安全，應用聯邦學習在多客戶端協同訓練語義分割模型成為領域研究熱點。在聯邦語義分割定義基礎上，圍繞分布式復雜數據樣本的數據異質性、標簽缺失兩個關鍵特征，開展聯邦語義分割的問題描述、技術路徑、典型模型實例等綜述分析，評估不同方法的適用性及特點，梳理當前應用成果，提出針對該問題的潛在研究機會。研究為開展面向分布式復雜數據樣本的聯邦語義分割方法及相關研究提供借鑒和參考。

關鍵詞：語義分割；聯邦學習；協同訓練；數據異質性；標簽缺失

中圖分類號：TP391 文獻標志碼：A文章編號：1001-3695（2024）06-002-1610-08

doi： 10.19734/j.issn.1001-3695.2023.09.0420

Survey on federated semantic segmentation methods for distributed complex data samples

Abstract：

Semantic segmentation plays a crucial role in various fields such as medical image analysis and battlefield situatio-nal awareness. However， a single client often cannot provide a sufficient quantity and diversity of training data for the model. Therefore， it is necessary to train semantic segmentation models from distributed data， which exhibits complex and diverse characteristics. To prevent data privacy breaches and safeguard data security， the application of federated learning in the collaborative training of semantic segmentation models across multiple clients has become a hot research topic in the field. Buil-ding upon the definition of federated semantic segmentation， this paper conducted a comprehensive analysis around the key characteristics of data heterogeneity and label deficiency in distributed complex data samples. The study encompassed a review of issues， methods， and exemplary model instances in federated semantic segmentation， evaluating the applicability and cha-racteristics of different methods， summarizing current application outcomes. The paper also proposed potential research opportunities to address the issues of data heterogeneity and label deficiency. The research provides insights and references for the development of federated semantic segmentation methods and related studies tailored for distributed complex data samples.

Key words：semantic segmentation; federated learning; collaborative training; data heterogeneity; label deficiency

0 引言

語義分割是計算機視覺領域的一項基礎任務［1～3］，它為所處理的圖像或者視頻幀的每一個像素分配一個對應的語義標簽，被廣泛應用于自動駕駛［4～6］、行人再識別［7］、機器人導航［8，9］及醫學圖像分析［10～12］等下游應用。訓練一個高性能的語義分割模型需要大量的有標簽數據，但工程實踐中，由于數據產生于多個客戶端，且存在隱私保護、安全保密、通信帶寬等方面的約束，醫學圖像、軍事訓練影像等數據樣本往往是分布式存儲的。此外，應用領域中的數據特點及數據標注困難、成本投入限制等原因又導致了分布式存儲的數據普遍存在數據分布不平衡、標簽不完備等數據復雜分布問題。因此，面向分布式復雜數據樣本的語義分割研究具有顯著的工程實踐價值，成為領域關注的熱點問題。

聯邦學習［13～15］是近年來新興的一種多客戶端協同訓練方法，能夠有效整合不同節點或不同機構擁有的數據。相比傳統的分布式協同訓練，參與聯邦學習的客戶端將本地模型的參數或梯度加密后發送至中心服務器，而不會在節點間直接共享數據。這種方法有效保護了用戶的數據隱私，因而在諸多領域的分布式數據語義分割任務上具有廣闊前景。相較于面向圖像分類任務的聯邦學習研究案例［16］，語義分割是密集預測型任務，其輸出結果是與輸入圖像同分辨率的特征圖而非單一標簽，應用聯邦學習在多客戶端協同訓練語義分割模型（以下簡記為聯邦語義分割）具有顯著的理論創新價值并受到持續關注。

分布式場景下數據樣本的復雜性主要來自于數據本身以及對數據樣本的標注兩個方面［17］。數據樣本自身的復雜性包括異構性與異質性兩個方面，其中數據異構產生的挑戰主要集中于樣本特征描述與提取環節，而分布式場景下的語義分割更關注全局模型的生成，因此本文主要關注數據異質性問題。數據異質性問題可進一步分為域異質性和類異質性兩種。從標注角度看，數據樣本的復雜性表現在標簽的缺失和噪聲。在分布式場景下，邊緣節點缺乏足夠的人力實時標注數據，無標注數據占比遠高于噪聲標簽，且對無標注數據處理時本身就要考慮克服偽標簽等帶來的噪聲，因此本文聚焦于標簽缺失的問題，不再單獨圍繞標簽噪聲展開，如圖1所示。

基于此，本文開展面向分布式復雜數據樣本的聯邦語義分割方法研究綜述，在問題描述與定義基礎上，結合數據樣本復雜性特征，分析解決數據異質性、標簽缺失挑戰的聯邦語義分割關鍵技術模型進展，并進行方法比較與適應性討論，總結并展望未來的研究方向，以期為領域相關研究提供參考。

1 問題定義

此時，全局模型的損失函數可以由參與聯邦學習的客戶端的本地損失函數組成：

為了獲取模型的最優參數w*，需要使其損失函數最小，即計算式（4）。

2 面向數據異質性的聯邦語義分割研究

數據異質性幾乎是多客戶端協同訓練時必然面對的問題，它是由于不同客戶端擁有的數據分布不同所導致的。目前關于數據異質性的分類尚無統一標準，Ma等人［13］將數據異質性分為標簽分布偏態、特征分布偏態、相同標簽不同特征、相同特征不同標簽和數量偏態五類，而Li等人［18］則將數據異質性分為標簽分布偏態、特征分布偏態和數量偏態三類。

考慮到標簽分布偏態、特征分布偏態等數據異質性問題在聯邦語義分割任務中經常同時存在，難以準確分離研究界面，本文以數據異質性產生的原因為切入點，將聯邦語義分割中的數據異質性分為域異質性（domain-heterogeneous）與類異質性（class-heterogeneous）兩類。

2.1 域異質性

2.1.1 域異質性問題描述

域異質性是指不同客戶端擁有的數據采集于不同的領域或環境（包括采集地點、條件和時間等因素），導致數據在特征分布、類別分布和終端分布等方面存在差異，從而在聯邦學習過程中呈現出數據異質性的特點。

圖2展示的是一種典型的在域異質性情況下協同訓練全局模型的情況，不同客戶端所呈現的車輛、道路、背景等語義類別在外觀方面都存在顯著的差異。這種差異是由于采集數據的地點不同所導致的，更具體地說，是所在地點地貌、天氣特征、經過車輛類型不同所產生的。因此，盡管具有相同的語義標簽，但是同一神經網絡提取到的特征差距極大。

2.1.2 技術路徑

本文整理了近年來聯邦語義分割方法中針對數據樣本域異質性問題的主要技術路徑，包括個性化聯邦學習、風格遷移、簇聯邦學習、損失函數優化和強化學習五大類。

1）個性化聯邦學習

相比傳統的聯邦學習訓練一個通用的全局模型，個性化聯邦學習旨在為參與訓練的客戶端提供一個個性化模型［19，20］，使該模型在本地客戶端上擁有更好的泛化能力。Tan等人［21］將個性化聯邦學習方法分為全局模型個性化與本地模型個性化兩類。第一類方法中所有參與訓練的客戶端共享一個全局模型，但是在生成預測結果時需要進行局部適應；而在第二類方法中，每個參與訓練的客戶端都擁有一個獨立架構相同但參數不同的個性化模型。此外，Kulkarni等人［22］提到了個性化聯邦學習的幾種不同實現方法。

2）風格遷移

它是將目標圖像的風格與源圖像的內容結合，生成新圖像的過程［23～25］，最初被用于藝術創作［26］，隨后成為了數據增強的一個重要工具并被廣泛用于工業界，尤其是在醫學圖像處理領域［27］。但遺憾的是，盡管有著大量成熟的風格遷移方法，受限于聯邦語義分割中隱私保護的需求，只有很少的風格遷移方法可以應用到聯邦語義分割領域。這些方法通常是基于傅里葉變換實現的［28，29］。通過傅里葉變換將一幅圖像分為幅度圖和相位圖，并在各個客戶端之間傳遞，不會泄露圖像內容的幅度圖。

3）簇聯邦學習

簇聯邦學習［30］將參與訓練的客戶端按照一定的規則（如余弦相似度等）分為不同的簇，每個簇內的參與者協同訓練一個模型。相比傳統聯邦學習為所有的參與者提供一個全局模型，簇聯邦學習只為數據分布相似的客戶端提供一個專門的簇模型，減輕了不同數據分布對模型泛化能力的影響。

4）損失函數優化

損失函數［31］是一個數學函數，量化了模型的性能表現。它接受模型的輸出和真實目標值作為輸入，并計算模型的預測與真實值之間的差異。設計一個合適的損失函數有助于提高模型的分割能力，但在分布不同的數據中，同樣的損失函數有時反而會起到負面影響，導致可遷移性差。

5）強化學習

強化學習（reinforcement learning）［32，33］是一種智能體在與環境的交互過程中通過學習策略以達成回報最大化或實現特定目標的問題。強化學習的主要特點是試錯學習和開發已有的經驗來獲取收益，使得未來可以獲得更好的動作選擇空間。但強化學習在訓練過程中可能會表現出不穩定性，使得重復實驗結果難以預測。

2.1.3 方法對比

表1的數據顯示風格遷移被廣泛用于解決域異質性問題，簇聯邦學習、損失函數優化和強化學習也被用于校正域異質性對模型性能的影響。其中個性化聯邦學習與簇聯邦學習之間存在著一定的相似性。個性化聯邦學習是指為每一個參與訓練的客戶端提供一個適應本地數據的模型，而簇聯邦學習是將參與訓練的客戶端按照一定的規則分為不同的簇并為每一簇提供一個個性化模型。表1分析了不同技術路徑的優點與缺點。

1）FedDrive［28］

FedDrive是第一個面向自動駕駛任務的聯邦學習語義分割模型。Fantauzzo等人［28］認為批量歸一化層的缺點是假設所有數據是同分布的，這與聯邦學習中不同客戶端持有數據為非獨立同分布的事實不符，導致了模型精度的下降?；诖?，FedDrive將FedAvg的批量歸一化層替換為更適合聯邦學習的FedBN［42］或SiloBN［43］。FedBN與傳統的批量歸一化層的區別是在聯邦學習過程中，批量歸一化層只在本地客戶端訓練時更新參數而不會發送到中心服務器參與聚合過程。這種做法可以使模型更快地收斂并且更好地適應本地數據。為了解決不同域之間數據分布差異較大的問題，FedDrive使用風格遷移［23］技術對原始數據進行預處理。具體而言，是使用連續頻率空間插值（continuous frequency space interpolation，CFSI）［29］或者 LAB（LAB-based image translation）［44］，將一半的本地客戶端數據變換為具有其他客戶端分布的圖片。在這一過程中，客戶端之間共享的是幅度圖或者均值-方差對，并不會造成隱私泄露。

2）FBL（forgetting balanced learning）［40］

FBL方法主要解決類異構問題中的災難性遺忘問題（catastrophic forgetting）［45］，即本地客戶端增加了新類別的數據并使用這部分數據訓練后，模型在曾經學習過的舊類上準確率大幅下降的問題。FBL將這一問題分為客戶端內部和客戶端之間兩部分，并分別給出了解決方案。對于客戶端內部的災難性遺忘問題，Dong等人［40］認為主要是由背景漂移［46，47］引起的，因此借鑒了類增量語義分割中常見的修正背景漂移的方法。具體而言，FBL設計了一種自適應類平衡偽標記方法為輸入的圖像生成偽標簽，同時在偽標簽的指導下計算兩種特殊的損失，分別是遺忘-平衡語義補償損失和遺忘-平衡關系一致性損失。對于客戶端之間的災難性遺忘問題，FBL提出了一種名為任務轉換監控器的方法。在這種方法中，每次模型迭代都會計算客戶端的交叉熵損失并根據客戶端交叉熵損失變化幅度判斷是否出現新的類別。

3）FedSM［38］

FedSM由三部分組成，分別是位于中心服務器的全局模型wg、位于各個客戶端的個性化模型wp，k和用于評判全局/個性化模型泛化能力的模型選擇器ws。其中全局模型wg使用經典的聯邦學習算法FedAvg［48］獲得。對于位于不同客戶端的個性化模型wp，k，Xu等人［38］在現有的插值方法上進行了改進，提出了一種新的個性化模型優化方法SoftPull。與其他插值方法［49］取個性化模型和全局模型之間的插值不同，在SoftPull方法中，全局模型并不參與個性化模型的優化，而是取客戶端K與其他客戶端個性化模型的插值。這種新方法確保經過插值后的模型在某個明確的目標函數下達到最優。

4）LADD［34］

LADD在正式訓練之前額外增加了預訓練階段，它的目的是為聯邦語義分割提供一個足夠魯棒的初始化模型。為了提高預訓練模型的泛化能力以應對不同客戶端之間的域異質性，LADD在預訓練階段中首先應用風格遷移技術對中心服務器的數據進行數據增強［50］，在不共享本地數據的條件下傳遞本地數據分布信息。Shenaj等人［34］認為相鄰的城市在數據分布上呈現出一定的相似性，因此，在LADD通過K-means［51］算法和輪廓系數［52］確定簇的數量并將相同分布的客戶端分為一簇。在訓練過程中，每一簇都有一個對應的模型，模型參數最初與預訓練模型相同并隨著迭代不斷更新。對于本地客戶端的無標簽數據，LADD通過計算L2范數確定與該圖像風格最接近的簇，并使用對應簇的模型計算得到偽標簽。為了防止確認偏見［53］問題，LADD結合知識蒸餾［54］和隨機權重均值法［55］，提出了一種新的損失函數作為正則項。

5）LC-Fed［37］

相比傳統的聯邦學習，LC-Fed的模型由兩部分組成：一部分是可共享參數的主體網絡Euclid Math OneMApr，該網絡采用編碼器-解碼器架構，負責學習圖像特征表示；另一部分是負責校正圖像預測結果的不可共享網絡Euclid Math OneMAph，負責對解碼器復原的預測結果進行校正，使之更適應本地數據。具體來說，在Euclid Math OneMApr的最后一個編碼器和解碼器之間，LC-Fed設計并添加了個性化通道選擇模塊。該模塊將不同客戶端編碼，為客戶端嵌入向量，并與原有的輸入特征結合后生成客戶端增強向量。該向量可以表示在不同客戶端中不同通道的重要程度，并據此修改原有的特征向量。在Euclid Math OneMAph中，模型首先確定多客戶端預測結果不一致的區域，然后對該區域應用高斯濾波后與原始預測圖結合，得到最終的預測結果。

2.2 類異質性

2.2.1 類異質性問題描述

類異質性最早出自Miao等人［56］的研究，是指相同物體標注為不同類別。例如，在某些客戶端中貓被歸類到“背景”，而其他客戶端則將其標注為“貓”。在這種情況下，有“貓”標注的本地客戶端中，本地模型通常會向著“貓”的方向優化，從而忽略了其他類別。圖3［56］展示了由類異質性引發的局部發散問題。

在文獻［56］中雖然沒有直接提及類異質性，但其所做工作本質上也是解決相同物體不同標簽的問題?；诖?，本文認為類異質性是指由于標注條件限制或標注標準不同所引發的同一物體不同標簽的現象，即對應聯邦學習中相同特征的不同標簽。

2.2.2 模型實例

本文通過詳細介紹FedSeg［56］和FedMix［57］兩個經典模型，以此闡述現有研究方法如何解決類異質性問題。

1）FedSeg

FedSeg是Miao等人［56］首次提出的一種基線方法。該方法主要是針對前景類在不同客戶端中被標注為背景類的問題。FedSeg首先調整了損失函數，在傳統的交叉熵損失函數的基礎上進行了修改，使之適用于修正局部優化。其次，FedSeg提出了一種新的局部到全局的對比學習方法。具體來說，在本地模型更新過程中，FedSeg同時提取本地模型和全局模型的像素表示。本地模型的像素表示向著全局模型中相同類別的全局像素表示靠攏，并遠離不同語義類別的像素表示。通過這種方式使本地像素嵌入空間更加逼近全局像素嵌入空間。

2）FedMix

為了充分利用不同客戶端上不同標注級別的數據，FedMix設計了偽標簽生成與選擇方法和用于聯邦模型更新的自適應聚合方法。在偽標簽生成與選擇方法中，FedMix首先對于非像素級標注數據使用兩個不同的無監督學習模型生成兩個不同的偽標簽Y1和Y2，然后結合原有數據的弱標簽進行細化，生成最終的偽標簽Y^1和Y^2。最后，FedMix通過比較Y^1與Y^2之間的Dice損失［58］是否大于設定的閾值，判定偽標簽是否正確并丟棄不正確的偽標簽?？紤]到不同標注等級的數據對模型訓練的影響不同，在聯邦模型更新時，FedMix根據訓練損失函數動態調整分配權重。該方法不但可以使模型優先從信息豐富的客戶端中學習，還可以有效防止全局模型過擬合。

2.2.3 方法對比

盡管FedSeg與FedMix解決了類異質性的問題，但兩者關注的地方并不相同。FedSeg關注于解決將部分前景歸為背景的類異質性問題，而FedMix則關注解決不同標注等級的類異質性問題。從方法上看，FedSeg通過使用對比學習，拉進同一類之間的距離，推遠不同類之間的距離，FedMix則首先使用無監督方法生成不同的偽標簽，并使用不同標注等級的標簽對偽標簽進行調整。兩種方法都是圍繞著其關注的問題展開的研究。FedSeg使用對比學習，可以將相似物體的特征表示拉進，從而達到將其他客戶端學習到的前景類遷移到本地客戶端的效果。但是對比學習具有固定特征表示，即模型訓練完成之后學習到的特定的特征表示不會繼續發生改變。因此，在客戶端不斷增加數據或者有新的客戶端加入的場景中，該方法無法滿足訓練需求。而FedMix需要首先生成一個偽標簽，然后再根據不同標注等級的標簽對偽標簽進行校正，在這個過程中需要確保偽標簽是可靠的。如果在偽標簽生成階段產生大量錯誤的偽標簽，則會直接影響模型訓練結果。

3 面向標簽缺失的聯邦語義分割研究

3.1 標簽缺失問題定義

針對標簽缺失問題，學界展開了廣泛研究并依據不同應用場景對標簽缺失問題進行分類。Li等人［59］將標簽缺失問題分為三類。第一類［60，61］假設應用場景中只有中心服務器包含有標簽數據，第二類［62］假設應用場景中客戶端同時包含有標簽和無標簽數據，第三類［59，63］則假設應用場景中部分客戶端具有全部有標簽數據而另外的客戶端則完全不具備有標簽數據。圖4分別展示了這三種不同的標簽缺失情況。此外，文獻［64］將前兩種場景歸為一類，將標簽缺失問題分為客戶端未擁有數據的全部標注和客戶端擁有數據的全部標注兩大類別。

3.2 技術路徑

本文整理歸納了現有研究方法的技術路徑及優缺點，如表2所示，主要可分為對比學習、偽標簽法和半監督學習三類。

1）對比學習

對比學習［65，66］是一種自監督學習的機器學習策略。它通過最大化同一圖像的不同變換視圖的相似度，最小化不同圖像的變換視圖的相似度來進行學習。相比其他算法，對比學習能夠在缺乏標注數據的情況下通過構建正負樣本對進行學習，得到較好的分割模型。但是，如果客戶端的數據樣本呈現明顯的類不平衡，對比學習可能出現樣本選擇不均勻的情況，將進一步影響模型性能。

2）半監督學習

半監督學習［67］旨在利用有限的有標簽數據和大量的無標簽數據訓練一個性能良好的模型，是一種新的機器學習范式。由于訓練過程中使用到了大量無標注數據，提高了模型的泛化能力和領域適應性。

3）偽標簽法

偽標簽法［53］是一種重要的無監督或半監督機器學習方法，它為無標簽數據生成一個偽標簽，并在偽標簽的指導下訓練模型，由于使用偽標簽法生成的標簽有可能是錯誤的，所以一般與正則化［68］方法同時使用。一致性正則化［68］是最常用的一種防止錯誤的偽標簽產生的方法，它通過增加額外的正則項防止過擬合偽標簽。

3.3 方法對比

觀察表2可以發現，對比學習作為一種自監督學習策略，相對更為廣泛地用于標簽缺失問題。與半監督學習相比，對比學習在訓練過程中并不需要標簽，有標簽數據主要在應用對比學習的模型訓練完成之后對其進行微調，使之更加適應參與訓練的數據。而在半監督學習中，一般情況下并不會直接應用無標簽數據訓練并使用有標簽數據微調。

3.4 模型實例

1）FedMoCo［71］

FedMoCo是最早提出的面向醫學圖像的聯邦對比學習框架之一，與Wu等人［69］的聯邦對比學習框架同時發表在2021年的醫學圖像處理會議MICCAI上。該框架主要由兩個模塊組成，分別是元數據轉換模塊與自適應聚合模塊。元數據轉換模塊主要起到一個數據增強的作用，在該模塊中首先對客戶端提取到的特征向量進行Box-Cox變換［75］，然后計算變換后的特征均值與協方差并上傳中心服務器，最后中心服務器將這些特征均值和協方差集合發送到各個客戶端。自適應聚合模塊是一種新的基于表征相似性分析進行模型聚合的方法，它首先計算上一輪全局模型與當前輪次本地模型預測結果的皮爾森相關系數［76］，然后據此得到相異矩陣［77］，并進一步計算斯皮爾曼等級相關性［78］，最終依據斯皮爾曼等級相關性計算出模型的聚合權重矩陣。

2）FCL-VMIS［69］

Wu等人［69］同樣在2021年的MICCAI上提出了一種面向醫學圖像分割的聯邦對比學習框架，但遺憾的是，他們并沒有給這種新框架起一個合適的名字。因此，為了便于描述，本文使用研究標題的首字母FCL-VMIS描述該框架。FCL-VMIS的訓練過程可以分為兩個階段：第一階段是預訓練解讀，使用聯邦對比學習從無標簽數據中訓練一個可共享的全局編碼器；第二階段是微調階段，使用預訓練階段得到的可共享編碼器初始化本地客戶端的U-Net模型，然后經過本地有監督學習或者有監督聯邦學習得到適用于本地數據的個性化模型。

3）FCLOpt［70］

現有的聯邦對比學習框架通常需要消耗大量的時間和資源進行客戶端間的通信，這在移動設備等低算力平臺上是不現實的。因此，FCLOpt在現有聯邦對比學習框架的基礎上結合BYOL［79］進行了修改，使之能夠有效地部署到移動設備等低算力設備。具體而言，FCLOpt中的每個客戶端有一對孿生網絡，分別是在線網絡和目標網絡。在線網絡與目標網絡都擁有相同結構的編碼器，但目標網絡不具備預測器。在本地訓練時，一幅圖像經過兩次增強生成不同的圖像并分別作為在線網絡和目標網絡的輸入。在線網絡通過兩個網絡輸出的對比損失更新自身模型參數，而目標網絡則依據指數平均數進行更新。這種方法去除了負面樣本的參與，極大地減輕了模型的通信壓力。為了更進一步減少模型通信，Wu等人［70］又依次提出了預測目標網絡更新（PTNU）和距離預測（DP），分別減少了下載和更新次數。

4 應用進展

聯邦語義分割可以在不泄露數據隱私的情況下利用不同客戶端的數據協同訓練語義分割模型，使訓練得到的語義分割模型相對利用單個客戶端數據，具有更高的準確率和泛化能力，因此受到學術界和產業界的廣泛關注。目前，聯邦語義分割已經在醫學圖像分析［35］、自動駕駛［34］、工業控制［80］和遙感圖像分割［39］等領域率先取得應用。

在醫學圖像分析領域，聯邦語義分割被廣泛用于各種病變組織的分割。例如：Mushtaq等人［17］應用聯邦學習訓練了一個用于腎臟腫瘤分割的語義分割模型，以發現腎臟中的腫瘤組織；Dong等人［71］應用聯邦學習訓練了一個語義分割模型，用于在CT圖像上分割出COVID-19感染區域；Wang等人［36］則將其應用到了息肉組織分割。

在自動駕駛領域，使用聯邦語義分割提升模型的魯棒性以適應不同城市的自動駕駛任務，這具有重要研究價值。如Fantauzzo等人［28］應用聯邦學習從不同客戶端獲取的數據中協同訓練一個全局語義分割模型，有效緩解了自動駕駛任務中不同城市風格不一致的問題，有效提高了模型的泛化能力。

在工業控制領域，聯邦語義分割可以用于監測工業制作流程。如Mehta等人［80］將聯邦語義分割應用到增材制造過程中，借助聯邦語義分割模型在增材制造中進行過程監測與控制，使增材制造過程更加可靠。

在遙感圖像分割領域，Zhang等人［39］為了解決遙感圖像訓練數據不足、數據質量不高的問題，應用聯邦語義分割在多個客戶端之間協同訓練分割模型，提高模型的分割效果。

5 研究展望

基于上述分析，本文認為以下方向在未來領域研究中值得關注：

a）面向數據異質性的聯邦語義分割研究。

將現有基于深度學習的風格遷移方法應用到聯邦語義分割中是未來值得關注的一個熱點方向。針對數據異質性中的域異質性問題，部分學者提出使用風格遷移的方法在參與訓練的客戶端之間傳遞風格特征。使單客戶端通過共享的風格特征對本地數據進行增強，得到具有不同風格的圖像數據并用于本地模型訓練，減輕域異質性帶來的模型精度降低問題。但是，現有研究仍局限于手動提取特征的方法，如使用傅里葉變換將圖像分為幅度圖和相位圖，并將無法復原圖像數據的幅度圖在參與訓練的客戶端中共享。而近幾年，在風格遷移方面取得良好進展的深度學習方法并沒有被用于聯邦語義分割。將基于深度學習的風格遷移方法用于聯邦語義分割能夠更好地增強單客戶端的圖像數據多樣性，從而緩解域異質性問題，對于提高聯邦語義分割訓練模型的精度具有重要意義。

在全局模型和個性化模型之間尋找一個平衡點是未來聯邦語義分割亟待解決的問題。為彌補單一客戶端數據量、數據多樣性不足的問題，需要應用聯邦學習在多客戶端間協同訓練語義分割模型。但是，由于不同域存在的物體類別不同，一個高性能全局模型在某些特定的域無法充分適應本地數據，以致分割效果不佳。如在南極的企鵝和在北極的海鴉由于外觀相似，直接應用全局模型對采集到的圖像或視頻幀進行分割，容易將企鵝預測為海鴉。但同時，對于南北極共有的生物，如海豹、賊鷗與長須鯨等，個性化模型又需要充分利用不同域內的數據，以提高對共有類別的分割性能。當前研究只是將個性化聯邦學習或簇聯邦學習方法直接應用于聯邦語義分割領域，而沒有結合語義分割任務自身的特點，也沒有充分考慮到全局模型和個性化模型性能之間的權衡。

b）面向標簽缺失問題的聯邦語義分割研究。

針對聯邦語義分割中的標簽缺失問題，部分學者為無標簽數據生成偽標簽并指導模型訓練。但是，由于語義分割是一個像素級分類任務，且聯邦學習過程中不同客戶端之間通常呈現出數據異質性的特點，要求得到完全沒有錯誤的偽標簽幾乎是不可能的。因此，避免模型訓練受到錯誤偽標簽影響是相關研究中需要解決的關鍵問題，尤其需要克服噪聲標簽對訓練模型效果的制約。

6 結束語

聯邦語義分割的出現打破了不同設備、不同組織之間的數據孤島，緩解了當前基于深度學習的模型訓練過程中數據量不足的問題。但同時聯邦語義分割獨特的分布式場景也使訓練數據呈現出復雜多變的特性。因此，本文通過剖析復雜數據樣本的特點，從數據異質性和標簽缺失兩個層面介紹聯邦語義分割訓練過程中遇到的問題，整理歸納了當前已有研究針對該問題所提出的方法，并橫向比較了這些方法的優缺點。同時，本文系統整理了聯邦語義分割在不同領域的應用成果，并分析了當前研究存在的局限性以及由其帶來的潛在研究機會，以期為領域內相關研究提供借鑒和參考。

參考文獻：

［1］Siam M，Gamal M，Abdel-Razek M，et al. A comparative study of real-time semantic segmentation for autonomous driving ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.Piscataway，NJ： IEEE Press，2018.

［2］Yu Hongshan，Yang Zhengeng，Tan Lei，et al. Methods and datasets on semantic segmentation： a review ［J］. Neurocomputing，2018，304： 82-103.

［3］田萱，王亮，丁琪. 基于深度學習的圖像語義分割方法綜述 ［J］. 軟件學報，2019，30（2）： 440-468. （Tian Xuan，Wang Liang，Ding Qi. Review of image semantic segmentation based on deep learning ［J］. Journal of Software，2019，30（2）： 440-468.）

［4］Wang Li，Li Dong，Liu Han，et al. Cross-dataset collaborative learning for semantic segmentation in autonomous driving ［EB/OL］. （2021-11-02）. https：//arxiv.org/abs/2103.11351.

［5］李順新，吳桐. 面向自動駕駛的輕量級道路場景語義分割 ［J］. 計算機工程與應用，2023，59（19）： 177-183. （Li Shunxin，Wu Tong. Lightweight semantic segmentation of road scenes for autonomous driving ［J］. Computer Engineering and Applications，2023，59（19）： 177-183.）

［6］徐國保，麥銳滔，葉昌鑫，等. 用于自動駕駛的輕量級語義分割神經網絡 ［J］. 計算機工程與應用，2023，59（10）： 328-334. （Xu Guobao，Mai Ruitao，Ye Changxin，et al. Lightweight semantic segmentation neural network for autonomous driving ［J］. Computer Engineering and Applications，2023，59（10）： 328-334.）

［7］Song Chunfeng，Huang Yan，Ouyang Wanlin，et al. Mask-guided con-trastive attention model for person re-identification ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2018： 1179-1188.

［8］Wang Kesai，Yao Xifan，Ma Nanfeng，et al. Real-time motion removal based on point correlations for RGB-D SLAM in indoor dynamic environments ［J］. Neural Computing and Applications，2023，35（12）： 8707-8722.

［9］徐風堯，王恒升. 移動機器人導航中的樓道場景語義分割 ［J］. 計算機應用研究，2018，35（6）： 1863-1866，1886. （Xu Fengyao，Wang Hengsheng. Semantic segmentation of corridor scene for mobile robot navigation ［J］. Application Research of Computers，2018，35（6）： 1863-1866，1886.）

［10］楊鶴，柏正堯. CoT-TransUNet： 輕量化的上下文Transformer醫學圖像分割網絡 ［J］. 計算機工程與應用，2023，59（3）： 218-225. （Yang He，Bai Zhengyao. CoT-TransUNet： lightweight context Transformer medical image segmentation network ［J］. Computer Engineering and Applications，2023，59（3）： 218-225.）

［11］谷辛稼，陳一民. 基于U-Net的COVID-19病灶醫學影像ZMINet分割模型 ［J］. 計算機應用與軟件，2023，40（8）： 235-243. （Gu Xinjia，Chen Yimin. ZMINet： medical image segmentation model of COVID-19 lesions based on U-Net ［J］. Computer Applications and Software，2023，40（8）： 235-243.）

［12］羅圣欽，陳金怡，李洪均. 基于注意力機制的多尺度殘差U-Net實現乳腺癌灶分割 ［J］. 計算機應用，2022，42（3）： 818-824. （Luo Shengqin，Chen Jinyi，Li Hongjun. Multiscale residual U-Net based on attention mechanism to realize breast cancer lesion segmentation ［J］. Journal of Computer Applications，2022，42（3）： 818-824.）

［13］Ma Xiaodong，Zhu Jia，Lin Zhihao，et al. A state-of-the-art survey on solving non-IID data in federated learning ［J］. Future Generation Computer Systems，2022，135： 244-258.

［14］Li Li，Fan Yuxi，Tse M，et al. A review of applications in federated learning ［J］. Computers & Industrial Engineering，2020，149： 106854.

［15］茆啟凡，王亮亮，王子涵. 基于隱私保護聯邦學習與區塊鏈的圖像分類方案 ［J］. 計算機應用研究，2024，41（2）：356-360. （Mao Qifan，Wang Liangliang，Wang Zihan. Image classification model based on federated learning and blockchain ［J］. Application Research of Computers，2024，41（2）：356-360.）

［16］Roth H R，Chang Ken，Singh P，et al. Federated learning for breast density classification： a real-world implementation ［M］// Albarqouni S，Bakas S，Kamnitsas K，et al. Domain Adaptation and Representation Transfer，and Distributed and Collaborative Learning. Cham： Springer，2020： 181-191.

［17］Mushtaq E，Ding J，Avestimehr S. What if kidney tumor segmentation challenge （KiTS19） never happened ［C］// Proc of the 21st IEEE International Conference on Machine Learning and Applications. Piscataway，NJ： IEEE Press，2022： 1740-1747.

［18］Li Qinbin，Diao Yiqun，Chen Quan，et al. Federated learning on non-IID data silos： an experimental study ［C］// Proc of the 38th IEEE International Conference on Data Engineering. Piscataway，NJ： IEEE Press，2022： 965-978.

［19］Lu Jianfeng，Liu Haibo，Jia Riheng，et al. Toward personalized federated learning via group collaboration in IIoT ［J］. IEEE Trans on Industrial Informatics，2023，19（8）： 8923-8932.

［20］Achituve I，Shamsian A，Navon A，et al. Personalized federated lear-ning with Gaussian processes ［C］// Advances in Neural Information Processing Systems. Red Hook，NY：Curran Associates Inc.，2021： 8392-8406.

［21］Tan A Z，Yu Han，Cui Lizhen，et al. Towards personalized federated learning ［J］. IEEE Trans on Neural Networks and Learning Systems，2023，34（12）： 9587-9603.

［22］Kulkarni V，Kulkarni M，Pant A. Survey of personalization techniques for federated learning ［C］// Proc of the 4th World Conference on Smart Trends in Systems，Security and Sustainability. Piscataway，NJ： IEEE Press，2020： 794-797.

［23］顏明強，余鵬飛，李海燕，等. 語義風格一致的任意圖像風格遷移 ［J］. 計算機科學，2023，50（7）： 129-136. （Yan Mingqiang，Yu Pengfei，Li Haiyan，et al. Arbitrary image style transfer with consistent semantic style ［J］. Computer Science，2023，50（7）： 129-136.）

［24］Gatys L A，Ecker A S，Bethge M. Image style transfer using convolutional neural networks ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2016： 2414-2423.

［25］Jing Yongcheng，Yang Yezhou，Feng Zunlei，et al. Neural style transfer： a review ［J］. IEEE Trans on Visualization and Computer Graphics，2020，26（11）： 3365-3385.

［26］楊玥，馮濤，梁虹，等. 融合交叉注意力機制的圖像任意風格遷移 ［J］. 計算機科學，2022，49（S1）： 345-352，396. （Yang Yue，Feng Tao，Liang Hong，et al. Image arbitrary style transfer via criss-cross attention ［J］. Computer Science，2022，49（S1）： 345-352，396.）

［27］Yin Xu，Li Yan，Shin B S. Medical image processing with contextual style transfer ［J］. Human-Centric Computing and Information Sciences，2020，10（1）： 46.

［28］Fantauzzo L，Fanì E，Caldarola D，et al. FedDrive： generalizing fede-rated learning to semantic segmentation in autonomous driving ［C］// Proc of IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway，NJ： IEEE Press，2022： 11504-11511.

［29］Liu Quande，Chen Cheng，Qin Jing，et al. FedDG： federated domain generalization on medical image segmentation via episodic learning in continuous frequency space ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2021： 1013-1023.

［30］Ouyang Xiaomin，Xie Zhiyuan，Zhou Jiayu，et al. ClusterFL： a similarity-aware federated learning system for human activity recognition ［C］// Proc of the 19th Annual International Conference on Mobile Systems，Applications，and Services. New York： ACM Press，2021： 54-66.

［31］Barron J T. A general and adaptive robust loss function ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2019： 4326-4334.

［32］Lim W Y B，Luong N C，Hoang D T，et al. Federated learning in mobile edge networks： a comprehensive survey ［J］. IEEE Communications Surveys & Tutorials，2020，22（3）： 2031-2063.

［33］Li Xiaoxiao，Jiang Meirui，Zhang Xiaofei，et al. FedBN： federated learning on non-IID features via local batch normalization ［C］// Proc of International Conference on Learning Representations. 2021.

［34］Shenaj D，Fani E，Toldo M，et al. Learning across domains and devices： style-driven source-free domain adaptation in clustered federated learning ［C］// Proc of IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway，NJ： IEEE Press，2023： 444-454.

［35］Jiang Meirui，Yang Hongzheng，Cheng Chen，et al. IOP-FL： inside-outside personalization for federated medical image segmentation ［J］. IEEE Trans on Medical Imaging，2023，42（7）： 2106-2117.

［36］Wang Jiacheng，Jin Yueming，Stoyanov D，et al. FedDP： dual persona-lization in federated medical image segmentation ［J］. IEEE Trans on Medical Imaging，2024，43（1）： 297-308.

［37］Wang Jiacheng，Jin Yueming，Wang Liansheng. Personalizing federated medical image segmentation via local calibration ［C］// Proc of European Conference on Computer Vision. Cham： Springer，2022： 456-472.

［38］Xu An，Li Wenqi，Guo Pengfei，et al. Closing the generalization gap of cross-silo federated medical image segmentation ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca-taway，NJ： IEEE Press，2022： 20834-20843.

［39］Zhang Boning，Zhang Xiaokang，Man-On P，et al. Prototype-based clustered federated learning for semantic segmentation of aerial images ［C］// Proc of IEEE International Geoscience and Remote Sensing Symposium. Piscataway，NJ： IEEE Press，2022： 2227-2230.

［40］Dong Jiahua，Zhang Duzhen，Cong Yang，et al. Federated incremental semantic segmentation ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2023： 3934-3943.

［41］Guo Pengfei，Yang Dong，Hatamizadeh A，et al. Auto-FedRL：federated hyperparameter optimization for multi-institutional medical image segmentation ［C］// Proc of European Conference on Computer Vision. Cham： Springer，2022： 437-455.

［42］Mnih V，Kavukcuoglu K，Silver D，et al. Playing Atari with deep reinforcement learning ［EB/OL］. （2013-12-19）. https：//arxiv.org/abs/1312.5602.

［43］Andreux M，Du T J O，Beguier C，et al. Siloed federated learning for multi-centric histopathology datasets ［M］// Albarqouni S，Bakas S，Kamnitsas K，et al. Domain Adaptation and Representation Transfer，and Distributed and Collaborative Learning. Cham： Springer，2020： 129-139.

［44］Wahab O A，Mourad A，Otrok H，et al. Federated machine learning： survey，multi-level classification，desirable criteria and future directions in communication and networking systems ［J］. IEEE Communications Surveys & Tutorials，2021，23（2）： 1342-1397.

［45］Kalb T，Beyerer J.Causes of catastrophic forgetting in class-incremental semantic segmentation ［C］// Proc of Asian Conference on Computer Vision. Cham： Springer，2022： 361-377.

［46］Michieli U，Zanuttigh P.Continual semantic segmentation via repulsion-attraction of sparse and disentangled latent representations ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition. Piscataway，NJ： IEEE Press，2021： 1114-1124.

［47］Douillard A，Chen Yifu，Dapogny A，et al. PLOP： learning without forgetting for continual semantic segmentation ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscata-way，NJ： IEEE Press，2021： 4039-4049.

［48］Brendan M，Eider M，Daniel R，et al. Communication-efficient lear-ning of deep networks from decentralized data ［C］// Proc of the 20th International Conference on Artificial Intelligence and Statistics. ［S.l.］： PMLR，2017： 1273-1282.

［49］Deng Yuyang，Kamani M M，Mahdavi M. Adaptive personalized federa-ted learning ［EB/OL］.（2020-03-30）. https：//doi.org/10.48550/arXiv.2003.13461.

［50］Yang Yanchao，Soatto S. FDA： Fourier domain adaptation for semantic segmentation ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 4084-4094.

［51］MacQueen J. Some methods for classification and analysis of multivariate observations ［C］// Proc of the 5th Berkeley Symposium on Mathematical Statistics and Probability. 1967： 281-297.

［52］Rousseeuw P J. Silhouettes： a graphical aid to the interpretation and validation of cluster analysis ［J］. Journal of Computational and Applied Mathematics，1987，20： 53-65.

［53］Arazo E，Ortego D，Albert P，et al. Pseudo-labeling and confirmation bias in deep semi-supervised learning ［C］// Proc of International Joint Conference on Neural Networks. Piscataway，NJ： IEEE Press，2020： 1-8.

［54］Hinton G，Vinyals O，Dean J. Distilling the knowledge in a neural network ［EB/OL］.（2015-03-09）. https：//doi.org/10.48550/arXiv.1503.02531.

［55］Izmailov P，Podoprikhin D，Garipov T，et al. Averaging weights leads to wider optima and better generalization ［C］// Proc of the 34th Conference on Uncertainty in Artificial Intelligence. 2018： 876-885.

［56］Miao Jiaxu，Yang Zongxin，Fan Leilei，et al. FedSeg： class-heterogeneous federated learning for semantic segmentation ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2023： 8042-8052.

［57］Wicaksana J，Yan Zengqiang，Zhang Dong，et al. FedMix： mixed supervised federated learning for medical image segmentation ［J］. IEEE Trans on Medical Imaging，2022，42（7）： 1955-1968.

［58］Milletari F，Navab N，Ahmadi S A. V-Net： fully convolutional neural networks for volumetric medical image segmentation ［C］// Proc of the 4th International Conference on 3D Vision. Piscataway，NJ： IEEE Press，2016： 565-571.

［59］Li Ming，Li Qingli，Wang Yan. Class balanced adaptive pseudo labeling for federated semi-supervised learning ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2023： 16292-16301.

［60］Jeong W，Yoon J，Yang E，et al. Federated semi-supervised learning with inter-client consistency & disjoint learning ［C］// Proc of International Conference on Learning Representations. 2020.

［61］Yao Chunhan，Gong Boqing，Qi Hang，et al. Federated multi-target domain adaptation ［C］// Proc of IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway，NJ： IEEE Press，2022： 1081-1090.

［62］Lin Haowen，Lou Jian，Xiong Li，et al. SemiFed： semi-supervised federated learning with consistency and pseudo-labeling［EB/OL］. （2021-08-21）. https：//arxiv.org/abs/2108.09412.

［63］Liu Quande，Yang Hongzheng，Dou Qi，et al. Federated semi-supervised medical image classification via inter-client relation matching ［EB/OL］. （2021-06-16）. https：//arxiv.org/abs/2106.08600.

［64］Liang Xiaoxiao，Lin Yiqun，Fu Huazhu，et al. RSCFed： random sampling consensus federated semi-supervised learning ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2022： 10144-10153.

［65］Chen Ting，Kornblith S，Swersky K，et al. Big self-supervised models are strong semi-supervised learners ［C］// Advances in Neural Information Processing Systems. Red Hook，NY：Curran Associates Inc.，2020： 22243-22255.

［66］Chen Ting，Kornblith S，Norouzi M，et al. A simple framework for contrastive learning of visual representations ［C］// Proc of the 37th International Conference on Machine Learning. ［S.l.］：PMLR，2020： 1597-1607.

［67］Yang Xiangli，Song Zixing，King I，et al. A survey on deep semi-supervised learning ［J］. IEEE Trans on Knowledge and Data Engineering，2023，35（9）： 8934-8954.

［68］Berthelot D，Carlini N，Cubuk E D，et al. ReMixMatch： semi-supervised learning with distribution matching and augmentation anchoring ［C］// Proc of International Conference on Learning Representations. 2019.

［69］Wu Yawen，Zeng Dewen，Wang Zhepeng，et al. Federated contrastive learning for volumetric medical image segmentation ［EB/OL］. （2022-04-23）. http：//doi.org/10.1007/978-3-030-87199-4_35.

［70］Wu Yawen，Zeng Dewen，Wang Zhepeng，et al. Distributed contrastive learning for medical image segmentation ［J］. Medical Image Analysis，2022，81： 102564.

［71］Dong Nanqing，Voiculescu I. Federated contrastive learning for decentralized unlabeled medical images ［EB/OL］. （2021-09-15）. https：//arxiv.org/abs/2109.07504.

［72］Yang Dong，Xu Ziyue，Li Wenqi，et al. Federated semi-supervised learning for COVID region segmentation in chest CT using multi-national data from China，Italy，Japan ［J］. Medical Image Analysis，2021，70： 101992.

［73］Qiu Liang，Cheng Jierong，Gao Huxin，et al. Federated semi-supervised learning for medical image segmentation via pseudo-label denoi-sing ［J］. IEEE Journal of Biomedical and Health Informatics，2023，27（10）：4672-4683.

［74］Zhu Meilu，Chen Zhibo，Yuan Yixuan. FedDM： federated weakly supervised segmentation via annotation calibration and gradient de-conflicting ［J］. IEEE Trans on Medical Imaging，2023，42（6）： 1632-1643.

［75］Osborne J. Improving your data transformations： applying the box-cox transformation ［J］. Practical Assessment，Research，and Evaluation，2010，15（1）： 12.

［76］Lee R J，Nicewander W A. Thirteen ways to look at the correlation coefficient ［J］. The American Statistician，1988，42（1）： 59-66.

［77］Kriegeskorte N，Mur M，Bandettini P A. Representational similarity analysis-connecting the branches of systems neuroscience ［J/OL］. Frontiers in Systems Neuroscience.（2008-11-24）.https：//doi.org/10.3389/neuro.06.004.2008

［78］Zar J H. Significance testing of the spearman rank correlation coefficient ［J］. Journal of the American Statistical Association，1972，67（339）： 578-580.

［79］Grill J B，Strub F，Altché F，et al. Bootstrap your own latent-a new approach to self-supervised learning ［C］// Advances in Neural Information Processing Systems. Red Hook，NY ：Curran Associates Inc.，2020： 21271-21284.

［80］Mehta M，Shao Chenhui. Federated learning-based semantic segmentation for pixel-wise defect detection in additive manufacturing ［J］. Journal of Manufacturing Systems，2022，64： 197-210.