基于多層級領域自適應網絡和置信度約束的道路場景語義分割方法

中圖分類號：TP391.4

文獻標志碼：A

近年來研究熱點的自動駕駛要求對復雜城市街道擁有強大的場景理解能力，以做出決策并控制運動系統1。協助車輛識別其周圍環境的常見方法是對車輛上安裝的攝像頭拍攝圖像的應用語義分割。語義分割將圖像中的所有像素分類為類別標簽，是計算機視覺中的重要任務之一，許多方法[2-6被提出來改進性能并取得了驚人的效果。然而，這些方法的關鍵限制是它們需要大量高質量的標簽，這需要大量的人力和物質資源。例如，來自Cityscapes[7數據集的一張圖像需要一個人花費 90min 來標注。從虛擬圖像引擎中收集的合成數據集[8-9被用來應對這個限制，因為這些圖像引擎可以自動導出圖像和對應標簽。然而，由于現實世界場景和虛擬世界場景之間的外觀差異很大，因此盡管模型在虛擬世界中做出高精度預測，但將其應用于現實世界圖像的類別標簽預測仍然困難。

解決有標簽的虛擬世界圖像（源域）和沒有標簽的現實世界圖像（目標域）之間的領域差異問題的無監督領域自適應是關鍵技術之一。近來無監督領域自適應通過對抗學習或者自訓練的方法來減小不同領域之間數據分布的差異[10-14]。對抗學習通過欺騙領域判別器來實現源域和目標域分布的全局對齊。自訓練則是循環迭代目標域圖像的偽標簽并采用置信度估計、一致性正則化或熵最小化等方法來提高分割性能，偽標簽即高可信度的預測。Pan等[15提出領域差異不僅存在于源域和目標域之間（稱為域間差異），還存在于目標域的不同部分之間（稱為域內差異），研究使用基于熵的排序方法將自標圖像分為“容易\"或“困難\"兩部分，并實現了圖像級域內自適應。Yan等[16認為僅在圖像級別進行域內自適應是不夠的，因為語義分割網絡分配的是像素級別的類別標簽。因此，研究提出了一個兩步的無監督領域自適應方法，以實現像素級域內自適應。具體來說，在訓練一個域間自適應網絡AdaptSegNet[12]后，通過一種類別閾值方法將目標域圖像的像素分為“容易\"或“困難\"兩部分。該閾值方法基于來自AdaptSegNet[12]預測的置信度分數為每個類別選擇閾值，高出這個閾值的像素為“容易”像素，低于這個閾值的像素為“困難”像素，利用“容易\"像素的偽標簽，將分割網絡從“困難”像素適應到“容易\"像素以提高對“困難”像素的預測精度。然而，像素級域內自適應無法有效地利用圖像的空間位置信息并且對偽標簽的質量非常敏感。因為偽標簽在捕捉空間布局方面存在不足，這導致分割網絡忽略了關鍵的空間位置信息。此外，像素級域內自適應過程對偽標簽的依賴性過高，這意味著帶有噪聲的偽標簽可能會嚴重阻礙網絡對某些類別的有效學習。

為了解決上述問題，本文提出了3種方法：首先，提出了一個多層級領域自適應網絡，旨在同時減少圖像級別和像素級別的分布差異。鑒于圖像中豐富的空間位置信息，本文在像素級領域內自適應的基礎上引入了圖像級領域內自適應。通過圖像級對抗學習策略，促使目標域和源域在空間布局上的預測趨于一致，從而顯著提升了預測的準確性；其次，提出了一種基于置信度約束的方法，以減輕偽標簽對分割網絡性能的負面影響。與之前方法不同，本文不僅將像素分類為“容易\"或“困難”，還記錄了“容易\"類別中像素的置信度值。通過引入置信度損失函數，有效地約束了網絡在域內自適應過程中對偽標簽的過度擬合；最后，通過整合空間先驗知識，改進了現有的類別閾值方法，以降低偽標簽的錯誤率。這種方法利用了源域中類別頻率的空間結構相似性，從而提高了偽標簽的整體質量。

1基于多層級領域自適應網絡和置信度約束的道路場景語義分割方法

本文使用S表示源域，包含合成圖像 X_s 和標簽Y_s， ，共有 C 個不同的類別；用 T 表示目標域，其包含真實圖像 X_t°

1.1像素分離

如圖1所示，為了適應域內差異，首先將目標圖像的像素分為“容易\"和“困難\"兩部分。置信度值可以衡量來自語義分割模型的預測 P 的準確性，具有高置信度值的預測往往比置信度值較低的預測更準確。基于這一規則，許多方法中使用置信度值大于0.9的像素預測作為偽標簽[17]。由于觀察到源域和目標域的空間位置信息上存在顯著的相似性，如圖2（a）所示，源域和目標域的圖像在視覺外觀上可能截然不同，但它們在空間位置信息上卻存在顯著的相似性。例如，天空通常位于圖像的頂部，而汽車則總是出現在道路上。為了利用分割中的空間先驗知識，本研究統計源域圖像中每個類別在空間上的分布，如圖2（b）所示。本文用 F_s^{（h，w，c）} 表示源域圖像中像素（h，w） 處類別 Ψ_c 的頻率：

其中 N_c^（h，w） 是類別 Ψ_c 出現在像素 （h，w） 處的次數， 表示所有類別出現在像素 （h，w） 處的次數。本文使用一個 n×n 的高斯核對 F_s^{（h，w，c）} 進行平滑處理，將預測的置信度分數乘以頻率，并將結果作為像素分離的參考。為了緩解類別不平衡問題，本文對每個類別計算像素分離的閾值。具體來說，給定目標域圖像 x_t ，將其輸入預訓練模型以獲得預測。然后使用二進制掩碼 M_xt∈{0，1}^H×W 展示了在 x_t 中分離像素的結果：

其中， t^（c） 是類別 c 的像素分離閾值。具體而言， r^（c） 表示在整個數據集上將類別 c 的置信度分數乘以頻率的所有結果。 t^（c） 被確定為使得 r^（c） 中大于 t^（c） 的元素數量等于 α?|r^（c）| ，其中 α 表示“容易\"像素的比例， |r^（c）| 表示 r^（c） 的長度。 P_xt^（h，w） 表示 x_t^（h，w） 的預測。M_xt^（h，w）=0 表示像素為\"容易\"部分， M_xt^（h，w）=1 表示像素為\"困難\"部分。根據 M_xt^（h，w） 分配偽標簽 ，同時記錄置信度 ，如下：

值得注意的是，為了獲得偽標簽和置信度值，需要一個預訓練模型。為了更好地與PixIntraDA[16進行比較，本文使用了與PixIntraDA[6相同的預訓練模型來生成偽標簽。

1.2多層級領域自適應網絡和置信度約束

為了同時減小域間差異和域內差異，以及避免過度擬合帶有噪聲的偽標簽，本文方法包括多層級領域自適應網絡和置信度約束。

1.2.1多層級領域自適應網絡本文的多層級領域自適應網絡包含像素級域內自適應以及圖像級域間自適應。如圖3所示，在源域上，網絡 G 接受一個帶有標簽 y_xs 的圖像 x_s 作為輸入，并生成預測 P_xs=G（x_s） 。在目標域上，由于圖像缺乏真實標簽，本文使用通過式（3）選定的偽標簽 來監督網絡訓練。具體來說，網絡 G 接受一個帶有偽標簽 的圖像 x_t 作為輸入，并生成預測 P_xt=G（x_t） 。通過最小化交叉熵損失L_seg 來優化 G

公式（3）中賦予“none\"值偽標簽 表明相應的像素不參與分割損失的計算。由于預訓練模型效果有限，它不可避免地產生許多錯誤預測，這些錯誤預測不能用作偽標簽。為了避免這些錯誤預測的不良影響，本文為它們分配\"none”值。

為了學習源域圖像中類別的空間布局，本文利用對抗學習來使 P_xt 和 P_xs 的分布對齊。具體來說，D_inter 被訓練區分來自源域圖像或目標域圖像的預測，而 G 被訓練為源域圖像和目標域圖像生成的相似預測，以欺騙 D_inter 。因此， D_inter 和 G 的優化問題被表述如下：

此外，為了解決“容易\"和“困難\"像素之間的域內差異，按照PixIntraDA[16中提出的像素級對抗學習方法，域內判別器 D_intra 被訓練為區分像素是來自“容易\"還是\"困難\"部分，而 G 被訓練為欺騙 D_intra 。因此，用于優化 D_intra 和 G 的像素級對抗損失被表述為

其中， 1_H 和 1_W 分別表示大小為 H×1 和 W×1 的全一向量， J 表示大小為 H×W 的全一矩陣， ? 表示Hadamard積。本文的多層級領域自適應與像素級域內自適應PixIntraDA[16的主要區別：本文通過對抗學習引導網絡學習源域的空間布局和目標域“容易”像素的置信度分布，而像素級域內自適應僅學習“容易\"像素的置信度分布。

1.2.2置信度約束為了避免過擬合帶有噪聲的偽標簽，本文借助置信度 、偽標簽 以及目標預測P_xt 引入置信度損失 L_con 。具體來說，置信度損失定義如下：

其中， 是將 轉換為與 相同大小的結果，對于所有 （20

因此，用于優化 G 的完整損失函數形式為：

（8）其中， λ_con?λ_inter 和 λ_intra 分別表示置信度損失 L_con ！域間對抗損失 L_interadv^G 和域內對抗損失 L_intraadv^G 的權重。

2 實驗與結果分析

2.1 實驗部分

2.1.1數據集Cityscapes是從50個不同的城市收集的大規模數據集，包含5000張帶有像素級語義標注的圖像和20000張帶有粗略語義標注的圖像。本文使用該數據集中來自訓練集的2975張無標簽圖像作為目標域，來自Cityscapes驗證集的500張帶有像素級語義標注的圖像來評估訓練的模型。GTA5[8]包括24966個分辨率為 1914×1052 的圖形，是由虛擬游戲引擎生成。GTA5和Cityscapes之間有19個相同類別，因此本文使用這些相同的類別并忽略其他類別來訓練網絡。SYNTHIA包含9400張帶有高質量掩碼的城市場景圖片，是一個合成數據集。在訓練時，SYNTHIA有13個與Cityscapes類兼容的類別。

2.1.2評估語義分割模型的性能通過平均交并比（mIoU）指標進行評估，這在語義分割的無監督領域自適應中經常用于與其他模型進行比較。

2.1.3網絡架構本文采用了Deeplab-V2作為語義分割的架構，其架構骨干是在ImageNet[18]上預訓練過的ResNet-101[19]，并在訓練中進行參數微調；域間自適應對從第5層卷積的輸出特征執行自適應。與語義分割架構相對應，加人鑒別器（與DCGAN20]中使用的架構相同）執行對抗學習，以對齊來自第5層卷積預測的空間分布。在域內自適應中，為了實現像素級對抗學習，使用與PixIntraDA[16]中相同的鑒別器，并對鑒別器生成的輸出進行雙線性采樣，使其與輸入圖像的大小相同。

2.1.4算法的實現細節本文所有實驗中使用PyTorch深度學習框架，實驗環境為一塊搭載有24GB內存的NVIDIAGeForceRTX3090GPU。在多層級領域自適應中，收集將源域圖像轉換為目標域風格的圖像。同時，本文使用一個從PixIntraDA[16的域間自適應中訓練得到的預訓練模型產生偽標簽，批量大小為4，在框架中采用多尺度訓練和測試。此外， λ_intra 設置為0.05， λ_inter 設置為0.01。為了實現主要適應領域內差異的目標，本文根據 intra=5確定λ_inter ，與主流方法保持一致[11-12，.5-16]， λ_con 通過實驗確定。

2.1.5算法復雜度算法的時間、空間復雜度分別如公式（9）和公式（10）所示：

其中， M_l ， K_l 和 C_l 分別代表第 ξ_l 層網絡的輸出特征圖大小、卷積核大小和輸出通道數， D 代表網絡卷積層的數量。具體來說，本文算法模型的浮點運算量約為 3.74×10¹¹ 次，模型參數的大小約為 170MB 。此外，模型訓練在使用單塊NVIDIAGeForceRTX3090GPU的情況下需要耗時 20h 。

2.2 結果分析

2.2.1定量結果表1和表2所示為本文的方法與其他方法的比較結果。為了確保公平性和一致性，除了TTA（TestTimeArgumentaction）外，所有方法均采用了Deeplab-V2作為語義分割的基礎架構。TTA采用擴散模型作為其語義分割架構，該模型的網絡規模超過了Deeplab-V2。總體而言，本文的方法在任務“GTA5到Cityscapes\"和“SYNTHIA到Cityscapes\"中mloU分別提高到 52.6% 和 56.0% 。與表1和表2中的基線PLA相比，本文的方法在任務“GTA5到Cityscapes\"和“SYNTHIA到 Cityscapes\"中mloU分別提高了 6.5% 和 2.8% 。本文方法在有效性上與其他最先進的方法也具有相當的競爭力。由于Cityscapes和SYNTHIA之間在空間布局上存在相對較大的差異，在任務“SYNTHIA到Cityscapes\"中沒有使用空間先驗知識。需要注意的是，PixIntraDA[6]包含像素級對抗學習、連續索引對抗學習、多一輪訓練和Kullback-Leibler正則化4個部分。由于本文的工作基于像素級對抗學習部分，而不包含其他3個部分，為了更好地突顯本文方法的有效性，主要關注了本文方法與像素級對抗學習部分的比較。PixIntraDA[16方法中像素級對抗學習多尺度測試結果mloU是 49.4% 。本文通過圖4所示的分割結果可視化來比較本文方法與像素級對抗學習部分的有效性。

2.2.2消融實驗本文的方法包含3個部分，多層級領域自適應（Multi-LevelDomainAdaptation，MDA）、置信度正則化（ConfidenceRegularization，CR）和融入空間先驗的閾值方法（ThresholdMethod IncorporatingSpatialPrior，TMISP）。與PLA相比，本文方法在3個方面有所不同：首先，基于PLA，本文提出了MDA來解決PLA不能有效利用圖像的空間位置信息的問題；其次，CR解決PLA可能過擬合噪聲偽標簽的問題；最后，新的閾值方法來獲得更好的偽標簽。表3驗證了所有部分的有效性，可以觀察到本文方法的所有部分都提高了有效性。

2.2.3 超參數分析本文通過實驗來選擇 λ_con ！α 和 n 的最優值，如表4、表5和表6所示。為了確定最優的超參數組合，本文中采用了逐步超參數優化策略。初始 λ_con?α 和 n 值分別為10、0.67和69，通過依次固定兩個超參數，并優化剩余的一個超參數，使得優化過程更加直接和容易管理。在每一步的優化中，記錄了不同配置下的性能指標，并基于這些數據選擇了表現最優的超參數配置。通過這種逐步調整的方法，最終確定的超參數設置在每一步中均表現最優，確保超參數選擇的結果是3個參數的綜合最優配置。結果表明，當 λ_con?α 和 n 分別等于9、0.5和69時，可以獲得最佳結果。此外， α 等于1意味著所有預測都被用作偽標簽。因此，這表明對于不可靠的預測賦予“none”值，使相應的像素不參與計算分割損失是必要。

3結束語

本文提出了一個多層級領域自適應網絡以縮小域間差異和域內差異；利用置信度約束的方法以緩解噪聲偽標簽的影響。為了進一步提高偽標簽的質量，本文將空間先驗知識與現有的閾值方法結合起來以選擇偽標簽。實驗結果表明本文方法的性能卓越，這3種方法并非孤立存在，而是相互補充和增強的。置信度約束方法通過記錄置信度值來減小潛在錯誤偽標簽的影響，而改進的閾值方法則利用空間先驗知識來提升偽標簽的準確性。在未來的工作中，有一些方法可以進一步提高分割效果。由于從模型生成的高質量偽標簽有助于訓練域自適應網絡，因此使用更有效模型來獲取更好的偽標簽可以進一步提高分割結果。此外，由于選擇用于域內自適應像素的分離方法也影響偽標簽的質量，因此找到更好的分離方法提高效果。不同形式的置信度損失可能會產生不同的效果，因此可以進一步研究最佳形式。

參考文獻：

[1] YURTSEVERE，LAMBERTJ，CARBALLOA，etal.A survey of autonomous driving：Common practicesand emerging technologies[J].IEEE Access，2020，8：58443- 58469.

[2] CHEN L C，PAPANDREOU G，KOKKINOSI，et al. Deeplab： Semantic image segmentation with deep convolutional nets，atrous convolution， and fully connected crfs[J]. IEEETransactionson Pattern Analysisand Machine Intelligence，2017，40（4）： 834-848.

[3] CHEN L C， PAPANDREOU G，SCHROFF F，et al. Rethinking atrous convolution for semantic image segmentation[J/OL]. （2017-06-07）[2017-08-25]. htps：//arXiv preprint arXiv： 170605587.

[4］李鈺，袁晴龍，徐少銘，等.基于感知注意力和輕量金字塔 融合網絡模型的室內場景語義分割方法[J].華東理工大 學學報（自然科學版），2023，49（1）：116-127.

[5] 吳駿逸，谷小婧，顧幸生.基于可見光/紅外圖像的夜間道 路場景語義分割[J].華東理工大學學報（自然科學版）， 2019，45（2）： 301-309.

[6] 夏源祥，劉渝，楚程錢，等.基于子空間多尺度特征融合的 試卷語義分割[J].華東理工大學學報（自然科學版）， 2023，49（3）： 429-438.

[7]CORDTS M， OMRAN M， RAMOS S， et al. The cityscapes dataset for semantic urban scene understanding [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， NV， USA： IEEE， 2016： 3213-3223.

[8]RICHTER S R， VINEET V， ROTH S， et al. Playing for data： Ground truth from computer games[C]/Proceedings of European Conference on Computer Vision. Heidelberg： Springer，2016： 102-118.

[9]ROS G， SELLART L，MATERZYNSKA J， et al. The synthia dataset： A large collction of synthetic images for semantic segmentation of urban scenes[C]/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA： IEEE，2016：3234-3243.

[10] HOFFMAN J，WANG D，YUF， et al. Fcns in the wild： Pixel-level adversarial and constraint-based adaptation [J/OL]. （2016-12-08）[2017-02-21]. https：//arXivpreprint arXiv： 161202649.

[11] VU T H， JAIN H， BUCHER M， et al. Advent： Adversarial entropy minimization for domain adaptation in semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA：IEEE， 2019：2517-2526.

[12]TSAI Y H， HUNG W C， SCHULTER S， et al. Learming to adapt structured output space for semantic segmentation [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA： IEEE，2018： 7472-7481.

[13]WANG Y， PENG J， ZHANG Z. Uncertainty-aware pseudo labelrefinery for domain adaptive semantic segmentation [C]/Proceedings of the IEEE International Conference on Computer Vision. USA： IEEE， 2021： 9092-9101.

[14] TIAN Y， ZHU S. Partial domain adaptation on semantic segmentation[J]. IEEE Transactionson Circuitsand Systems for Video Technology，2021，32（6）： 3798-3809.

[15] PAN F， SHIN I， RAMEAU F，et al. Unsupervised intradomain adaptation for semantic segmentation through selfsupervision[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA： IEEE， 2020： 3764-3773.

[16] YANZ，YUX，QINY，etal.Pixel-levelintra-domain adaptation for semantic segmentation [C]//Proceedings of the29th ACM International Conference on Multimedia. NY，USA： IEEE，2021： 404-413.

[17] LIY，YUANL，VASCONCELOSN.Bidirectional learningfor domain adaptation of semantic segmentation[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.USA：IEEE，2019： 6936-6945.

[18] DENGJ，DONGW，OCHERR，etal.Imagenet：Alargescalehierarchical image database[C]//Proceedings ofthe IEEEConference on Computer Vision and Pattern Recognition.USA：IEEE，2009：248-255.

[19] HEK，ZHANGX，RENS，etal.Deep residual learning for imagerecognition[C]//Proceedingsof the IEEE Conference onComputer Vision and Pattern Recognition.USA：IEEE， 2016：770-778.

[20] RADFORD A，METZL，CHINTALA S.Unsupervised representation learning with deep convolutional generative adversarial networks[EB/OL]. （2015-11-19）[2015-12-28]. https：//arXivpreprintarXiv：151106434.

[21] LUOX，CHENW，LIANGZ，etal.Adversarialstyle discrepancyminimizationforunsupervised domainadaptation[J].NeuralNetworks，2023，157：216-225.

[22] KIMM，BYUNH.Learningtexture invariant representation for domain adaptation of semantic segmentation [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.USA：IEEE，2020：12972- 12981.

[23] YANGY， SOATTO S. Fda：Fourier domainadaptation for semantic segmentation[C]//Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition. USA： IEEE，2020：4085-4095.

[24] GONG R，DANELLJAN M， SUN H，et al. Prompting diffusion representations for cross-domain semantic segmentation[EB/OL]. （2023-07-05）[2023-09-14]. https：//arXivpreprint arXiv： 230702138.

Semantic Segmentation Methods for Road Scenes Based on Multi-Level Domain Adaptation Network and Confidence Constraints

WAN Cailu， DU Wei （KeyLaboratoryofSmartManufacturing inEnergy Chemical Process，MinistryofEducation，East China Universityof Science and Technology， Shanghai 200237， China）

Abstract： Semantic segmentation aims to assign a class label to each pixel in an image and has a wide range of applications.Semantic Segmentation needs large numbers of high-quality labels，which requires a lot of manpower and materialresources.Furthermore，a semantic segmentation model trained on one domain cannot generalize well to other domains， which becomes a key problem in its practical applications. Unsupervised pixel-level intra-domain adaptation for semantic segmentation has been proven to be an effective method to address the problem. However，this method cannoteffectivelyexploit spatiallocation information and isadversely affected bynoisypseudo-labels.In this work， we propose a confidence-guided multi-level domain adaptation approach to solve the problem. Specifically， we propose a multi-level domain adaptation framework to reduce the diferences between pixels and spatial location information of imagessimultaneously.Moreover，to avoid that overfiting pseudo-labelsmay degrade the performance of the segmentation network， we construct aconfidence lossfunction to constrain the network training. And we propose a method of selecting pseudo-labels and achieving beter results in acquiring high-quality pseudo-labels than existing methods.We demonstrate the effectiveness ofour approach through synthetic-to-real adaptation experiments. Compared with the unsupervised pixel-level intra-domain adaptation for semantic segmentation，our method leads to 6.5% and 2.8% relative improvements in mean intersection-over-union on the tasks “GTA5 to Cityscapes” and “SYNTHIA to Cityscapes”，respectively.

Key words： road scene；semantic segmentation；unsupervised domain adaptation；self-training；adversarial learning

（責任編輯：王曉麗）