基于UPS策略自我訓(xùn)練的半監(jiān)督語義分割

李雨杭 朱小東 楊高明

DOI：10.19850/j.cnki.2096-4706.2024.02.001

收稿日期：2023-10-27

基金項(xiàng)目：安徽高校自然科學(xué)研究項(xiàng)目（KJ2017A084）；安徽省自然科學(xué)基金面上項(xiàng)目（1808085MF179）

摘? 要：為提高半監(jiān)督語義分割的效果，文章提出一種損失歸一化技術(shù)結(jié)合UPS策略的半監(jiān)督語義分割網(wǎng)絡(luò)SPNS。利用損失歸一化技術(shù)緩解標(biāo)準(zhǔn)損失函數(shù)的自我訓(xùn)練不穩(wěn)定問題；UPS策略是結(jié)合不確定性估計(jì)和消極學(xué)習(xí)的技術(shù)，通過計(jì)算輸出值的不確定性作為另一種閾值，用以挑選可靠的偽標(biāo)簽，最后利用生成的偽標(biāo)簽和標(biāo)記數(shù)據(jù)完成半監(jiān)督語義分割任務(wù)。SPNS方法在PASCAL·VOC數(shù)據(jù)集上相對(duì)于只使用標(biāo)記數(shù)據(jù)訓(xùn)練有著+2.06的效果提升，與其他方法相比也有一定提升。

關(guān)鍵詞：半監(jiān)督；語義分割；自我訓(xùn)練；UPS；消極學(xué)習(xí)

中圖分類號(hào)：TP391? ? 文獻(xiàn)標(biāo)志碼：A? ? 文章編號(hào)：2096-4706（2024）02-0001-04

Semi-supervised Semantic Segmentation Based on UPS Strategy Self Training

LI Yuhang， ZHU Xiaodong， YANG Gaoming

（School of Computer Science and Engineering， Anhui University of Science and Technology， Huainan? 232001， China）

Abstract： To improve the effectiveness of semi-supervised semantic segmentation， this paper proposes a semi-supervised semantic segmentation network SPNS that combines loss normalization technology with UPS strategy. Using loss normalization techniques to alleviate the instability of self training in standard loss functions; the UPS strategy is a technique that combines uncertainty estimation and passive learning， by calculating the incompleteness of the output value as another threshold， reliable pseudo labels are selected， and finally the semi-supervised semantic segmentation task is completed using the generated pseudo labels and labeled data. The SPNS method has +2.06 improvement compared to training with only labeled data on the PASCAL · VOC dataset， and also has some improvement compared to other methods.

Keywords： semi-supervised; semantic segmentation; self training; UPS; negative learning

0? 引? 言

語義分割，即從集合中分配標(biāo)簽圖片的每個(gè)像素類別，是計(jì)算機(jī)視覺任務(wù)中最具挑戰(zhàn)性的任務(wù)之一?，F(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)的全監(jiān)督分割方法[1]很大程度上得益于帶標(biāo)注數(shù)據(jù)集規(guī)模的快速增長，但數(shù)據(jù)集規(guī)?？焖僭鲩L的同時(shí)也給數(shù)據(jù)標(biāo)注帶來了極大的壓力。以語義分割任務(wù)為例，如果在語義分割公開數(shù)據(jù)集PASCAL VOC2012[2]上標(biāo)注一張圖像的像素級(jí)標(biāo)簽需要4分鐘時(shí)間，則標(biāo)注PASCAL VOC 2012上整個(gè)擴(kuò)展訓(xùn)練集（10 528張圖像）的時(shí)間會(huì)長達(dá)一個(gè)月，同時(shí)獲取這些數(shù)據(jù)的成本急劇上升。

監(jiān)督學(xué)習(xí)的替代方法是無監(jiān)督學(xué)習(xí)，即利用大量的未標(biāo)記數(shù)據(jù)，但是無監(jiān)督學(xué)習(xí)的方法缺乏類的概念，只是試圖識(shí)別一致的區(qū)域或區(qū)域的邊界。半監(jiān)督學(xué)習(xí)介于有監(jiān)督和無監(jiān)督之間，即給出的數(shù)據(jù)一部分是標(biāo)記數(shù)據(jù)。半監(jiān)督學(xué)習(xí)用來識(shí)別一些特定的隱藏結(jié)構(gòu)，在某些情況下，未標(biāo)簽數(shù)據(jù)x的p（x）可以支持分類帶有y標(biāo)簽的p （ y | x）。為了解決數(shù)據(jù)難獲得或標(biāo)注時(shí)間過長的問題，一些半監(jiān)督的方法成為新的選擇[3-10]。

一致性正則化方法的本質(zhì)就是使用數(shù)據(jù)增強(qiáng)策略。目前對(duì)圖像常見的數(shù)據(jù)增強(qiáng)方法除了為圖像添加高斯噪聲擾動(dòng)、圖像色彩抖動(dòng)、隨機(jī)尺度裁剪等基本方法外，還有CutMix[9]、GAN等方法。一致性正則法在目前的半監(jiān)督學(xué)習(xí)領(lǐng)域占據(jù)主導(dǎo)地位，但是這類技術(shù)的驚艷表現(xiàn)是建立在大量的先導(dǎo)工作的基礎(chǔ)上的，對(duì)于特定數(shù)據(jù)集的分類任務(wù)，往往需要事先花很長的時(shí)間去搜索最合適的數(shù)據(jù)增強(qiáng)策略，如果缺乏十分有效的數(shù)據(jù)增強(qiáng)策略，就會(huì)導(dǎo)致缺乏泛化能力。

還有一種典型的方法是為沒有標(biāo)注釋的像素分配偽標(biāo)簽（Pseudo-Labe）。具體來說，給定一張未標(biāo)記的圖像，現(xiàn)有的[3，4，6，7]借用在標(biāo)記數(shù)據(jù)上訓(xùn)練的模型的預(yù)測(cè)，并使用逐像素預(yù)測(cè)作為“ground-truth”，進(jìn)而提升監(jiān)督模型。自我訓(xùn)練[7]也可以叫作自我學(xué)習(xí)，也是使用這種方法。自我訓(xùn)練主要以經(jīng)過有標(biāo)簽數(shù)據(jù)訓(xùn)練出來的模型有極大可能性是正確的為前提。用標(biāo)簽數(shù)據(jù)訓(xùn)練一個(gè)教師模型，再使用教師模型生成的偽標(biāo)簽和有標(biāo)簽數(shù)據(jù)訓(xùn)練最終的模型。但是這種打偽標(biāo)簽法存在一個(gè)問題：即無論樣本被貼上的偽標(biāo)簽正確與否，這些標(biāo)簽都需要有很高的置信度。如果大量的無標(biāo)簽樣本被貼上錯(cuò)誤的標(biāo)簽并用作訓(xùn)練，將導(dǎo)致訓(xùn)練集中存在大量的噪聲樣本，從而嚴(yán)重影響模型的性能。SPNS方法使用UPS策略的自我訓(xùn)練和語義分割網(wǎng)絡(luò)結(jié)合，能夠在一定程度上降低偽標(biāo)簽的錯(cuò)誤率。

1? 本文方法介紹

1.1? 方法概述

給定一個(gè)標(biāo)記集? 和一個(gè)更大的未標(biāo)記數(shù)據(jù)集 ，本文的目標(biāo)是通過大量未標(biāo)記的數(shù)據(jù)和較小的標(biāo)記數(shù)據(jù)來完成半監(jiān)督語義分割任務(wù)。使用自我訓(xùn)練的打偽標(biāo)簽方法時(shí)，常常因?yàn)橘N上錯(cuò)誤的標(biāo)簽造成噪聲樣本，而迭代過程會(huì)大量增加噪聲樣本數(shù)量；同時(shí)使用標(biāo)準(zhǔn)損失函數(shù)的自我訓(xùn)練在迭代過程中，加入偽標(biāo)簽訓(xùn)練學(xué)生模型時(shí)可能會(huì)出現(xiàn)訓(xùn)練崩潰、無法收斂的情況。

結(jié)合兼顧Positive & Negative Pseudo Label的打偽標(biāo)簽法和UPS的自我訓(xùn)練框架，并結(jié)合不確定性估計(jì)（Uncertainty estimation）和消極學(xué)習(xí)（Negative learning），減少貼錯(cuò)標(biāo)簽情況的同時(shí)，挑選出可靠的偽標(biāo)簽。圖1給出了使用UPS策略自我訓(xùn)練的模型圖。它遵循自我訓(xùn)練框架，具有兩個(gè)框架相同的模型，分別命名為教師和學(xué)生。1）在標(biāo)記數(shù)據(jù)上訓(xùn)練教師模型。2）教師模型在未標(biāo)記的數(shù)據(jù)上生成偽標(biāo)簽，并使用UPS策略挑選偽標(biāo)簽。3）使用打上偽標(biāo)簽的數(shù)據(jù)和有標(biāo)注數(shù)據(jù)一起訓(xùn)練模型（重新隨機(jī)初始化），然后跳至步驟2）繼續(xù)執(zhí)行，直到循環(huán)迭代到最大迭代次數(shù)。

使用標(biāo)準(zhǔn)損失函數(shù)的自我訓(xùn)練可能是不穩(wěn)定的，為解決這個(gè)問題，本文使用一種損失歸一化技術(shù)α[7]：

（1）

其中Lh，Lp，， 分別為真實(shí)標(biāo)簽損失、偽標(biāo)簽損失和各自損失的滑動(dòng)平均值。

1.2? 兼顧Positive & Negative Pseudo Label的打偽標(biāo)簽法

傳統(tǒng)的偽標(biāo)簽方法，通常設(shè)定一個(gè)閾值，當(dāng)模型預(yù)測(cè)樣本屬于某類的概率超過閾值時(shí)，給樣本貼上相應(yīng)的偽標(biāo)簽并用于訓(xùn)練；或者，直接選取模型預(yù)測(cè)的最大概率所在的類作為偽標(biāo)簽，其公式如下：

（2）

其中? 為樣本x（i）關(guān)于第c類的偽標(biāo)簽， 為模型輸出的第c類的概率，γ為閾值。若偽標(biāo)簽的值域?yàn)閧0，1}，則該標(biāo)簽指示了樣本屬于或不屬于第c類即傳統(tǒng)C分類問題中的one-hot label形式，即可轉(zhuǎn)換為由該類標(biāo)簽組成的1×c維的標(biāo)簽：（i） = [，… ，… ]c。令? 指示樣本x（i）的偽標(biāo)簽是否被用作訓(xùn)練模型，g（i） = [，…，?{0，1}c，用卡閾值的方法生成Positive Pseudo Label（偽標(biāo)簽指示樣本屬于某類），當(dāng)然也可以用類似的方法生成Negative Pseudo Label（偽標(biāo)簽指示樣本不屬于某類）其計(jì)算公式為：

（3）

其中，τp和τn分別為Positive、Negative Pseudo Label的選取閾值（τp≥τn），這樣就得到了Negative Pseudo Labe。對(duì)于單標(biāo)簽分類任務(wù)來說，仿照只有Positive Pseudo Label時(shí)的交叉熵?fù)p失，可得到Negative Pseudo Labe的損失函數(shù)：

（4）

其中s（i）為樣本的偽標(biāo)簽數(shù)目， =? 為模型的原始輸出概率；進(jìn)一步融合Positive、Negative Pseudo Label的損失函數(shù)即可用于多分類任務(wù)：

（5）

1.3? UPS（基于不確定性的偽標(biāo)簽選擇法）

為了減少訓(xùn)練中存在的噪聲樣本，校正網(wǎng)絡(luò)模型的輸出。計(jì)算輸出值的不確定出值的不確定性[9]作為另一種置信度，和Softmax層輸出的概率聯(lián)合挑選可靠的偽標(biāo)簽樣本。

使用網(wǎng)絡(luò)模型預(yù)測(cè)的不確定性用作模型輸出的校正，需要分析網(wǎng)絡(luò)校正與模型對(duì)個(gè)體樣本輸出不確定性的關(guān)系。ECE（Expected Calibration Error）是一種衡量網(wǎng)絡(luò)校正的常用指標(biāo)：

（6）

數(shù)據(jù)集D被等分成L份，Il為第l份中的樣本。每份的校正偏差的均值，即可得到ECE的值。在參照MC dropout計(jì)算出網(wǎng)絡(luò)的不確定性之后。即可得出：打上標(biāo)簽時(shí)模型的不確定性越低，網(wǎng)絡(luò)校正的誤差越小，也就是說可以計(jì)算模型對(duì)每個(gè)樣本輸出的不確定性，來判斷該樣本的偽標(biāo)簽是否可靠。由此可仿照式（3）得到：

（7）

其中u（p）為預(yù)測(cè)結(jié)果p的不確定性估計(jì)值，kp、kn為不確定性的閾值。

1.4? SPNS方法

本文提出的SPNS方法由使用UPS策略的自我訓(xùn)練框架和語義分割網(wǎng)絡(luò)組成，其網(wǎng)絡(luò)框架如圖2所示。

圖2? SPNS整體框架

其中標(biāo)記數(shù)據(jù)的損失函數(shù)Lh為：

（8）

未標(biāo)記數(shù)據(jù)損失函數(shù)Lp為公式（5），預(yù)標(biāo)簽的損失函數(shù)為公式（1）中的 。公式（8）（5）（1）中的? 均為指示樣本x（i）的偽標(biāo)簽是否被用作訓(xùn)練模型。

2? 實(shí)驗(yàn)設(shè)置與對(duì)比分析

2.1? 實(shí)驗(yàn)設(shè)置

PASCAL VOC 2012數(shù)據(jù)集具有20個(gè)對(duì)象的語義類別和1個(gè)背景類別，非常適合完成語義分割任務(wù)。其訓(xùn)練集和驗(yàn)證集分別包括1 464和1 449張圖像。使用SBD作為具有9 118個(gè)額外訓(xùn)練圖像的增強(qiáng)集。由于SBD數(shù)據(jù)集是粗注釋，所以PseudoSeg[6]僅將標(biāo)準(zhǔn)的1 464張圖像作為整個(gè)標(biāo)記集，在經(jīng)典集（1 464個(gè)候選標(biāo)記圖像）和擴(kuò)展集（10 582個(gè)候選標(biāo)記圖像）上評(píng)估本文的方法。Cityscapes 是一個(gè)專為理解城市場(chǎng)景設(shè)計(jì)而設(shè)計(jì)的數(shù)據(jù)集，由2 975張帶有精細(xì)標(biāo)注掩碼的訓(xùn)練圖像和500張驗(yàn)證圖像組成。對(duì)于每個(gè)數(shù)據(jù)集，我們將1/2、1/4、1/8、1/16分區(qū)協(xié)議下SPNS與其他方法進(jìn)行比較。

網(wǎng)絡(luò)結(jié)構(gòu)本文采用具有EfficientNet-B7和EfficientNet-L2主干模型的NAS-FPN[1]模型架構(gòu)。SPNS采用的NAS-FPN模型使用7次重復(fù)的深度可分離卷積，P3到P7使用特征金字塔，并將所有特征級(jí)別上采樣到P2，然后通過求和操作將特征合并。在特征合并后應(yīng)用3層3×3卷積層再附加1×1的卷積層，以進(jìn)行21類的預(yù)測(cè)。EfficientNet-B7的學(xué)習(xí)率設(shè)置為0.08，Efficient-L2d的學(xué)習(xí)率為0.2，batch size為256，權(quán)重衰減為1×10-5。所有模型都使用余弦學(xué)習(xí)率衰減計(jì)劃進(jìn)行訓(xùn)練，并使用同步批量標(biāo)準(zhǔn)化。對(duì)于自我訓(xùn)練EfficientNet-B7 batch size為512，EfficientNet-L2為256。其他超參數(shù)遵循監(jiān)督訓(xùn)練中的超參數(shù)。此外，使用0.5的硬分?jǐn)?shù)閾值來生成分割掩碼。并將分?jǐn)?shù)較小的像素設(shè)置為忽略標(biāo)簽。最后，我們應(yīng)用具有（0.5、0.75、1、1.25、1.5、1.75）尺度的多尺度推理增強(qiáng)來計(jì)算偽標(biāo)記的分割掩碼。

評(píng)價(jià)指標(biāo)采用MIoU（Mean of Intersection Over Union ）作為度量評(píng)估這些裁剪的圖像。

在不同分區(qū)協(xié)議下經(jīng)典PASCAL VOC 2012 驗(yàn)證集上與其他先進(jìn)方法進(jìn)行比較。被標(biāo)記的圖像從VOC訓(xùn)練集中選擇，該訓(xùn)練集包含1 464個(gè)樣本。分?jǐn)?shù)表示百分比用于訓(xùn)練的標(biāo)記數(shù)據(jù)，然后是實(shí)際的圖像數(shù)量。來自SBD的所有圖像都被視為未標(biāo)記數(shù)據(jù)。“OnlySup”代表不使用任何未標(biāo)記數(shù)據(jù)訓(xùn)練。

2.2? 與現(xiàn)有方法的比較

將提出的SPNS方法和最近的半監(jiān)督語義分割方法MT[4]、CutMix[5]、MixMatch[10]、GAN進(jìn)行比較。所有方法都配備相同的網(wǎng)絡(luò)架構(gòu)（EfficientNet-B7、EfficientNet-L2作為主干）。經(jīng)典的PASCAL VOC 2012數(shù)據(jù)集與擴(kuò)展的PASCAL數(shù)據(jù)集僅在訓(xùn)練集存在差異，驗(yàn)證集是相同的1 449張圖像。如表1所示，在1/16、1/8、1/4、1/2分區(qū)協(xié)議下，本文方法與OnlySup相比表現(xiàn)分別提高了17.01%、13.33%、5.03%、3.07%；與PseudoSeg相比，分別提高了5.77%、1.65%、1.62%、2.33%。

表2是本文所提SPNS方法與其他方法在不同協(xié)議下PASCAL擴(kuò)展集上的比較，所有標(biāo)記圖像都是從PASCAL擴(kuò)展集中選擇的。OnlySup代表不使用任何未標(biāo)記數(shù)據(jù)情況下進(jìn)行監(jiān)督訓(xùn)練。

在PASCAL擴(kuò)展集上，SPNS方法均優(yōu)于其他的方法，如表2，與基線模型OnlySup（僅使用監(jiān)督數(shù)據(jù)訓(xùn)練）相比，在1/16、1/8、1/4、1/2分區(qū)協(xié)議實(shí)現(xiàn)了4.68%、2.66%、2.16%、2.47%的改進(jìn)；特別是在1/16和1/8分區(qū)協(xié)議下，SPNS方法的表現(xiàn)優(yōu)于MixMatch 2.4%和1.8%。

表3是SPNS方法與其他方法在不同協(xié)議下Cityscapes數(shù)據(jù)集上的比較，OnlySup代表不使用任何未標(biāo)記數(shù)據(jù)情況下進(jìn)行監(jiān)督訓(xùn)練。

表3是在Cityscapes數(shù)據(jù)集上的比較結(jié)果。SPNS方法在1/16、1/8、1/4、1/2分區(qū)協(xié)議優(yōu)于基線模型7.29%、8.06%、3.61%、3.23%；特別是優(yōu)于MixMatch的方法2.4%、1.8%、0.68%、1.03%。

3? 結(jié)? 論

本文設(shè)計(jì)了一種損失歸一化技術(shù)結(jié)合UPS策略的半監(jiān)督語義分割網(wǎng)絡(luò)：SPNS。利用兼顧Negative Learning技術(shù)的自我訓(xùn)練生成偽標(biāo)簽，同時(shí)使用一種歸一化技術(shù)解決訓(xùn)練過程中學(xué)生模型崩潰的問題，再使用結(jié)合不確定性估計(jì)和UPS策略，計(jì)算輸出值的不確定性作為另外一種置信度閾值，和softmax輸出概率一起挑選可靠偽標(biāo)簽，減少噪聲樣本，以解決大量噪聲樣本的問題，以提高半監(jiān)督語義分割的效果。與全監(jiān)督方法相比，SPNS的方法訓(xùn)練耗時(shí)較多，這是半監(jiān)督學(xué)習(xí)任務(wù)的常見缺點(diǎn)，由于極度缺乏標(biāo)簽，半監(jiān)督學(xué)習(xí)框架通常需要付出時(shí)間代價(jià)才能獲得更高的準(zhǔn)確性。

參考文獻(xiàn)：

[1] GHIASI G，LIN T Y，LE QV. NAS-FPN： Learning Scalable Feature Pyramid Architecture for Object Detection [C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Long Beach：IEEE，2019：7029-7038.

[2] EVERINGHAM M，G00L L，WILLIAMS C K.L，et al. The Pascal Visual Object Classes （VOC） Challenge [J].International Journal of Computer Vision，2010，88（2）：303-338.

[3] RIZVE M N，DUARTE K，RAWAT Y S，et al. In Defense of Pseudo-Labeling： An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [J/OL].arXiv：2101.06329 [cs.LG].[2023-08-28].https：//arxiv.org/abs/2101.06329.

[4] TARVAINEN A，VALPOLA H. Mean teachers are better role models： Weight-averaged consistency targets improve semi-supervised deep learning results [J/OL].arXiv：1703.01780 [cs.NE].[2023-08-28].https：//arxiv.org/abs/1703.01780.

[5] YUN S，HAN D，OH S J，et al. Cutmix： Regu- larization strategy to train strong classifiers with localizable features [J/OL].arXiv：1905.04899 [cs.CV].[2023-08-29].https：//arxiv.org/abs/1905.04899v1.

[6] ZOU Y L，ZHANG Z Z，ZHANG H，et al. Pseudoseg： Designing Pseudo Labels for Semantic Segmentation [EB/OL].[2023-08-28].https：//www.xueshufan.com/publication/3118629228.

[7] SOULY N，SPAMPINATO C，SHAH M. Semi Supervised Semantic Segmentation Using Generative Adversarial Network [C]//2017 IEEE international conference on computer vision.Venice：IEEE，2017：5689-5697.

[8] ZOPH B，GHIASI G，LIN T Y，et al. Rethinking Pre-training and Self-training [J/OL].[2023-08-29].https：//arxiv.org/abs/2006.06882v1.

[9] KIM Y，YIM J，YUN J，et al. Nlnl： Negative Learning for Noisy Labels [C]//2019 IEEE/CVF international conference on computer vision.Seoul：IEEE，2019：101-110.

[10] Berthelot D，Carlini N，Goodfellow L，et al. Mixmatch：A holistic approach to semi-supervised learning [C]//NIPS'19： Proceedings of the 33rd International Conference on Neural Information Processing Systems.Vancouver：Curran Associates Inc.，2019：5049–5059.

作者簡介：李雨杭（1998—），男，漢族，安徽蚌埠人，碩士研究生在讀，主要研究方向：半監(jiān)督語義分割；通訊作者：朱小東（1980—），男，漢族，安徽淮南人，講師，博士，主要研究方向：模式分類、圖像分割。