基于偽標(biāo)簽自細(xì)化的弱監(jiān)督實(shí)例分割

摘 要：大多數(shù)弱監(jiān)督實(shí)例分割方法利用類激活圖生成的偽標(biāo)簽以及多階段的訓(xùn)練策略，在實(shí)例分割上取得了不錯(cuò)的性能，但這些方法在檢出物體完整性上仍然面臨許多挑戰(zhàn)。針對(duì)上述問(wèn)題，提出了一種基于偽標(biāo)簽自細(xì)化的弱監(jiān)督實(shí)例分割方法（pseudo-label self-refinement，PLSR），即在訓(xùn)練過(guò)程不斷地利用網(wǎng)絡(luò)自身的結(jié)果篩選、聚合候選區(qū)域得到各分支的偽標(biāo)簽，保障并逐步提升偽標(biāo)簽的質(zhì)量，最終提高實(shí)例分割的性能。在Pascal VOC2012 和MS-COCO數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，與現(xiàn)有的弱監(jiān)督實(shí)例分割方法進(jìn)行對(duì)比，AP50分別提高了1.6%和1.9%。實(shí)驗(yàn)結(jié)果表明，偽標(biāo)簽自細(xì)化方法能夠有效利用候選區(qū)域的形狀信息以及網(wǎng)絡(luò)自身的語(yǔ)義信息提升偽標(biāo)簽的質(zhì)量并取得了良好的分割效果，最終提高了弱監(jiān)督實(shí)例分割的性能。

關(guān)鍵詞：實(shí)例分割；弱監(jiān)督學(xué)習(xí)；圖像級(jí)別標(biāo)注；視覺(jué)理解

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2023）06-045-1882-06

doi：10.19734/j.issn.1001-3695.2022.10.0477

PLSR：weakly supervised instance segmentation via pseudo-label self-refinement

Wu Shike，Liang Yuqi

（School of Automation Science amp; Engineering，South China University of Technology，Guangzhou 510641，China）

Abstract：Most weakly supervised instance segmentation（WSIS） methods have achieved decent performance in instance segmentation by leveraging the pseudo-labels generated from class activation maps and the multi-stage training strategies.Howe-ver，these WSIS methods still face many challenges in detecting complete object.To solve the above problems，this paper proposed a WSIS method based on pseudo-label self-refinement（PLSR），which continuously refined the pseudo-labels of each branch by filtering and aggregating the proposals through its own results during the training process，ensuring and gradually improving the quality of pseudo-labels，and finally improving the performance of instance segmentation.The experiments wereconducted on the Pascal VOC2012 and MS-COCO datasets，and comparing with existing WSIS methods on two datasets，the AP50 was improved by 1.6% and 1.9%，respectively.Experimental results show that the PLSR scheme can effectively utilize the shape information of the proposals and the semantic information of the network itself to improve the quality of pseudo-labels and achieve decent segmentation results，which finally improves the performance of WSIS.

Key words：instance segmentation;weakly supervised learning;image-level label;visual understanding

0 引言

實(shí)例分割是計(jì)算機(jī)視覺(jué)領(lǐng)域中最重要也是最具挑戰(zhàn)的任務(wù)之一。隨著深度卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，在大量像素級(jí)別標(biāo)注的數(shù)據(jù)驅(qū)動(dòng)下，基于深度學(xué)習(xí)的實(shí)例分割方法已經(jīng)取得了很高的可靠性。其中，Mask R-CNN［1］在 Faster R-CNN［2］的基礎(chǔ)上，在每個(gè)候選的目標(biāo)區(qū)域中引入語(yǔ)義分割任務(wù)，通過(guò)先檢測(cè)再分割的架構(gòu)完成實(shí)例分割任務(wù)。YOLACT［3］則在一階段目標(biāo)檢測(cè)方法的基礎(chǔ)上，將實(shí)例分割任務(wù)劃分為兩個(gè)并行的子任務(wù)，即預(yù)測(cè)每幅圖像多個(gè)原型掩碼的生成以及不同原型掩碼對(duì)最終結(jié)果貢獻(xiàn)的線性組合系數(shù)。PolarMask［4］則利用極坐標(biāo)對(duì)實(shí)例分割掩碼進(jìn)行建模，將實(shí)例分割問(wèn)題轉(zhuǎn)換為與目標(biāo)檢測(cè)一樣復(fù)雜的分類以及回歸問(wèn)題，即實(shí)現(xiàn)對(duì)實(shí)例中心點(diǎn)的分類以及密集的距離回歸。與YOLO［5］類似，SOLO［6］將圖像劃分為S×S個(gè)網(wǎng)格，利用網(wǎng)格的位置來(lái)區(qū)分不同的實(shí)例，將實(shí)例分割問(wèn)題轉(zhuǎn)換為兩個(gè)并行的子任務(wù)，即物體位置語(yǔ)義類別的預(yù)測(cè)以及該位置相應(yīng)掩碼的生成。

盡管這些實(shí)例分割方法已經(jīng)取得了不錯(cuò)的分割性能，但這些深度模型的良好性能很大程度上依賴于大規(guī)模的訓(xùn)練數(shù)據(jù)以及昂貴的像素級(jí)別標(biāo)記［7］。據(jù)Bearman等人［8］的調(diào)查數(shù)據(jù)顯示，對(duì)一張圖片包含的物體類別進(jìn)行標(biāo)注需要20 s，對(duì)物體進(jìn)行邊界框標(biāo)注則需要38.1 s，對(duì)物體的分割掩碼進(jìn)行標(biāo)注則需要239.7 s。這是將實(shí)例分割算法應(yīng)用于各個(gè)現(xiàn)實(shí)應(yīng)用領(lǐng)域中的一個(gè)重大瓶頸。因此，為解決像素級(jí)別標(biāo)注數(shù)據(jù)成本高的問(wèn)題，在弱監(jiān)督條件下進(jìn)行實(shí)例分割這一任務(wù)應(yīng)運(yùn)而生。

近年來(lái)，出現(xiàn)了一些基于圖像級(jí)別標(biāo)注的弱監(jiān)督實(shí)例分割工作。這些工作可以大致劃分為兩類，即自頂向下和自底向上的弱監(jiān)督實(shí)例分割方法。其中，自頂向下的弱監(jiān)督實(shí)例分割方法遵循先檢測(cè)再分割的架構(gòu)。Label-PEnet［9］將弱監(jiān)督實(shí)例分割問(wèn)題轉(zhuǎn)換為由弱標(biāo)簽向強(qiáng)標(biāo)簽逐步轉(zhuǎn)換的問(wèn)題，即通過(guò)四個(gè)級(jí)聯(lián)模塊實(shí)現(xiàn)分類到目標(biāo)檢測(cè)最終到實(shí)例分割逐級(jí)跨越，并利用兩階段的訓(xùn)練方式對(duì)圖像的實(shí)例信息進(jìn)行反復(fù)挖掘與優(yōu)化。CL［10］則將弱監(jiān)督實(shí)例分割問(wèn)題轉(zhuǎn)換為弱監(jiān)督目標(biāo)檢測(cè)以及相應(yīng)實(shí)例掩碼生成問(wèn)題，利用CAM［11］為目標(biāo)檢測(cè)的結(jié)果產(chǎn)生掩碼級(jí)別的偽標(biāo)簽。

自底向上的弱監(jiān)督實(shí)例分割方法則利用分類網(wǎng)絡(luò)中提供的位置線索挖掘出與實(shí)例相關(guān)的信息。PRM［12］和IAM［13］通過(guò)反向傳播類別響應(yīng)圖的峰值點(diǎn)提取實(shí)例的視覺(jué)線索，即峰值響應(yīng)圖（peak response map，PRM）。其中，PRM則利用啟發(fā)式的匹配方法為候選區(qū)域評(píng)分，IAM則利用圖論的方法為PRM生成相應(yīng)的實(shí)例掩碼。WISE［14］利用PRM生成的實(shí)例掩碼作為全監(jiān)督網(wǎng)絡(luò)Mask R-CNN的偽標(biāo)簽，證實(shí)了Mask R-CNN對(duì)不準(zhǔn)確的標(biāo)簽具有修正作用，進(jìn)一步提升了弱監(jiān)督實(shí)例分割算法的性能。Arun等人［15］認(rèn)為WISE生成偽標(biāo)簽時(shí)沒(méi)有考慮偽標(biāo)簽類別與圖像類別之間的一致性，于是設(shè)計(jì)了條件網(wǎng)絡(luò)建模偽標(biāo)簽生成時(shí)的不確定性。IRNet［16］則考慮近鄰像素點(diǎn)之間的關(guān)系，以CAM為監(jiān)督信息預(yù)測(cè)每個(gè)實(shí)例的中心以及不同實(shí)例間的邊界，利用像素間的相似度以及實(shí)例邊界進(jìn)行隨機(jī)游走，從而得到與實(shí)例中心相匹配的實(shí)例分割結(jié)果。BESTIE［17］則設(shè)計(jì)一個(gè)模塊抑制CAM中的局部極值點(diǎn)，得到能夠模擬點(diǎn)標(biāo)注的峰值注意力圖（peak attention map，PAM），并設(shè)計(jì)了一種由語(yǔ)義分割到實(shí)例分割的知識(shí)遷移方法，利用先進(jìn)的弱監(jiān)督語(yǔ)義分割結(jié)果得到高質(zhì)量的實(shí)例中心以及邊界形狀信息。Fan等人［18］利用分類網(wǎng)絡(luò)以及CAM提取候選區(qū)域的語(yǔ)義特征并賦予其相應(yīng)的類別概率，通過(guò)圖分割算法為候選區(qū)域賦予偽標(biāo)簽。LIID［19］則利用CAM作為多示例學(xué)習(xí)網(wǎng)絡(luò)的監(jiān)督信息，通過(guò)網(wǎng)絡(luò)學(xué)習(xí)得到候選區(qū)域的類別概率分布以及語(yǔ)義特征信息，從而構(gòu)建一個(gè)大型無(wú)向圖，再進(jìn)一步通過(guò)圖分割算法為候選區(qū)域分配準(zhǔn)確的偽標(biāo)簽，逐步地挖掘了圖像、實(shí)例以及數(shù)據(jù)集的信息。WS-RCNN［20］則將CAM中的峰值點(diǎn)作為區(qū)分不同實(shí)例的線索，考慮峰值點(diǎn)與候選區(qū)域之間的空間關(guān)系，提出了一種簡(jiǎn)單且高效的偽標(biāo)簽分配方法。

大多數(shù)弱監(jiān)督實(shí)例分割方法利用CAM生成的偽標(biāo)簽以及多階段的訓(xùn)練策略，在實(shí)例分割上取得了不錯(cuò)的性能，但這些方法在檢出物體的完整性上仍然面臨許多的挑戰(zhàn)。主要原因有以下兩方面：a）CAM傾向于關(guān)注物體的小判別區(qū)域，如臉部、車輪、軌道等判別性的特征；b）CAM在復(fù)雜的背景等情況下，很難準(zhǔn)確地定位目標(biāo)物體。其中，

a）導(dǎo)致算法關(guān)注物體判別性區(qū)域的主要原因，b）則會(huì)給網(wǎng)絡(luò)的訓(xùn)練帶來(lái)不必要的噪聲。圖1中展示了一些相關(guān)的例子，可以看出相較于CAM，本文方法能夠檢出更完整的物體。此外，針對(duì)一些與類別高度相關(guān)的背景區(qū)域，如軌道、湖面等，本文方法也能夠較好地抑制這些背景區(qū)域。

針對(duì)上述問(wèn)題，本文提出了一種基于偽標(biāo)簽自細(xì)化的弱監(jiān)督實(shí)例分割方法（pseudo-label self-refinement，PLSR）。PLSR是在線的偽標(biāo)簽自細(xì)化方法，無(wú)須額外的候選區(qū)域預(yù)處理［15，19］操作。方法包含偽標(biāo)簽自細(xì)化機(jī)制以及分割分支與分類分支這兩個(gè)協(xié)同合作的模塊。偽標(biāo)簽自細(xì)化機(jī)制是兩個(gè)分支協(xié)同合作的基礎(chǔ)，其利用網(wǎng)絡(luò)自己產(chǎn)生的結(jié)果篩選屬于前景的候選區(qū)域并聚合成最終不同分支的監(jiān)督源。分類分支利用其最高置信度的檢出物體引導(dǎo)偽標(biāo)簽自細(xì)化機(jī)制為分割分支生成相應(yīng)監(jiān)督源；分割分支則利用其語(yǔ)義分割結(jié)果引導(dǎo)偽標(biāo)簽自細(xì)化機(jī)制為分類分支生成相應(yīng)的監(jiān)督源。因此，為了保證偽標(biāo)簽的質(zhì)量并防止網(wǎng)絡(luò)退化，偽標(biāo)簽自細(xì)化機(jī)制以及兩個(gè)分支的損失函數(shù)計(jì)算中均考慮了網(wǎng)絡(luò)自身對(duì)輸出結(jié)果的置信度。網(wǎng)絡(luò)的訓(xùn)練由圖像級(jí)別的標(biāo)簽驅(qū)動(dòng)。在網(wǎng)絡(luò)訓(xùn)練的早期，主要由分類分支引導(dǎo)分割分支，分割分支則由背景類別中大量的負(fù)樣本主導(dǎo)，避免分割分支被早期不準(zhǔn)確的偽標(biāo)簽誤導(dǎo)。此外，只有兩個(gè)分支共同確認(rèn)某一候選區(qū)域可能屬于前景時(shí)，該候選區(qū)域才參與分類分支監(jiān)督源的生成，這在一定程度上保證了偽標(biāo)簽的質(zhì)量。因此，PLSR能夠在網(wǎng)絡(luò)訓(xùn)練過(guò)程中保證并不斷提高偽標(biāo)簽的分配質(zhì)量。

1 本文方法

1.1 方法框架

1.2 偽標(biāo)簽自細(xì)化

1.3 分類分支

1.4 分割分支

本文提出使用一個(gè)分割子網(wǎng)絡(luò)，記憶訓(xùn)練過(guò)程中從分類網(wǎng)絡(luò)篩選后得到的候選區(qū)域的形狀信息。通過(guò)偽標(biāo)簽自細(xì)化機(jī)制，讓分割網(wǎng)絡(luò)逐步關(guān)注到更完整的物體。其中，分割頭的設(shè)計(jì)與文獻(xiàn)［21，22］中產(chǎn)生CAM的結(jié)構(gòu)保持一致，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。其中，卷積層的通道數(shù)分別為512、512、512以及類別數(shù)C。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)設(shè)置

1）數(shù)據(jù)集 本文在PASCAL VOC2012［23］和MS-COCO［24］數(shù)據(jù)集上對(duì)提出的方法進(jìn)行了評(píng)測(cè)。VOC2012數(shù)據(jù)集共包含20個(gè)前景類別，本文遵循PRM［12］的設(shè)置，使用10 582張訓(xùn)練圖像來(lái)訓(xùn)練網(wǎng)絡(luò)，使用1 449張驗(yàn)證圖像來(lái)評(píng)測(cè)提出的方法和基準(zhǔn)模型。MS-COCO一共包含80個(gè)前景類別，本文在115k的訓(xùn)練圖像上訓(xùn)練弱監(jiān)督實(shí)例分割模型，并在20k測(cè)試圖像上對(duì)模型進(jìn)行評(píng)測(cè)。值得注意的是，本文方法在訓(xùn)練過(guò)程中僅使用圖像的類別標(biāo)注。

2）實(shí)現(xiàn)細(xì)節(jié) 在訓(xùn)練過(guò)程中，PLSR遵循PRM的設(shè)置，采用帶有COB信號(hào)［25］的MCG［26］算法為每張圖像生成200個(gè)候選區(qū)域。實(shí)驗(yàn)使用 PyTorch 深度學(xué)習(xí)框架實(shí)現(xiàn)基于偽標(biāo)簽自細(xì)化的弱監(jiān)督實(shí)例分割模型。模型使用的骨干網(wǎng)絡(luò)為VGG16［27］。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，使用四張圖像的小批量運(yùn)行SGD優(yōu)化算法，優(yōu)化算法的初始學(xué)習(xí)率、權(quán)重衰減率和動(dòng)量分別設(shè)置為10-3、5×10-4和0.9。偽標(biāo)簽則在每個(gè)小批量的迭代過(guò)程中實(shí)時(shí)地更新與分配。其余的超參數(shù)設(shè)置、模型結(jié)構(gòu)、損失函數(shù)以及數(shù)據(jù)流則遵循方法介紹中提及的細(xì)節(jié)。此外，實(shí)驗(yàn)均在搭載有Ubuntu 18.04 OS操作系統(tǒng)、Intel Xeon E5-2620 CPU、256 GB內(nèi)存的RAM以及四塊NVIDIA Titan XP GPU的服務(wù)器上完成。對(duì)于VOC2012數(shù)據(jù)集，網(wǎng)絡(luò)一共迭代3×104次，并在第2×104次迭代時(shí)將學(xué)習(xí)率下降為10-4。對(duì)MS-COCO數(shù)據(jù)集，網(wǎng)絡(luò)一共迭代1.2×105次，并在第8×104次迭代時(shí)將學(xué)習(xí)率降為10-4。在訓(xùn)練的過(guò)程中，對(duì)輸入圖像進(jìn)行水平翻轉(zhuǎn)，隨機(jī)水平翻轉(zhuǎn)的概率為0.5。此外，訓(xùn)練以及測(cè)試時(shí)，圖像的輸入尺寸均為480×480。Mask R-CNN的訓(xùn)練則遵循默認(rèn)設(shè)置，采用骨干網(wǎng)絡(luò)ResNet50-FPN［28，29］并在MMdetection［30］平臺(tái)上進(jìn)行訓(xùn)練和測(cè)試。

3）評(píng)價(jià)指標(biāo) 對(duì)于實(shí)例分割的評(píng)測(cè)指標(biāo)，本文遵循PRM［12］采用在 IoU 閾值為0.25、0.5和 0.75下基于掩碼的平均精度（average precision，AP）指標(biāo)。其中，本文以AP50作為主要的評(píng)價(jià)指標(biāo)。

2.2 與現(xiàn)有方法的對(duì)比分析

為了驗(yàn)證PLSR的有效性，本文與現(xiàn)有的弱監(jiān)督實(shí)例分割方法進(jìn)行了比較。表1和2分別展示了不同的方法在VOC2012以及MS-COCO數(shù)據(jù)集上的實(shí)例分割性能。可以看出，PLSR在兩個(gè)數(shù)據(jù)集上均取得了最好的性能。與直接利用CAM為候選區(qū)域賦予偽標(biāo)簽的方法LIID［19］相比，PLSR在兩個(gè)數(shù)據(jù)集中的各項(xiàng)度量指標(biāo)均優(yōu)于LIID，以度量指標(biāo)AP50為標(biāo)準(zhǔn)，在VOC2012數(shù)據(jù)集中提升了4.2%，在MS-COCO數(shù)據(jù)集中則提升了2.8%。這表明了顯式地利用候選區(qū)域的空間形狀等信息的偽標(biāo)簽自細(xì)化機(jī)制以及其產(chǎn)生的高質(zhì)量偽標(biāo)簽在弱監(jiān)督實(shí)例分割應(yīng)用中的有效性。與目前最先進(jìn)的方法BESTIE［17］比較，以度量指標(biāo)AP50為標(biāo)準(zhǔn)，PLSR在VOC2012和MS-"COCO數(shù)據(jù)集中分別提升了1.6%、1.9%。弱監(jiān)督語(yǔ)義分割方法注重對(duì)物體分割的完整性［21～23］， BESTIE在先進(jìn)的弱監(jiān)督語(yǔ)義分割結(jié)果的基礎(chǔ)上引入了區(qū)分不同實(shí)例的線索，因此其在物體完整性檢測(cè)上取得了較好的結(jié)果，但BESTIE在區(qū)分同類相鄰實(shí)例上的效果并不理想。圖4展示了不同方法在VOC2012數(shù)據(jù)集上得到的實(shí)例分割結(jié)果。可以看出，相較于IRNet和LIID這兩種以CAM為偽標(biāo)簽的方法，PLSR的實(shí)例分割結(jié)果在物體完整性上取得了較好的結(jié)果。與目前最先進(jìn)的方法BESTIE相比，本文方法在物體完整性的檢測(cè)上能夠取得與之相近的結(jié)果（圖4中第1、4和6行），但在一張圖像上存在多個(gè)同類相鄰實(shí)例的情況下本文方法能夠取得較好的結(jié)果（圖4中第2、3和5行）。值得說(shuō)明的是，PLSR在兩個(gè)數(shù)據(jù)集上均采用相同的超參數(shù)設(shè)置。在兩個(gè)數(shù)據(jù)集上的良好結(jié)果表明，所提方法在不同數(shù)據(jù)集上的表現(xiàn)具有一定的魯棒性。

2.3 消融實(shí)驗(yàn)

PLSR在兩個(gè)數(shù)據(jù)集中均有良好的實(shí)驗(yàn)結(jié)果，很大程度上是因?yàn)樵摽蚣苤嘘P(guān)鍵組件的作用。因此，為了進(jìn)一步驗(yàn)證這些關(guān)鍵組件的作用，本節(jié)設(shè)計(jì)了一系列的消融實(shí)驗(yàn)。為了方便分析并節(jié)約時(shí)間以及計(jì)算成本，所有的消融實(shí)驗(yàn)遵循上述提及的實(shí)現(xiàn)細(xì)節(jié)且跳過(guò)Mask R-CNN后處理階段。

2.3.1 不同約束項(xiàng)的重要性

2.3.2 偽標(biāo)簽自細(xì)化機(jī)制的重要性

為了驗(yàn)證偽標(biāo)簽自細(xì)化機(jī)制的重要性，本文在VOC2012數(shù)據(jù)集上，以評(píng)價(jià)指標(biāo)AP50為基準(zhǔn)考慮以下四種不同的偽標(biāo)簽分配策略對(duì)實(shí)例分割性能的影響。

策略1 利用事先訓(xùn)練得到的CAM代替分割分支的結(jié)果。對(duì)目標(biāo)類別，只考慮該類別的CAM與候選區(qū)域之間的空間關(guān)系，即滿足式（1）或式（6）的候選區(qū)域均可聚合得到最終的輔助掩碼，其余步驟均保持不變。

策略2 利用事先訓(xùn)練得到的CAM代替分割分支的結(jié)果，其余步驟均保持不變。

策略3 對(duì)于目標(biāo)類別c，在經(jīng)篩選過(guò)的候選區(qū)域中，更改式（3）以及式（4）的操作，只考慮候選區(qū)域集合中置信度最高的候選區(qū)域，并將其作為輔助掩碼，其余步驟均保持不變。

策略4 篩選的候選區(qū)域只考慮空間關(guān)系，不考慮網(wǎng)絡(luò)賦予候選區(qū)域的類別信息。即滿足式（1）或式（6）的候選區(qū)域均可聚合得到最終的輔助掩碼，其余步驟均保持不變。

不同偽標(biāo)簽分配策略下算法的實(shí)例分割性能如表4所示。可以發(fā)現(xiàn)，相較于利用傳統(tǒng)的CAM為候選區(qū)域分配偽標(biāo)簽，本文方法取得了更具競(jìng)爭(zhēng)力的結(jié)果（43.1% v.s. 37.3%），這是因?yàn)楸疚姆椒ㄖ械姆指罘种軌蜿P(guān)注更完整的目標(biāo)物體。以分割性能指標(biāo)平均交并比（mean intersection-over-union，mIoU）為基準(zhǔn)，本文方法在VOC2012訓(xùn)練集上產(chǎn)生的偽標(biāo)簽最終達(dá)到了61.0%，CAM則為40.8%；利用式（3）（4）的操作考慮候選區(qū)域之間的空間關(guān)系，能夠得到更為精確的輔助掩碼，進(jìn)而提升實(shí)例分割的效果（43.1% v.s. 39.0%）；將網(wǎng)絡(luò)自身對(duì)候選區(qū)域的分類結(jié)果用于偽標(biāo)簽的生成過(guò)程，對(duì)實(shí)例分割的結(jié)果同樣有著積極的影響（43.1% v.s. 41.9%、37.3% v.s. 35.7%），這是因?yàn)樵搨螛?biāo)簽生成過(guò)程的同時(shí)考慮了網(wǎng)絡(luò)對(duì)候選區(qū)域和圖像像素的預(yù)測(cè)結(jié)果，一定程度上避免了噪聲的干擾。

圖5展示了不同訓(xùn)練時(shí)期，分割分支的結(jié)果以及分割分支為分類分支分配的偽標(biāo)簽。在網(wǎng)絡(luò)訓(xùn)練的早期，分類分支由式（10）主導(dǎo)。因此，分類分支并未給分割分支足夠多高質(zhì)量的正樣本，此時(shí)，分割分支在訓(xùn)練早期由式（13）主導(dǎo)。故分割分支對(duì)圖像的響應(yīng)較低且不準(zhǔn)確，并不足以為分類分支分配偽標(biāo)簽，即圖5（b）中展示的第5 000次小批量迭代時(shí)網(wǎng)絡(luò)的可視化結(jié)果。圖5（b）～（g）則展示了當(dāng)分割分支逐漸從分割分支分配的偽標(biāo)簽中學(xué)習(xí)到更為細(xì)致且準(zhǔn)確的像素理解時(shí)，即可為分類分支分配相應(yīng)的偽標(biāo)簽，為候選區(qū)域賦予實(shí)例級(jí)的偽標(biāo)簽。兩個(gè)分支不斷交互、相互促進(jìn)，更新并細(xì)化偽標(biāo)簽，使網(wǎng)絡(luò)能夠隨著網(wǎng)絡(luò)的訓(xùn)練，逐步關(guān)注到更為完整的物體。

2.3.3 不同平滑權(quán)重的影響

不同平滑策略下算法的實(shí)例分割性能如表5所示。對(duì)比不同的策略以及相應(yīng)的實(shí)例分割結(jié)果可以發(fā)現(xiàn)，引入一定量合理的人為設(shè)定負(fù)樣本（43.1% v.s. 41.5%、42.2% v.s. 40.5%）以及考慮網(wǎng)絡(luò)自身對(duì)圖像像素前景語(yǔ)義類別的分類置信度（43.1% v.s. 42.2%、41.5% v.s. 40.5%），對(duì)偽標(biāo)簽自細(xì)化以及最終的實(shí)例分割結(jié)果均有積極的影響。

2.4 錯(cuò)誤模式

盡管PLSR在弱監(jiān)督實(shí)例分割上取得了較好的結(jié)果，但仍然存在一些問(wèn)題，同樣地也存在較大的提升空間。圖6展示了一些算法中的典型錯(cuò)誤模式。從圖6（a）可以看出，當(dāng)不同實(shí)例之間相鄰或重疊時(shí)PLSR容易將其判斷為一個(gè)實(shí)例；圖6（b）和（c）則表示，當(dāng)物體被遮擋或者物體的不同部分聯(lián)系不緊密時(shí)PLSR容易將該實(shí)例判斷為多個(gè)實(shí)例。考慮物體或候選區(qū)域邊界的連續(xù)性和一致性是一個(gè)可行的方向，有待進(jìn)一步的探索。同樣地，上述現(xiàn)象在不同的類別中表現(xiàn)的結(jié)果均不一致，利用先驗(yàn)知識(shí)并針對(duì)不同的類別設(shè)計(jì)合理的、自適應(yīng)的偽標(biāo)簽生成機(jī)制也是一個(gè)可行的方向。

3 結(jié)束語(yǔ)

本文提出了一種基于偽標(biāo)簽自細(xì)化的弱監(jiān)督實(shí)例分割方法。該方法旨在得到高質(zhì)量的偽標(biāo)簽，并利用該偽標(biāo)簽引導(dǎo)實(shí)例分割的結(jié)果。實(shí)驗(yàn)結(jié)果以及消融實(shí)驗(yàn)的結(jié)果均有效證明了偽標(biāo)簽自細(xì)化策略在弱監(jiān)督實(shí)例分割上的有效性。然而，只依靠圖像類別標(biāo)簽實(shí)現(xiàn)實(shí)例分割，離不開(kāi)不同形式的偽標(biāo)簽分配。因此，如何設(shè)計(jì)合理的偽標(biāo)簽生成方式，如何保證偽標(biāo)簽的質(zhì)量或如何在含有噪聲的標(biāo)簽中學(xué)習(xí)到有效的信息、防止網(wǎng)絡(luò)過(guò)度擬合噪聲標(biāo)簽也是弱監(jiān)督實(shí)例分割中一個(gè)重要的方向，需要進(jìn)一步探索。

參考文獻(xiàn)：

［1］He Kaiming，Gkioxari G，Dollár P，et al.Mask R-CNN［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：2980-2988.

［2］Ren Shaoqing，He Kaiming，Girshick R，et al.Faster R-CNN：towards real-time object detection with region proposal networks［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

［3］Bolya D，Zhou Chong，Xiao Fanyi，et al.YOLACT：real-time instance segmentation［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：9156-9165.

［4］Xie Enze，Sun Peize，Song Xiaoge，et al.PolarMask：single shot instance segmentation with polar representation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：12190-12199.

［5］Redmon J，Divvala S，Girshick R，et al.You only look once：unified，real-time object detection［C］//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：779-788.

［6］Wang Xinlong，Zhang Rufeng，Shen Chunhua，et al.SOLO：a simple framework for instance segmentation［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2022，44（11）：8587-8601.

［7］任冬偉，王旗龍，魏云超，等.視覺(jué)弱監(jiān)督學(xué)習(xí)研究進(jìn)展［J］.中國(guó)圖像圖形學(xué)報(bào)，2022，27（6）：1768-1798.（Ren Dongwei，Wang Qilong，Wei Yunchao，et al.Progress in weakly supervised learning for visual understanding［J］.Journal of Image and Graphics，2022，27（6）：1768-1798.）

［8］Bearman A，Russakovsky O，F(xiàn)errari V，et al.What’s the point：semantic segmentation with point supervision［C］//Proc of European Conference on Computer Vision.Cham：Springer，2016：549-565.

［9］Ge Weifeng，Huang Weilin，Guo Sheng，et al.Label-PEnet：sequential label propagation and enhancement networks for weakly supervised instance segmentation［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：3344-3353.

［10］Hwang J，Kim S，Son J，et al.Weakly supervised instance segmentation by deep community learning［C］//Proc of IEEE Winter Conference on Applications of Computer Vision.Piscataway，NJ：IEEE Press，2021：1019-1028.

［11］Zhou Bolei，Khosla A，Lapedriza A，et al.Learning deep features for discriminative localization［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：2921-2929.

［12］Zhou Yanzhao，Zhu Yi，Ye Qixiang，et al.Weakly supervised instance segmentation using class peak response［C］//Proc of IEEE/CVF Con-ference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：3791-3800.

［13］Zhu Yi，Zhou Yanzhao，Xu Huijuan，et al.Learning instance activation maps for weakly supervised instance segmentation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：3111-3120.

［14］Laradji I H，Zquez D V A，Schmidt M.Where are the masks：instance segmentation with image-level supervision［C］//Proc of British Machine Vision Conference.［S.l.］：BMVA Press，2019：1-13.

［15］Arun A，Jawahar C V，Kumar M P.Weakly supervised instance segmentation by learning annotation consistent instances［C］//Proc of Euro-pean Conference on Computer Vision.Cham：Springer，2020：254-270.

［16］Ahn J，Cho S，Kwak S.Weakly supervised learning of instance segmentation with inter-pixel relations［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：2204-2213.

［17］Kim B，Yoo Y，Rhee C E，et al.Beyond semantic to instance segmen-tation：weakly-supervised instance segmentation via semantic know-ledge transfer and self-refinement［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2022：4278-4287.

［18］Fan Ruochen，Hou Qibin，Cheng Mingming，et al.Associating inter-image salient instances for weakly supervised semantic segmentation［C］//Proc of European Conference on Computer Vision.Cham：Springer，2018：367-383.

［19］Liu Yun，Wu Yuhan，Wen Peisong，et al.Leveraging instance，image and dataset-level information for weakly supervised instance segmentation［J］.IEEE Trans on Pattern Analysis and Machine Intel-ligence，2022，44（3）：1415-1428.

［20］Ou Jiarong，Deng Shule，Yu Jingang.WS-RCNN：learning to score proposals for weakly supervised instance segmentation［J］.Sensors，2021，21（10）：3475.

［21］Jiang Pengtao，Han Linghao，Hou Qibin，et al.Online attention accumulation for weakly supervised semantic segmentation［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2022，44（10）：7062-7077.

［22］Kim B，Han S，Kim J.Discriminative region suppression for weakly-supervised semantic segmentation［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2021：1754-1761.

［23］Everingham M，Eslami S M A，Van Gool L，et al.The PASCAL visual object classes challenge：a retrospective［J］.International Journal of Computer Vision，2015，111（1）：98-136.

［24］Lin T Y，Maire M，Belongie S J，et al.Microsoft COCO：common objects in context［C］//Proc of European Conference on Computer Vision.Cham：Springer，2014：740-755.

［25］Maninis K，Pont-Tuset J，Arbeláez P，et al.Convolutional oriented boundaries：from image segmentation to high-level tasks［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2018，40（4）：819-833.

［26］Pont-Tuset J，Arbeláez P，Barron J T，et al.Multiscale combinatorial grouping for image segmentation and object proposal generation［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2017，39（1）：128-140.

［27］Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition［EB/OL］.（2014）［2022-10-05］.https：//arxiv.org/pdf/1409.1556.pdf.

［28］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Deep residual learning for image recognition［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：770-778.

［29］Lin T，Dollár P，Girshick R，et al.Feature pyramid networks for object detection［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：936-944.

［30］Chen Kai，Wang Jiaqi，Pang Jiangmiao，et al.MMDetection：open MMLab detection toolbox and benchmark［EB/OL］.（2019）［2022-10-05］.https：//arxiv.org/pdf/1906.07155.pdf.

［31］羅會(huì)蘭，陳虎.弱監(jiān)督語(yǔ)義分割的對(duì)抗學(xué)習(xí)方法［J］.計(jì)算機(jī)應(yīng)用研究，2021，38（10）：3196-3200.（Luo Huilan，Chen Hu.Adversa-rial learning method for weakly supervised semantic segmentation［J］.Application Research of Computers，2021，38（10）：3196-3200.）