多尺度特征融合技術(shù)在弱信息圖像分割的運用

殷梓YIN Zi

（南京信息工程大學(xué)，南京 210044）

0 引言

近年來隨著卷積神經(jīng)網(wǎng)絡(luò)的飛速發(fā)展，基于全信息學(xué)習(xí)的語義分割網(wǎng)絡(luò)在性能上取得了顯著的提升。然而語義分割任務(wù)所需要的數(shù)據(jù)標(biāo)注往往需要耗費大量的人力和時間成本，這成為其技術(shù)發(fā)展最主要的限制因素，弱信息語義分割方法應(yīng)運而生，該方法只需類別標(biāo)簽的前提下完成語義分割的任務(wù)。本文設(shè)計了一個多尺度類激活圖學(xué)習(xí)機制，該機制考慮了類激活圖與特征圖之間的學(xué)習(xí)。其機制中的多尺度注意力學(xué)習(xí)算法將生成不同尺度特征圖與原尺寸類激活圖學(xué)習(xí)得到的類激活圖。同時，本文還進(jìn)行了一系列的消融對比研究。實驗結(jié)果表明，該方法在定性和定量上都優(yōu)于許多現(xiàn)有模型。總的來說，本文的主要貢獻(xiàn)可歸納如下：①提出了一種新的多尺度類激活圖學(xué)習(xí)機制（Multi-scale class activation mapping learning mechanism，MCAM），通過機制進(jìn)行多尺度類激活圖結(jié)合。②多尺度注意力學(xué)習(xí)算法（Multi-scale attention learning algorithm，MA），來提高類激活圖中對前景的挖掘能力。

1 網(wǎng)絡(luò)結(jié)構(gòu)

本文的網(wǎng)絡(luò)模型如圖1，采用了多尺度圖片輸入，其分別是原尺寸圖片，原尺寸圖片的0.5 倍，原尺寸圖片的1.5 倍，將三種尺寸圖片輸入進(jìn)模塊1，模塊1 將得到對應(yīng)的一系列類激活圖的輸出，具體的類激活圖生成過程將在本文的下一節(jié)進(jìn)行詳細(xì)說明。

圖1 模型結(jié)構(gòu)總示意圖

1.1 多尺度類激活圖學(xué)習(xí)機制

特征圖與類激活圖之間存在的特征信息在弱信息語義分割任務(wù)中具有重要意義。本文將進(jìn)一步利用不同尺度下的特征圖與類激活圖的信息，故將該模塊命名為多尺度類激活圖學(xué)習(xí)機制（Multi-scale class activation mapping learning mechanism,MCAM），結(jié)構(gòu)圖如圖2 所示。Feature map（1.0х）、Feature map（0.5х）、Feature map（1.5х）分別表示原尺寸產(chǎn)生的特征圖、原尺寸0.5 倍產(chǎn)生的特征圖、原尺寸1.5 倍產(chǎn)生的特征圖。接著，利用分類網(wǎng)絡(luò)全連接層的權(quán)重以類激活圖的傳統(tǒng)始生成方式生成各尺寸特征圖對應(yīng)的類激活圖CAM（1.0х）、CAM（0.5х）、CAM（1.5х），在下分支，如圖2 中虛線框所示。將Feature map（0.5х）、Feature map（1.5х）和CAM（1.0х）作為模塊2 多尺度注意力學(xué)習(xí)算法的輸入來生成強化CAM*all，再將兩者結(jié)合生成CAM*all，最后通過融合算法（下文將對其算法進(jìn)行詳細(xì)說明）使CAM（1.0х）、CAM（0.5x）、CAM（1.5х）與CAM*all進(jìn)行有效結(jié)合。結(jié)合之后的結(jié)果為最終的輸出。

圖2 多尺度類激活圖學(xué)習(xí)機制

1.2 多尺度注意力學(xué)習(xí)算法

本文的模塊2 是提出的多尺度注意力學(xué)習(xí)算法（Multi-scale attention learning algorithm,MA），該模塊嵌入在模塊1 的整體框架中，用于進(jìn)行不同尺度之間的特征信息學(xué)習(xí)。如圖3 所示，多尺度注意力學(xué)習(xí)算法模塊（MA）主要是原尺寸的類激活圖結(jié)果與Feature map（1.5х）進(jìn)行結(jié)合，F(xiàn)eature map（1.5х）與CAM（1.0х）通過卷積g 學(xué)習(xí)參數(shù)，卷積g為1x1 的卷積，最后經(jīng)過相乘得到CAM*all，該算法利用不同尺寸之間的信息相關(guān)性生成增強類激活圖，能夠更有效地挖掘前景區(qū)域。

圖3 多尺度注意力學(xué)習(xí)算法模塊結(jié)構(gòu)圖

2 實驗分析

本文的方法主要由多尺度類激活圖學(xué)習(xí)機制（MCAM），多尺度注意力學(xué)習(xí)算法（MA）組成。本文的分割網(wǎng)絡(luò)VGG-16[2]在實驗前已經(jīng)由ImageNe 數(shù)據(jù)集進(jìn)行了預(yù)訓(xùn)練。為了探究各個模塊和算法的有效性，在本節(jié)將對模型以不同的設(shè)置條件下進(jìn)行實驗。本節(jié)中的所有模型都是在PASCAL VOC 2012[1]數(shù)據(jù)集上進(jìn)行訓(xùn)練的，本小節(jié)均以數(shù)據(jù)集中訓(xùn)練集產(chǎn)生的類激活圖與真實標(biāo)簽來進(jìn)行質(zhì)量比較，以平均交并比（mean intersection-over-union,mIoU）指標(biāo)作為判斷準(zhǔn)繩。表1 顯示了多尺度類激活圖學(xué)習(xí)機制（MCAM）的成類激活圖CAM*all和融合之后的最終輸出在mIOU 指標(biāo)上的表現(xiàn)。從表1 可以看出得到的類激活圖CAM*all要比原始類激活圖CAM 的mIoU 提升約7%，最終輸出結(jié)果要比原始類激活圖CAM 的mIoU 提升約8.4%，這表明MCAM 對模型性能都具有一定的提升。

表1 模型各個模塊在訓(xùn)練上的性能表現(xiàn)，最佳結(jié)果以粗體顯示

2.1 多尺度類激活圖學(xué)習(xí)機制實驗分析

上一部分通過指標(biāo)驗證了其算法能帶來性能的提升，為了進(jìn)一步證明多尺度類激活圖學(xué)習(xí)機制的有效性，本部分將針對該機制上下分支輸出結(jié)果CAM*all進(jìn)行可視化分析，CAM*all如圖4 所示，第一行是在單類別目標(biāo)圖像，CAM*all相比于CAM 能夠挖掘到更豐富的前景信息，同時對目標(biāo)的邊緣也較為敏感。第二行和第三行是相同圖片在不同類別（分別是人和飛機）做出的特征反應(yīng)。可以發(fā)現(xiàn)，CAM*all挖掘到更多背景的同時把部分背景和其他不屬于此類的信息挖掘了出來，對結(jié)果帶來了一定干擾。

圖4

2.2 不同尺度條件下類激活圖的性能

本文研究了不同尺度對多尺度類激活圖學(xué)習(xí)機制（MCAM）的影響并尋得最為有效的一組尺度輸入。在本文模型結(jié)構(gòu)中，默認(rèn)輸入的多尺度為{0.5，1.0，1.5}這三種尺度。本節(jié)例舉試驗的三種配置（即{0.25，0.5，1}、{0.5，1，1.5}、{1，1.5，2}），其結(jié)果在表2 中進(jìn)行了展示。通過表中指標(biāo)可以直觀發(fā)現(xiàn)，b 組{0.5，1，1.5}獲得了最好的性能55.54%。a 組組合是全部為縮小尺寸輸入其結(jié)果要比b組低1.4%，c 組是全部為放大尺寸的輸入其結(jié)果要比b 組低1.7%。

表2 不同尺度組合的性能表現(xiàn)，最佳結(jié)果以粗體表示

2.3 與其他實驗性能對比

本文提出的弱信息語義分割方法與其他最先進(jìn)的模型進(jìn)行了比較，如表3 所示包括MCOF[3]、SeeNet[4]、DSRG[5]、FickleNet[6]、CIAN[7]、EME[8]、MCIS[9]、OAA++[10]、ECS-Net[11]。

表3 與近年先進(jìn)算法的對比，最佳結(jié)果以粗體表示

為了與各個先進(jìn)算法模型進(jìn)行公正的比較，表3 中所有數(shù)據(jù)均來源公開論文的指標(biāo)。從表中可發(fā)現(xiàn)，本文的方法取得了驗證集67.8%，測試集67.7%的指標(biāo)，在PASCAL VOC2012 數(shù)據(jù)集[1]的驗證集和測試集中都優(yōu)于近年部分最先進(jìn)的方法，意味著本文的方法具有更佳的性能表現(xiàn)。

3 結(jié)語

本文提出了一種新的用于弱信息語義分割任務(wù)的多尺度特征融合網(wǎng)絡(luò)算法，其算法具有高性能的判別性區(qū)域挖掘能力，并使得模型在各種情況下都具有一定的有效性。對于今后的工作，我們將改善在多類別情況下前景挖掘不夠充分的問題，并重點研究如何以一種更加輕量化的網(wǎng)絡(luò)來實施特征的提取，同時保持較高的精度。