非全局池化的通道注意力及其在語義分割中的應用

鄭伯川,周 蘭,陳 雯,楊文意

(西華師范大學 a.計算機學院,b.數學與信息學院,四川 南充 637009)

語義分割是計算機視覺的基礎任務,可以理解為像素級別的分類,即逐像素預測所屬類別。語義分割提供了全面的場景描述,能提供目標對象的類別、形狀、大小等信息,有助于計算機理解圖像。傳統的圖像分割方法多為根據目標區域的局部特征進行分割,主要包括基于閾值[1]、基于邊緣[2]、基于局部特征[3]、基于聚類[4]、基于圖論[5]以及其他圖像分割方法[6]等。傳統的圖像分割方法無法學習目標的語義特征,不能進行語義分割,并且易受噪聲影響,因此只能應用于特定圖像的分割,對自然圖像分割效果不好,難以提供有效的語義理解信息。

深度卷積神經網絡(Deep Convolutional Neural Networks,DCNNs)具有優秀的特征提取性能,被廣泛用于圖像分類、目標檢測、語義分割等任務。全卷積網絡(Fully Convolutional Network,FCN)[7]是深度學習技術用于語義分割的開山之作,該網絡使用卷積層替換全連接層,將經過多次卷積、池化后得到的特征圖進行轉置卷積將縮小后的特征圖還原為原始圖大小,最后通過像素分類實現圖像分割。FCN由于能提取圖像全局特征,從而可以實現圖像語義分割。FCN有優秀的語義分割性能,特別對于自然圖像的分割,能很好的將語義目標對象分割出來,從而能提供有效的圖像語義信息。FCN被提出之后,研究人員將圖像分割方法的研究轉向了深度學習技術,主要在FCN的網絡框架下進行了大量的改進[8-15],將深度網絡的許多新的技術引入到FCN網絡模型中提高圖像分割性能,如將注意力機制引入特征提取網絡提高特征提取性能。特征圖中不同的通道所包含的信息重要性不一樣,為了使網絡更關注包含更重要信息的通道,Hu等[16]提出了SENet,該網絡采用的擠壓-激勵模塊(Squeeze-Excitation Block)通過捕獲全局信息給通道分配不同的權重以提高模型表征能力。擠壓-激勵模塊中的擠壓部分采用全局平均池化,將輸入特征圖中的每個通道擠壓成一個值,忽略了每個通道的局部信息。在擠壓模塊采用全局平均池化僅得到次優級特征信息,為了提取更精細的通道特征,Woo等[17]提出CBAM(Convolutional Block Attention Module),該模塊在擠壓模塊結合全局平均池化和最大值池化,并以串聯的方式融合通道注意力和空間注意力。全局上下文信息對語義分割至關重要,Zhang等[18]提出CEM(Context Encoding Module),將擠壓模塊中的全局平均池化替換為編碼塊(Encode),捕獲場景上下文語義,并結合語義編碼損失進行分割。單獨使用全局平均池化會限制模型捕獲高階信息的能力,為解決該問題,Gao等[19]引入GSoP(Global Second-Order Pooling),在擠壓模塊計算不同通道的協方差矩陣以獲得其相關性,再對協方差矩陣進行行方向歸一化以獲取通道間的關聯性。Qin等[20]證明了全局平均池化是離散余弦變換(Discrete Cosine Transform ,DCT)的一種特殊情況,由此提出一種新的多光譜通道注意。Lee等[21]提出SRM(Style-based Recalibration Module),在擠壓模塊通過計算輸入特征的均值和標準差捕獲更精細的全局特征,激勵模塊使用通道級全連接替代原有全連接,減少計算量。在激勵模塊中加入全連接操作,將不可避免增加參數數量以及消耗額外的計算資源,為了解決這一問題,Yang等[22]提出GCT(Gated Channel Transformation),通過計算各通道L2范數收集全局信息,特征縮放后采用信道歸一化進行信道交互。Wang等[23]提出ECA(Efficient Channel Attention)塊,在激勵模塊使用一維卷積確定各通道之間的交互。

為了提取包含更多局部信息的擠壓信息,本文對擠壓-激勵模塊進行改進,提出一種基于非全局池化的通道注意力網絡結構,并將該網絡模塊應用于語義分割中。本文主要貢獻如下:(1)對SENet通道注意力模塊進行改進,提出一種基于非全局池化的通道注意力模塊,將原來的全局池化變成非全局池化,獲得更豐富的局部特征,有利于后續激勵模塊學習更好的通道權重。(2)將提出的非全局池化注意力模塊應用到語義分割中,并在PASCAL VOC2012增強版分割數據集上驗證語義分割方法的有效性。

1 Attention-FCN模型

FCN[7]網絡是經典的語義分割網絡模型,本文提出的Attention-FCN模型是在FCN網絡模型的基礎上進行改進,在FCN模型的特征提取網絡模塊中加入改進后的擠壓-激勵模塊。

1.1 Attention-FCN結構

Attention-FCN網絡模型,可以分為兩個部分。第一部分為特征提取部分,利用深度卷積神經網絡,堆疊卷積層、池化層和注意力模塊提取特征信息,通過池化層不斷縮小特征圖大小。該部分可采用VGG-16[24]和ResNet-34[25]作為特征提取網絡。第二部分為特征融合部分,采用轉置卷積將特征圖恢復到輸入圖像大小,同時利用跳躍連接,融合多個大小的特征圖信息。如圖1所示,輸入大小為H×W×C的圖像,特征提取網絡有3個不同的stage塊,每個stage塊后連接本文提出的改進通道注意力模塊(Modified Channel Attention Block,MCAM)。

1.2 全局池化的通道注意力模塊

SENet采用的通道注意力模塊如圖2所示,包括擠壓(Squeeze)和激勵(Excitation)兩個模塊。

設X=[x1,x2,…,xC′]為輸入特征,其大小為H′×W′×C′。 給定卷積變換Ftr,設V=[v1,v2,…,vC]為一組卷積核,vc表示第c個卷積核,(c=1,2,…,C),Ftr將輸入特征X映射到特征U=[u1,u2,…,uC],其中U的大小為H×W×C,則第c個通道的特征信息uc可用公式(1)表示:

(1)

擠壓模塊通過通道全局平均池化將U各通道全局空間信息uc壓縮成一個通道描述符zc。 則第c(c=1,2,…,C)個通道的特征描述符zc可用公式(2)表示:

(2)

激勵模塊將通過擠壓模塊得到的特征描述符映射到一組通道權值。該模塊采用兩個全連接(Fully Connected,FC)層先降維再升維,兩個全連接層之間采用ReLU函數作為激活函數,最后一個全連接層的輸出經Sigmoid函數激活后得到通道注意力權重s,則s可用公式(3)表示:

s=Fex(z,W)=σ(W2δ(W1z)) ,

(3)

其中,σ表示Sigmoid函數,δ表示ReLU函數。通道注意力權重作用在原特征U上進行特征重標定,即通道加權,如公式(4)所示:

(4)

1.3 非全局池化的通道注意力模塊

輸出特征U各通道特征uc的統計量可以表達整個圖像的信息。SENet采用最簡單的全局平均池化來聚合特征,即對同一個通道不同區域的信息賦予相同的權值,這種處理方式難以體現同一個通道內不同區域特征的重要性。為了體現同一個通道內不同區域信息的重要性,在擠壓模塊使用非全局平均池化替換全局平均池化,從而獲得通道更多的局部信息。非全局池化的通道注意力模塊如圖3所示。

將原空間維度為H×W×C的特征圖通過窗格池化(非全局池化)壓縮成維度為k×k×C的特征圖,再通過C個核大小為k×k×C的卷積核卷積得到1×1×C的特征,最后經過Sigmoid函數激活得到每個通道的權重,將該權重與輸入特征圖對應通道相乘,實現通道級加權,從而實現通道注意力機制。

(5)

(6)

非全局平均池化模塊中,當窗格大小k=1時,得到zc為一個標量,與SENet中擠壓模塊得到的輸出一致。

為了將一個通道內k×k個窗格的池化值融合成一個特征描述符,同時計算通道間的依賴關系,采用C個核大小為k×k×C的卷積核對Z=[z1,z2,…,zc]進行卷積,得到通道注意力建模的輸出,最后經Sigmoid函數激活后得到通道注意力權重s。s可用公式(7)表示:

s=Fex′(z,W)=σ(Fconv(z)),

(7)

其中,σ表示Sigmoid函數。通道注意力權重作用在原特征上,對原特征進行通道級注意力加權,如公式(4)所示。

2 實驗與分析

實驗硬件環境:單CPU,型號為 Inter Xeon 4114,2.20 GHz;2張GPU卡,分別為NVIDIA Quadro RTX 4000和NVIDIA Quadro P5000。軟件環境:Unbuntu18.0、PyCharm、Python 3.7、Pytorch框架。訓練時設置batchsize為10,優化器為Adam,初始學習率為0.000 001,訓練100輪。

2.1 數據集

使用PASCAL VOC2012增強版圖像分割數據集,包含來自PASCAL VOC2012數據的11 355張圖像的分割標注,共20個對象類別,加背景21類,每張圖像大小為320×320像素。將數據集拆分為訓練集8 498張、驗證集1 427張、測試集1 430張。

2.2 評價指標

為了評價算法的分割性能,采用像素準確率(Pixel Accuracy,PA)、類別平均交并比(Mean Intersection over Union,MIoU)兩個評價指標進行定量評價。PA是語義分割中最常用的像素級評價指標,其計算圖像中正確分類的像素占圖像中總像素數比值。MIoU是分割結果真值的交集與其并集的比值(Intersection over Union,IoU)按類計算后取平均值。像素準確率和平均交并比定義分別如公式(8)和(9)所示,公式(10)表示某一類別的交并比。

(8)

(9)

(10)

其中,TP(True Positive)為真正,FP為假正(False Positive),TN為真負(True Negative),FN為假負(False Negative)。pii表示第i類被預測為第i類的像素個數,pij表示第i類被預測為第j類的像素數量,pji表示第j類被預測為第i類的像素數量,n是類別數。PA和MIoU的取值范圍都是[0,1],他們的值越大說明分割效果越好,反之則表明分割效果變差。

2.3 不同大小窗格對比

非全局平均池化模塊窗格大小k對最終的分割效果有一定的影響。為了得到最佳窗格大小,設計6種不同的窗格池化大小進行對比實驗,實驗模型是基于ResNet-34的FCN,在兩種評價指標下的分割性能如表1所示。從表1中可以看出,當k=7時的PA最高,k=9時Miou最高,由于k=7時的計算量比k=9低,因此綜合考慮,本文選擇k=7。

表1 不同窗格大小下的性能指標對比

2.4 不同組合結構對比

為了驗證本文提出的非全局池化通道注意力的有效性,對比了不同模塊組合下模型的分割性能。實驗模型是基于ResNet-34的FCN,窗格大小設置為k=7,分割性能如表2所示。從表2中可以看出,Pool+Conv組合結構分割性能最好。需要指出的是,前面不同窗格大小對比實驗時采用的是Pool+Conv組合結構得到的結果。

表2 不同模塊組合下的性能指標對比

2.5 不同通道注意力模塊對比

為了進一步驗證非全局池化通道注意力模塊對分割性能的提升情況,將本文提出的注意力模塊與SE、CBAM分別在基于VGG-16和ResNet-34特征提取網絡的FCN網絡模型上進行對比實驗。在兩種評價指標下的分割性能對比如表3、表4所示。由表3、表4可以看出,本文提出的窗格池化方法的兩個指標都優于基線網絡和其他兩種通道注意力方法,其中,基于ResNet-34的Attention-FCN,PA比最好的高了1.24個百分點,MIoU比最好的高了4.64個百分點;基于VGG-16的Attention-FCN,MIoU比最好的高了3.9個百分點。

表3 本文方法與其他通道注意力性能指標對比(基于ResNet-34)

表4 本文方法與其他通道注意力性能指標對比(基于VGG-16)

2.6 分割結果展示

圖4展示了部分基于ResNet-34特征提取網絡的Attention-FCN分割效果圖,其中第1列是原始圖像,第2列是真實掩模圖,第3列是未使用任何通道注意力模塊的FCN得到的分割圖像,第4列是在FCN中加入SE模塊得到的分割圖像,第5列是在FCN中加入CBAM模塊得到的分割圖像,第6列是在FCN中加入本文的MCAM模塊得到的分割圖像。從圖4可以看出,第3—5列均存在錯分類現象,而使用本文方法得到的分割圖像(第6列圖像)更接近真實掩模圖(第2列圖像),比其他3種結構(第3—5列)的分割效果更好。

3 結 語

本文提出一種非全局池化的通道注意力網絡模塊,并將它用于Attention-FCN語義分割模型中。非全局池化更能捕獲通道的局部特征,獲得更準確的通道權重,建立更好的通道依賴。在PASCAL VOC2012增強版數據集上的語義分割實驗表明,提出的改進通道注意力網絡模塊能有效提升語義分割性能,優于其他對比通道注意力網絡模塊。但是,該算法也存在一定的局限性,如窗格大小需人工設定。后續將進一步將此注意力模塊應用到其他網絡模型以及其他任務中,進一步驗證其性能。