結合級聯ASPP和注意力交叉融合的圖像語義分割算法*

陳 娜，劉宇紅，張榮芬

（貴州大學大數據與信息工程學院，貴陽 550025）

1 引言

隨著深度學習的發展，全卷積神經網絡為語義分割帶來了巨大的飛躍。2015年，一種基于全卷積網絡的語義分割模型文獻被提出[1]，可實現密集的推理；2017年，具有編碼器-解碼器結構的SegNet網絡被提出[2]，編碼器通過池層逐漸減小輸入特征圖的大小，解碼器通過上采樣逐漸恢復圖像細節和特征圖大小。為了優化輸出，又有人提出了DeepLab的幾種變體，其中，DeepLabv3+[3]基于DeepLabv2和DeepLabv3，采用了編解碼器結構。語義分割本質上是一個逐像素的分類任務，為了生成密集逐像素的上下文信息，非局部神經網絡[4]利用自注意機制實現特征重構；DANet[5]引入空間方式和通道方式的注意模塊來豐富特征表示。基于注意力的方法[6-7]已被證明是語義分割中獲取全局視野和上下文的有效方法。為進一步提高捕獲效率與圖像分割精度，在此提出一種結合級聯ASPP和注意力交叉融合的圖像語義分割算法，旨在能夠分割出小尺度目標的理想區域，有效避免語義分割和標注不合理等問題。

2 算法設計

2.1 網絡結構

DeepLabv3+網絡是目前最優秀的語義分割模型之一，然而ASPP多層復雜的空洞卷積疊加容易失去圖像中被忽略的小尺度目標信息，從而導致不準確的分割。為此，需對Deeplabv3+網絡加以改進。改進算法的網絡模型如圖1所示。在改進算法中，編碼器采用改進后的Xception網絡作為骨干網絡進行特征提取，在原圖1/16大小的特征圖后連接DASPP模塊，它參考DenseNet[8]的網絡結構，通過密集連接改進DeepLabv3+網絡的ASPP模塊，將其由原來的獨立分支法改為級聯法，實現更密集的像素采樣，提高算法的特征提取能力。

圖1 改進算法總體結構模型

改進之后的ASPP模塊在原有三個空洞卷積并行的基礎上增加了串聯結構，將空洞速率較小的空洞卷積的輸出和主干網絡的輸出級聯，再一起送入膨脹速率較大的空洞卷積，以達到更好的特征提取效果。

為了在解碼器中更好地挖掘空間和信道特征，在對原始圖像進行空洞卷積后，使用1×1卷積提取淺層特征，并將提取的淺層特征和D-ASPP模塊輸出的上下文信息輸入到注意力交叉融合模塊ACFM中，利用ASPP模塊的密集像素捕獲和注意機制對重要信息的選擇性注意，將得到的特征圖進行3×3卷積和四倍上采樣，得到最終分割效果圖。

2.2 密集空洞空間金字塔池化模塊

空洞卷積運算及改進如圖2所示。在圖2(a)中，當膨脹率為6時，一維空洞卷積的感受野為13，但每次只有3個像素被用于卷積計算。將ASPP模塊改為密集連接后，空洞率逐層增加，空洞率較大的層以膨脹率較小的層的輸出作為輸入，使得像素采樣更加密集，提高了像素的利用率。在圖2(b)中，在膨脹率為6的空洞卷積之前執行膨脹率為3的空洞卷積，這樣最終卷積結果中有7個像素參與運算，采樣密度高于膨脹率為6的空洞卷積直接執行的采樣密度。在此基礎上再次擴展到二維時，膨脹率為6的單層空洞卷積中只涉及9個像素，而級聯空洞卷積中涉及49個像素，如圖2(c)所示。

圖2 空洞卷積運算及擴展

由此可見，較低速率層的輸出通過密集連接的方式連接到較大速率層作為輸入，增強了網絡特征提取的能力。密集連接的ASPP模塊不僅可以獲得更密集的像素采樣，還可以提供更大的感受野。對于速率為r且卷積核大小為k的卷積，感受野S的大小可表示為下式:

通過疊加兩個空洞卷積可以獲得更大的感受野，疊加后的感受野大小可以通過以下公式獲得:

其中s1和s2分別是兩個空洞卷積各自的感受野大小。由公式(1)和(2)可知原ASPP模塊的最大感受野為37，改進的ASPP模塊的最大感受野為73。改進后的模塊通過跳層連接實現信息共享，不同膨脹率的空洞卷積相互補充，增加了感受野的范圍。

雖然D-ASPP模塊可以獲得更密集的像素采樣和更大的感受野，但是也增加了網絡參數的數量。為了解決這一問題，在密集連接后的每個空洞卷積之前使用1×1卷積來減少特征圖的通道數，從而減少網絡的參數數量。設C0代表ASPP模塊的輸入特征特征圖的通道數；Cl表示在第l個空洞卷積之前，1×1卷積輸入特征圖的通道數；n代表每個空洞卷積的輸出特征圖的通道數。參數數量計算公式為：

其中L是空洞卷積的個數，k是卷積核的大小,取值皆為3。以優化后的Xception網絡為骨干網絡時，該網絡2048個輸出通道的特征圖作為ASPP模塊的輸入。ASPP模塊每一個空洞卷積輸出特征圖的通道數n為256。各數值代入式(3)，得P=14155776。

改進后的ASPP模塊的參數量可由下式計算：

從式(4)中的兩個方程，同樣得出P=14155776。由此可見，改進后的密接ASPP模塊在獲得更密的像素采樣和更大感受野的同時，成功地保持了與原算法相同的參數個數。

2.3 特征交叉注意力模塊

改進設計的特征交叉注意模塊如圖3所示。利用空間注意（SA）模塊提取淺層空間信息細化像素定位，利用通道注意機制（CA）捕捉全局上下文信息后再融合處理來抑制不重要的信息凸顯關鍵特征。

圖3 新設計特征交叉注意力模塊

首先連接兩個分支的輸出特征，并對融合的特征進行3×3卷積、批量歸一化和ReLU單元處理。SA模塊的特征被歸一化和非線性卷積后乘以融合的特征被用作輸入來幫助改進定位。再將上下文分支的輸出應用于通道注意力模塊，通過全局池和最大池沿空間維度壓縮上下文特征，得到兩個向量共享到一個全連通層和Sigmoid算子生成注意圖。將注意力圖乘以來自空間注意力模塊的輸出特征，并添加到融合特征。最后對獲得的特征進行1×1卷積和四次上采樣以獲得特征圖。在幾乎沒有額外訓練參數和開銷的情況下，本模型可以獲得更重要的空間和信道特征圖。

3 實驗分析

3.1 實驗條件與評價指標

Cityscapes是城市街景相關的數據集，作為圖像語義分割任務中的重要數據庫，其包含了50個大小城市和21個類別的5000張圖像，其中2975張為訓練集，500張為驗證集，1525張為測試集。實驗采用Pytorch框架、Ubuntu 16.04系統和Nvidia GeForce GTX1080Ti顯卡；網絡輸入圖像的尺寸大小是512×512像素；批量大小設置為8；初始學習率設置為0.0001；動量是0.9。

在評估所提出網絡的分割性能時使用平均精度和均交并比MIOU來度量。MIOU值越大，模型的效果越好。假設總共有N個類，N+1是加上背景以后總的物體類別，pii（i=1,2,...,N）表示類別像素預測正確，pij和pji表示像素預測錯誤，數學公式可以表示為：

3.2 消融實驗

為研究網絡中D-ASPP和ACFM模塊的性能，設計消融實驗。采用Aligned Xception作為基準模型，然后逐步添加各個模塊進行實驗。分割結果如表1所示，嘗試將各模塊組合起來使用并對結果加以對比。

表1 不同模塊組合使用對應MIOU值

如表中MIOU數據可見，以主干網絡搭配DASPP使用，比組合使用ASPP模塊的情況有更好的效果，MIOU值增加了1.73%。利用空間和通道注意力設計的ACF模塊，其MIOU值增加了0.86%，在大量融合特征中通過抑制相同冗余信息提取出更為關鍵的特征。經實驗，改進后的網絡算法最終的MIOU值達到74.36%，相比原模型提高2.14%，證明了所提出模型的每個模塊對于獲得最佳分割結果的必要性。

3.3 常見模型分割性能對比

為進一步驗證改進算法的有效性，將所提出的算法與其他經典網絡FCN-8s、SegNet、DenseNet、DANet和DeepLabv3+在數據集Cityscapes上進行測試，測試結果對比如表2所示。

表2 不同網絡模型測試結果對比

可以看出，FCN-8s由于沒有考慮像素之間的關系，網絡分割精度最低；SegNet網絡沒有考慮圖像的上下文信息，MIOU值也不理想；由于引入雙注意模塊，DANet整體分類結果達到71.85%；雖然DeepLabv3+結合了多尺度信息，但各種復雜街景的分類精度并不理想。本研究的改進算法分類結果達到最優值74.36%，表明該模塊設計有效改善了網絡分類的識別能力。

從參數量、模型大小、幀速率方面考查改進算法相比原DeepLabv3+模型的改善，結果如表3所示。

表3 DeepLabv3+改進前后計算量對比

結合表2和表3可以看出，改進算法相比于其他經典網絡具有更好的實用性能，雖然預測速度提高不多，但取得了更高的分割精度和更小的內存，綜合效果最優。算法改進前后模型可視化劃分結果對比如圖4所示。可以看出，當分割目標過多時，原模型局部特征提取不連貫，容易使小目標信息丟失且目標邊緣分割不完整。而在所提出的改進算法的結果中，圖中交通燈及電線桿等纖長細小目標物均有更精細的分割結果，有利于減少意外的錯誤分類。

圖4 Cityscapes數據集不同模塊可視化比較

綜上實驗可知，在網絡編碼端，改進后的算法將原網絡中的ASPP模塊由各分支并行結構改為密集連接形式，實現了更密集的多尺度信息編碼，獲得了更密集的像素采樣和更大的感受野，合理控制了網絡的參數個數。在解碼端，利用通道特征提供全局信息，利用空間特征細化目標邊緣。通過密集連接的ASPP模塊和交叉注意模塊的聯合學習得到圖像分割，使模型整體具有更高的分割精度。

實驗結果證明了改進算法在小目標檢測上的優化，整體MIOU值達到74.36%，比原DeepLabv3+算法提高了2.14%，具有更高的分割準確率。

4 結束語

結合級聯ASPP和注意力交叉融合的圖像語義分割算法，針對的是DeepLabv3+模型多層卷積疊加造成的圖像小目標細節信息丟失、目標邊緣分割精度低等問題，已在公開數據集Cityscapes上驗證了其有效性。改進算法取得了一定的效果，但還缺少泛化性，在后續研究中可考慮將模型中密集連接后針對小目標精準分割的特點拓展到其他領域，比如橋梁和建筑裂縫問題等，使之發揮更大更廣的作用。