基于全局卷積神經網絡的復雜圖像語義分割方法?

張 丹 柳 爽 張曉娜 時 光 劉 京

（1.91550部隊第43分隊 大連 116023）（2.河北師范大學計算機與網絡空間安全學院 石家莊 050024）（3.海軍大連艦艇學院教學考評中心 大連 116018）

1 引言

高速圖像處理在海軍武器裝備研發、試驗和應用環節中的作用越來越重要，對圖像處理精準度的要求也越來越高，目前海軍的現狀是高速圖像處理能力不足，尤其是水下觀測裝備獲取的視頻圖像、深度與照度數據等信息存在模糊、噪聲大、對比度下降、顏色失真等諸多問題，難以適應日益發展的武器試驗鑒定需要，嚴重影響裝備效能的發揮。而基于生物視覺計算的端到端多尺度神經網絡復原技術是解決圖像模糊、噪聲等問題的有效手段。

圖像語義分割是計算機視覺方向中的研究熱點之一［2］，在各領域都有著廣泛的應用，例如真三維顯示、無人駕駛以及輔助醫療等領域都起著舉足輕重的作用［3］。近年來，隨著深度學習的快速發展，卷積神經網絡（Convolutional Neural Network，CNN）逐漸成為圖像分割領域中的核心方法，越來越多的研究者基于此提出不同的語義分割神經網絡模型［4］。但是，深入研究當前所使用的語義分割方法后發現在分割領域仍存在著眾多難題。例如，現有分割方法對于復雜圖像的分割中存在幾何特征缺失、紋理特征不明顯等問題。分析原因為受周圍環境的影響，圖像中所屬同一類別物體，像素值差異過大，造成過分割；圖像中不同類別之間的像素值差異過小，將不同類別的物體分割成同一類別物體，造成欠分割。如圖1（a）、（b）中白色框所示，水中的魚與背景石頭的顏色紋理相似，導致分割時將石頭錯分為魚，此為過分割現象；如圖1（c）、（d）中白色框所示，分割目標魚與背景水草的顏色像素值相近，造成魚尾部分分割不完全，此為欠分割現象。本文提出基于全局卷積神經網絡的復雜圖像語義分割方法，有效解決復雜圖像分割過程中的欠分割和過分割問題。本文的創新點如下。

圖1 過分割、欠分割示意圖

1）提出多尺度殘差空間金字塔池化模塊（R-ASPP），通過加入殘差塊結構，增強在金字塔頂端獲取到的幾何特征，以及在金字塔底端獲取到的紋理特征。在獲取多尺度特征的同時，也獲得更為豐富的幾何和紋理特征，從而可有效避免因像素值差異過大或者過小造成的過分割和欠分割問題。

2）提出基于注意力機制的解碼器模塊（AT-Decoder），將低層次細節特征信息和高層次語義特征信息有效融合在一起。由于在復雜圖像中，存在著細小物體的分割問題，隨著網絡的深入，這些物體往往易被錯分。在解碼器端得到全局信息，可盡可能多地保留細小物體的幾何和紋理特征。因此，基于注意力機制的解碼器模塊也可有效避免分割過程中出現的過分割和欠分割問題。

2 相關工作

近年來，卷積神經網絡在圖像語義分割任務中的作用舉足輕重。Long等［5］經過長期的研究和分析，在深度卷積神經網絡（Deep Convolutional Neu?ral Network，DCNN）的基礎上提出了全卷積神經網絡（Fully Convolutional Network，FCN）。FCN網絡使用雙線性插值的反卷積進行上采樣，使卷積池化后提取到的特征恢復為原輸入的相同大小。因此，FCN網絡可以接受任意大小的輸入圖像。此外，FCN網絡中還采用了跳遠連接，改善了由上采樣造成的特征粗糙問題，有效提高了基于區域的分割精確度。FCN的出現為圖像語義分割方法的研究提供了新思路。

Badrinarayanan等［6］在 2015年提出了基于編碼-解碼框架的SegNet網絡模型。雖然SegNet網絡中的多層最大池化和下采樣操作因其平移不變性可以在分割任務中有較好的魯棒性，但卻導致了特征圖大小和空間信息的損失。因此，SegNet在解碼過程中采用最大池化層指數，有效改善了低分辨率問題。其次，為了獲得更多的全局信息，SegNet加深了網絡層數。但由于SegNet上采樣的層數較多，因此，計算效率與FCN相比并不高。

在語義分割網絡中，池化操作雖然增大了感受野，但同時也降低了特征圖的分辨率。因此，Fish?er Yu等［7］提出空洞卷積（又名擴張卷積，Dilated Convolution）。空洞卷積向卷積層中引入了一個稱為“擴張率”的新參數，該參數定義了卷積核處理數據時各值的間距，在不降低空間維度的前提下增大了相應的感受野指數。但其卷積結果之間沒有相關性，易造成局部信息丟失，從而影響分割結果。

Google團隊提出的Deeplab系列不斷提升分割精度，Deeplabv1網絡［8］通過結合深度卷積神經網絡的最后一層響應和一個全連接條件隨機場（CRF）來解決深度網絡的定位效果差問題。Deep?labv2［9］網絡提出了在空間維度上的金字塔型空洞池化模塊（Atrou Spatial Pyramid Pooling，ASPP）。ASPP由不同擴張率的空洞卷積組成多尺度處理模塊，從而得到更為精確的分割結果。Deeplabv3［10］網絡改進了ASPP模塊，增加了1×1卷積和全局平均池化部分，引入了全局特征。隨后，2018年提出的 Deeplabv3+［11］網絡在 Deeplabv3 的基礎上，通過增加簡單有效的解碼模塊精細分割結果，尤其在分割物體的邊界部分，分割效果有明顯改善。此外，Deeplabv3+中進一步使用Xception模型和深度可分卷積（Depthwise Separable Convolution），并且結合ASPP和一個簡單的解碼模塊得到一個更快、更強的編-解碼網絡框架，但計算量也隨之增大。

Zhao等［12］提出的PSPNet在FCN算法的基礎上通過全局均值池化操作（Global Average Pooling）和特征融合操作，從而引入更多的上下文信息。此外，還引用基于ResNet的深度監督網絡添加輔助代價函數，在整個網絡中兩個代價函數共同優化權重等參數，加快了模型的收斂速度，實現了更為精準的分割結果。

Fu等［13］在2019年提出了一種雙重注意力網絡（DANet）來自適應地集成局部特征及其全局依賴關系。DANet網絡使用位置注意力模塊來學習特征的空間相互依賴性，并設計通道注意力模塊來模擬通道相互依賴性。DANet網絡通過在局部特征上建模豐富的上下文依賴關系，顯著改善了分割結果。

綜上，使用深度學習的圖像語義分割方法在分割任務中都有較好的表現。但由于分割場景的復雜多樣性，并不能在每個場景中都達到較高的精度［14］。基于上述相關工作，本文提出基于全局卷積神經網絡的復雜圖像語義分割方法，以有效解決在復雜街景圖像分割過程中，出現的欠分割和過分割問題。

3 復雜街景圖像的語義分割方法

現有圖像分割方法對于復雜圖像數據的分割還存在著許多不足之處。首先，由于DCNN的局限性，在低級特征圖中的語義信息相對較少，但可以準確地表示出對象的位置信息；在高級特征中語義信息豐富，但對于位置信息表現不突出。因此，在復雜圖像分割的過程中，易出現分割物體的幾何、紋理信息缺失，即造成過分割和欠分割現象。

針對上述問題，本文提出了基于全局卷積神經網絡的復雜圖像語義分割方法。網絡結構示意圖如圖2所示，網絡整體為編碼-解碼框架，其中編碼模塊中主要包括DCNN部分和R-ASPP部分，解碼模塊中主要包括AT-Decoder部分。DCNN可以有效提取到包含位置信息的低級特征，R-ASPP可以最大程度上提取到包含幾何和紋理信息的高級語義特征，AT-Decoder可以有效融合低級位置特征和高級語義特征，最后進行4倍上采樣還原為原輸入圖像大小。網絡的關鍵層如表1所示。

圖2 網絡示意圖

表1 Key layers of the network

在圖像語義分割網絡中，輸出圖像的大小要和輸入圖像的大小一致，但網絡中的池化操作往往在增大感受野的同時降低圖像的分辨率。通常，網絡中采取的方法大多數為上采樣操作（Upsample）。但是，上采樣操作無法還原由池化操作導致的一些細節信息的損失。為了減小這種損失，Fisher Yu等［6］提出了空洞卷積，其公式為

通過空洞卷積操作所得到的某一層的結果中，鄰近的像素是從相互獨立的子集中卷積得到的，相互之間缺少依賴以及局部信息丟失而易產生網格效應，如圖3所示。這對于基于像素級的語義分割任務來說是一個巨大的挑戰。

圖3 空洞卷積出現的網格效應

Goolge 團隊提出的的 Deeplabv3+［11］方法中ASPP模塊可盡量避免由空洞卷積產生的網格效應。ASPP在特征頂部到底部映射過程中包含五個分支，其中包括四種不同采樣率的空洞卷積和一個全局平均池化分支。不同采樣率的空洞卷積可以有效捕獲多尺度信息，并利用全局平均池化獲取全局信息。

通常，圖像語義分割網絡的解碼器端得到的為高級語義信息，即圖像的幾何和紋理信息，可為得到精確圖像分割結果提供有效幫助［15］。為了獲得足夠的高級語義幾何和紋理信息，基于ASPP模塊，本文提出了R-ASPP方法，在除全局平均池化分支外的四個空洞卷積分支中分別加入了殘差塊，每個殘差塊由普通的3×3卷積和跳遠連接構成。R-ASPP結構圖如圖4所示。其中，Dfm為DCNN的輸出特征圖，fm1、fm2、fm3、fm4、fm5為每個分支特征圖的輸出，fm11、fm21、fm31、fm41為四個分支中中間層特征圖的輸出，Fa為R-ASPP部分的輸出。

圖4 R-ASPP模塊結構

在R-ASPP中包含五個不同尺度特征圖的輸出，不同尺度的特征圖具有不同的特征。在R-ASPP中，最大的特征圖fm5上可以獲得更多關于小目標物體的邊緣信息，fm4包含更多的輪廓信息，從fm3到fm1包含更多的全局信息。因此，R-ASPP可有效獲取整個網絡中高層次的語義信息。

在深度學習卷積神經網絡中，設計解碼器模塊常用于在網絡中所學到的圖像特征大小和維度的恢復，以得到與原輸入圖像大小相同的分割圖像并恢復目標分割細節［16］。為更好地恢復更多的目標分割細節，本文提出了基于注意力機制的解碼器模塊（AT-Decoder）。具體網絡結構如圖5中所示，圖5（a）為AT-Decoder的總體結構，其中基于高級語義特征的通道注意力模塊（Channel Attention）結構如圖5（b）所示。

圖5 AT-Decoder模塊結構

AT-Decoder模塊由三個分支組成，分別為DF、DC和DD分支。第一個分支DF的輸入為在解碼器中DCNN學到的細節及位置信息，使用3×3卷積操作構造空間注意力突出重要的細節位置特征。

第二個分支DC的輸入為解碼器DCNN的輸出DFa和解碼器最后的輸出DDfm兩個特征在通道維度的拼接。該分支考慮有效融合低級細節信息和高級語義信息，經過3×3卷積提取到包含準確位置信息和完整的幾何、紋理信息特征。

第三個分支DD的輸入為編碼器模塊的輸出，即高層語義特征DDfm。為了保留更多的語義信息，在解碼器中設計了基于通道的注意力模塊，目的在于關注特征圖通道之間的關系，如圖5（b）所示。該模塊由兩個子分支構成，分別為平均池化和最大池化分支。平均池化可以通過全局描述特征，對特征圖中的每一個像素點都有反饋，而最大池化在進行梯度反向傳播計算時，只有特征圖中響應最大的像素點有梯度的反饋，從而可以作為一個補充［17］。隨后，在平均池化和最大池化后補充［17］。隨后，在平均池化和最大池化后邊各加入全連接層，分別融合各通道的特征圖信息，最后，兩個子分支進行融合，從而得到更加關注信息量最大的通道特征。

其中，H×W表示特征圖大小，DDfm1為全局平均池化，DDfm3為最大池化，wDDfm表示全連接。

4 實驗驗證

4.1 數據集介紹

本文所提出的圖像語義分割方法可以應用于水下圖像分割中，并在實際拍攝獲取到的水下圖像數據集SUIM中進行了分割驗證。該數據集包括1525張訓練圖像和110張測試圖像，其類別包括人類潛水員、水生植物、珊瑚礁等多種類別。

此外，本文方法還在公開的街景數據集Camv?id以及Cityscapes進行實驗驗證。Camvid數據集由劍橋大學標注，其中包括367張訓練圖像和233張測試圖像，包含道路、建筑物、汽車、行人等11個類別［23］。圖像中的場景涉及白天和黃昏，可對本文方法進行進一步的檢驗。

Cityscapes數據集在2015年由奔馳公司推動發布，是目前公認的計算機視覺領域內最具權威性和專業性的圖像語義分割評測數據集之一。Cityscapes關注于真實場景下的城區道路環境理解，任務難度更高且更適合于評估視覺算法在復雜街景語義理解方面的性能。Cityscapes數據集包含50個城市不同場景、不同背景、不同季節的街景，其提供5000張精細標注的圖像、20000張粗略標注的圖像、30類標注物體。Cityscapes數據集共有fine和coarse兩套評測標準，前者提供5000張精細標注的圖像，后者提供5000張精細標注外加20000張粗糙標注的圖像，本文中采用fine評測標準。

4.2 評價準則

語義分割中的最重要的評價指標為平均交并比（Mean Intersection Over Union，MIoU），其通過計算真實值（Ground Truth，GT）與預測分割結果之間的交并比對本文提出的網絡模型進行評估。交并比IoU基于每個類別計算，所有類別的IoU求均值即為MIoU，公式如下：

其中，k表示類別數量，i表示真實值，j表示預測值，pij表示將 i預測為 j。

4.3 實驗結果

本文所提圖像語義分割方法可應用于水下圖像分割領域中，在SUIM數據集中的可視化分割結果如圖6所示。其中，第一列為原始圖像，第二列為Ground Truth，第三列為本文方法分割結果圖像。由此可見，本文方法對于水下圖像的分割表現優異，對于前后背景混淆物體類別以及細小結構物體類別的分割都較為完整。除此之外，本文的網絡模型還可以應用于水下目標追蹤中，并在200幀的水下視頻數據中進行目標跟蹤實驗，可視化結果如圖7所示。按照從左至右的順序分別：第1幀的分割結果、第36幀的分割結果、第73幀的分割結果、第105幀的分割結果、第140幀的分割結果以及第188幀的分割結果。本文所提方法可以準確的跟蹤分割水下圖像中的球形物體。

圖6 在水下圖像SUIM數據集中的可視化分割結果

圖7（a）組分割圖像為過分割效果示意圖。其中，每個圖像中顏色框中物體本所屬一類或多類物體，但由于物體本身的像素值與周圍物體的像素值差異過大，出現過分割為兩類或多類物體的現象。圖（b）組分割圖像為欠分割效果示意圖。其中，每個圖像中的顏色內物體由于與周圍物體的像素值差異過小，將不同類別的物體欠分割成同一類別物體，造成少分現象。從圖6可視化結果中可看出，本文所提方法針對復雜圖像分割過程中出現的欠分割和過分割問題有明顯改善。

圖7 網絡模型應用于水下圖像目標跟蹤的可視化分割結果

表2 在Camvid數據集中與其他方法的對比

此外，為了驗證基于全局卷積神經網絡的復雜圖像語義分割方法對于復雜圖像數據的有效性，本文試驗數據采用Camvid數據集和Cityscapes數據集。Camvid數據集訓練樣本數較小，Cityscapes數據集訓練樣本數較大，本文在兩個數據集上分別進行試驗，以證明網絡方法的魯棒性和準確性。在Camvid數據集上對比于其他方法的結果如表2所示。從表2中所示的IoU值可以看出，本文對比當前主流方法Deeplabv3+精度提高1.2%。因此，本文方法對于改善小分辨率圖像中存在的欠分割和過分割問題有良好的性能。

Cityscapes數據集中所包含的圖像分辨率較大，圖像大小為1024×2048，所包含物體類別21類。在Cityscapes數據集上本文方法對比于其他方法的結果如表3所示。如表3中所示，本文的方法比較于Deeplabv3+高了1.3%。

表3 Results of semantic segmentation by different methods on Cityscapes dataset

5 結語

本文針對復雜圖像分割過程中，出現的欠分割和過分割問題，提出了一種基于深度學習的全局卷積神經網絡模型，其中包括多尺度殘差空間金字塔池化模塊和基于注意力機制的解碼器模塊。實驗結果表明，本文提出的方法具有魯棒性強、分割效果較好等特點，不僅適用于Camvid的小型數據集，對于Cityscapes大型數據集的分割效果也有明顯改善。雖然取得了一定進展，但本研究仍存在不足與提升空間，因此，下一步的研究方向是尋求對復雜圖像進行更高效、快速的分割。