基于密集連接與特征增強的語義分割算法

馬素剛，陳期梅，侯志強，楊小寶，3，張子賢

（1.西安郵電大學 計算機學院，西安 710121；2.西安郵電大學 陜西省網絡數據分析與智能處理重點實驗室，西安 710121；3.西安郵電大學 西安市大數據與智能計算重點實驗室，西安 710121）

0 概述

在計算機視覺領域，基于語義分割對場景理解的研究起著關鍵性作用，是當前計算機視覺領域的重要研究方向和熱點。語義分割是像素級別的分類，主要任務是為圖像中每個像素分配其所屬類別的標簽并進行密集預測［1］。語義分割在許多實際應用中的需求快速增長，如交通標志識別［2］、場景識別［3］、點云分割［4］及醫學影像分析［5］等。

隨著計算機硬件技術的迅速發展和大量分割數據集的出現，基于深度學習的分割算法取得了令人矚目的進展和效果。SHELHAMER 等［6］提出的全卷積網絡（Fully Convolution Network，FCN）利用卷積層替換分類網絡（VGGNet、AlexNet 等）中的全連接層，實現像素點到像素點的預測，同時使用跳躍結構結合不同深度的特征信息，從而實現精度的提升。BADRINARAYANAN 等［7］提出的SegNet 僅存儲池化的最大權值索引，在解碼階段使用存儲的索引進行上采樣，該方法實現了精度與速度之間的權衡。RONNEBERGER 等［8］提出的U-Net 分割模型包括收縮路徑和擴展路徑。收縮路徑通過下采樣獲得上下文信息，擴展路徑獲取精準的位置信息，使用跳躍結構拼接兩條路徑中對應大小的特征，定位邊界信息。上述方法所設計的網路結構均采用連續的下采樣和池化操作，降低了圖像分辨率，且固定大小的感受野限制了對上下文信息的捕獲，從而導致對目標邊緣分割的不連續性。

DeepLabv1［9］引入空洞卷積替換網絡后幾層的降采樣操作，保證了特征圖的分辨率。LIU 等［10］在感受野模塊中引入空洞卷積，增大了感受野，增強了網絡的特征提取能力。受空間金字塔池化（Spatial Pyramid Pooling，SPP）［11］的啟發，DeepLabv2［12］將空洞卷積與金字塔相結合，提出空洞空間金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）模塊，使用不同采樣比例的空洞卷積，增強模型識別同一物體不同尺度的能力。DeepLabv3［13］設計級聯或并行的空洞卷積模塊，捕獲更大的感受野并獲取多尺度信息，同時將池化加入到ASPP 中獲取全局信息。ZHAO等［14］設計的金字塔池化模塊（Pyramid Pooling Module，PPM）通過聚合不同區域的上下文信息獲取全局上下文信息。DeepLab 系列方法及其變體方法在一定程度上解決了多尺度問題。

為進一步改善目標邊緣分割的連續性問題，研究人員提出了許多特征增 強方法。HOU 等［15］提出的協調注意力（Coordinate Attention，CA）模塊考慮空間和通道兩個維度的信息，強調有用的特征而抑制無用的特征，以增強特征的表達能力。Non-Local［16］通過計算任意位置之間的權重捕捉遠距離的依賴關系。注意力的特征增強方法主要是通過增加重要通道的權重，相對強調語義信息，而沒有考慮低層的細粒度信息和語義信息之間的關系。TAKIKAWA 等［17］提出的雙流語義結構將低層細粒度信息作為一個獨立的處理分支，通過融合語義特征與邊界特征獲得精確的分割結果。LIU 等［18］設計一個自下而上的增強路徑，將低層的位置信息流傳播到高層特征中，產生含有豐富語境信息的特征圖。DeepLabv3+［19］設計一個簡單的解碼器模塊，通過融合深層信息和淺層信息提升分割效果。綜上所述，DeepLab 系列方法解決了多尺度問題，但該類方法僅能利用像素點周圍稀疏的信息，高層語義信息之間缺乏相關性，導致分割錯誤。多路徑增強方法通常僅使用低層的高分辨特征圖，而忽略了主干網絡中其他層的特征信息，造成部分可用信息的損失，不能較好地解決分割結果不連續和邊界粗糙等問題。

針對上述算法存在的不足，本文結合DeepLabv3+算法，提出一種基于密集連接和特征增強的語義分割算法。該算法將空洞空間金字塔池化結構中并行分支的輸出以密集的方式連接，增強信息流之間的交互，同時利用骨干網絡產生的多階段特征增強特征的表征能力。

1 本文算法

本文提出一種基于密集連接和特征增強的語義分割算法，該算法充分利用主干網絡中各階段的特征信息，明顯改善分割邊界不連續及目標丟失等問題，提高語義分割精度。

1.1 算法結構

DeepLabv3+［19］是經典的編解碼結構。在編碼階段，原始圖像經過骨干網絡進行特征信息的提取，將第4 層的特征輸入到空洞空間金字塔池化模塊中編碼上下文信息，其由1×1 卷積、池化和空洞率為6、12、18 的空洞卷積組成。然后融合多尺度特征信息，使用1×1 卷積降低通道數。在解碼階段，首先對編碼階段的特征進行4 倍的上采樣，與骨干網絡第1 層特征經過1×1 卷積后得到特征拼接，拼接后的特征經過3×3 卷積細化特征，然后上采樣恢復到原始圖像的大小，輸出最終的分割結果。

本文基于DeepLabv3+算法的改進結構如圖1 所示（在圖1 中，圓圈中的C 表示拼接）。編碼器負責提取特征，將骨干網絡第4 個Block 層輸出的特征x4輸入到共享空洞空間金字塔池化模塊中，提取圖像的多尺度局部密集信息，該結構由多個不同空洞率密集連接的空洞卷積和平均池化組成，空洞率分別為1、6、12 和18，融合提取到的多尺度信息使用1×1 卷積降低融合后特征的通道數，然后對其進行4 倍上采樣。

圖1 本文改進算法結構Fig.1 Structure of the improved algorithm in this paper

其中：conv 表示1×1 卷積、激活函數和歸一化操作；up 表示4 倍的上采樣；SS-ASPP表示共享空洞空間金字塔池化。

在解碼階段，重利用ResNet 中4 個Block 層的輸出結果x1、x2、x3、x4，使用通道降低模塊將每層特征的通道數減少到128，得到一個精簡的特征金字塔Fr。

其中：CCR表示通道降低。利用特征金字塔增強模塊（Feature Pyramid Enhancement Module，FPEM）對Fr級聯多次達到特征增強的作用。

其中：output0表示對Fr級聯一次后的結果；outputn表示對Fr級聯多次(1 ≤n＜4)的結果。通過逐元素相加的方式融合級聯后的多個結果，對融合后的特征金字塔進行1×1 卷積，將通道數從512 減少到48，取得較好的分割結果。

其中：F表示融合操作；conv 表示1×1 卷積、激活函數和歸一化操作。最后融合編碼器所得特征，經過卷積和上采樣細化分割結果。

1.2 共享空洞空間金字塔池化

共享空洞空間金字塔池化（Shared-Atrous Spatial Pyramid Pooling，S-ASPP）模塊由級聯多個不同空洞率的空洞卷積和池化組成。小空洞率捕捉近距離信息，大空洞率捕捉遠距離信息。由于小物體具有的像素信息較少，在卷積過程中極易丟失或被誤分類。為更好地分割小物體，本文將前一層空洞卷積的輸出作為下一層輸入的一部分，使小物體能在不同大小的空洞卷積中被檢測到，增強局部信息流之間的傳遞。對于大空洞率的空洞卷積，通過連接前一層的輸出可以捕獲更多信息，如空洞率R=18，將空洞率R=12 的輸入及輸出均作為其輸入，可以利用更多的采樣像素來捕獲特征信息，提高信息利用率。為防止網絡過寬和信息冗余，在最后一個空洞卷積之前使用1×1 卷積降低維度。

密集連接增強了像素之間的相關性，上下文之間形成依賴關系。以一維空洞卷積為例，其運算如式（7）所示：

其中：x[i]為一維輸入；r表示空洞率；w[k]表示卷積核的第k個參數（k為卷積核的長度）；f[i]為一維空洞卷積的輸出。

對于空洞率為R和卷積核大小為K的空洞卷積，感受野大小的計算如式（8）所示：

當空洞率R=12、卷積核K=3 時，一維空洞卷積的感受野為25。如圖2（a）所示，每次只有3 個像素參與卷積運算，然而在二維卷積運算下效果更差，當空洞率越大時，卷積核的有效參數就越少。密集連接的S-ASPP模塊隨著空洞率的逐層增大，依次將前一層的輸出作為下一層輸入的一部分，通過采樣密集的像素，提高像素的利用率。如圖2（b）所示，在空洞率R=18 的空洞卷積上密集連接空洞率R=12 的輸入及輸出，空洞率R=12 的空洞卷積中有7 個像素參與運算，采樣點密度高于直接進行空洞卷積的采樣點密度。對于二維卷積而言，密集連接的空洞卷積的采樣像素遠多于一維卷積的采樣像素，增加了參與運算的參數，使該空洞卷積能利用更多的信息。

圖2 空洞卷積采樣點Fig.2 Atrous convolution sampling point

密集連接的空洞卷積不僅能利用更多的像素信息，而且可以獲得更大的感受野，如式（9）所示：

其中：RRFi+1和RRFi分別表示當前層的感受野和前一層的感受野；K'表示卷積核；Stri表示之前所有卷積層的步長乘積。

Stri計算公式如式（10）所示：

如將空洞率R=12 的空洞卷積密集連接到空洞率R=18 的空洞卷積上，感受野由原來的37 增加到61，參與運算的有效元素也隨之增加。利用S-ASPP模塊能在較大的感受野中獲得更密集的采樣點像素，更加準確地判斷每一像素所屬類別，有效降低信息損失。

1.3 特征金字塔增強融合模塊

特征金字塔增強融合模塊（Feature Pyramid Enhancement Fusion Module，FPEFM）包括特征金字塔增強模塊（FPEM）［20］和特征融合模塊（Feature Fusion Module，FFM）。FPEM 由上尺度增強和下尺度增強兩部分組成。

上尺度增強作用于精簡的特征金字塔Fr，首先將輸入特征中第4 層的特征進行2 倍上采樣后與第3 層特征的元素對應相加，將相加后的特征經過3×3 深度可分離卷積加深網絡深度，同時利用歸一化處理和激活函數增強網絡的非線性表達能力，得到融合后的特征，以此類推，直到精簡特征金字塔的第1 層特征。下尺度增強的輸入是上尺度增強后的結果，將上尺度增強中輸出的第3 層特征進行2 倍上采樣操作與第4 層特征的元素對應相加，將相加后的特征經過3×3、步長為2 的深度可分離卷積加深網絡深度，同時利用歸一化和激活函數增強網絡的非線性表達能力得到融合后的特征，以此類推，直到上尺度增強輸出中的第1 層特征，最終輸出增強后的整體特征圖。

就分割而言，深層信息便于提取像素的類別，淺層信息有利于提取邊緣和紋理信息，每一種信息都有不可替代的作用。FFM 用于融合不同深度和尺度的特征，連接和上采樣是常用的融合方法，然而上述方法導致融合后的特征通道數變多，影響算法的運算速度。為此，使用一種新的融合方法，以逐像素相加的方式融合同尺度特征，然后將相加后特征中低分辨率上采樣到高分辨率，拼接為512 個通道的特征圖，再利用1×1 卷積將通道數減少到48，得到更好的分割結果。

2 實驗

在實驗過程中，本文算法使用Python 3.6 進行數據處理，操作系統為Ubuntu 18.04，GPU 為NVIDIA TITANV，CUDA 10.2 加速運算，CPU 為Intel?Xeon?Gold 6136。

2.1 實驗參數

本文算法在PASCAL VOC 2012 增強數據集和Cityscapes 數據集上進行驗證。使用Poly 學習策略，優化器為隨機梯度下降（SGD），權重衰減為0.000 6。PASCAL VOC 2012 數據集的學習率為0.002，批量處理大小為8，訓練46 個epochs，將輸入圖像隨機剪裁到512×512 像素。為驗證本文算法的魯棒性，在Cityscapes 數據集上進行驗證，其中，學習率為0.000 1，批量處理大小為2，最大迭代次數為60 000次，將輸入圖像隨機剪裁到769×769 像素。在訓練過程中使用數據增強避免過擬合現象的產生，包括隨機翻轉（p=0.5），在［0.5，2.0］的比例范圍內做隨機縮放。為進一步提高算法性能，在驗證過程中使用多尺度輸入，計算多尺度的平均結果作為最終結果。實驗結果表明了多尺度測試的效果優于單尺度測試。

2.2 數據集及評價指標

PASCAL VOC 2012 是語義分割的基準數據集，該數據集包含20 個前景類和1 個背景類。本文采用PASCAL VOC 2012的擴充數據集，將原始數據集和SBD數據集融合擴充訓練集圖片到10 582 張。擴充后的數據集有更多的數據量，使模型表現出更強的泛化能力。

Cityscapes 是包括多個城市的街道場景數據集。該數據集包含5 000 張精細標注圖像和20 000 張粗標注圖像，但在本文中僅使用精細標注圖像，其中，2 975 張圖像用于訓練，500 張圖像用于驗證，1 525 張圖像用于測試。

本文采用平均交并比（mean Intersection over Union，mIoU）和每秒檢測幀數（Frames Per Second，FPS）作為評估指標。mIoU 是計算真實值和預測值兩個集合的交并集之比，衡量語義分割結果的質量。計算公式如式（11）所示：

其中：N為像素類別數量；pij表示實際類別為i類預測為j類的像素總數；pii表示實際類別為i類預測類別也為i類的像素總數。

FPS 評估算法的檢測速度，其計算公式如式（12）所示：

其中：N為圖片的數量；Tj為處理第j張圖片的時間。

2.3 實驗結果分析

2.3.1 PASCAL VOC 2012 數據集實驗結果

圖3 所示為本文算法與基礎算法在PASCAL VOC 2012 數據集上的對比。

圖3 PASCAL VOC 2012 驗證集的可視化結果Fig.3 Visual results of PASCAL VOC 2012 validation set

從第1 行的分割結果可看出，DeepLabv3+算法對船的整體輪廓分割的較粗糙，而本文算法的分割結果更加清晰和精細，邊緣更加平滑。在第2 行的可視化結果中，DeepLabv3+算法將左邊第1 個人的腿部像素誤分割為第2 個人腿部像素的一部分，且輪廓不精細，同時缺失對馬頭部信息的預測，本文算分的分割算法能較好地將腿部像素區分開，并成功預測出原算法中未識別出的像素信息。在第3 行中，原算法對沙發和人的輪廓分割的較為模糊且粗糙，而本文算法能較好地分割出沙發和人之間的邊緣，且沙發的邊緣較為精細和平滑。從第4 行的可視化結果中看出，原算法網絡結構無法預測桌子的整體輪廓，且預測出的一部分邊緣模糊和不連續，而本文算法成功地預測出桌子的整體輪廓信息并清楚地呈現出左邊桌架。綜上所述，本文提出的分割算法能使分割結果更加精細，相對于原算法，本文算法對邊緣的分割更加清晰和平滑。

為進一步驗證本文算法的分割優勢及有效性，基于PASCAL VOC 2012 數據集將本文算法與其他分割算法相比較，結果如表1 所示。本文算法的mIoU比DUpsampling［21］、DANet［22］、PANet［23］和HyperSeg［24］分別提高1.46、0.19、0.36 和0.53 個百分點。從表1可看出本文算法取得了較好的結果。

表1 不同算法在PASCL VOC 2012 數據集上的對比結果Table 1 Comparison results of different algorithms on PASCL VOC 2012 dataset

2.3.2 Cityscapes 數據集實驗結果

圖4 所示為本文算法與基準算法在Cityscapes數據集上的對比。例如，從第1 行的每張圖像中對路邊欄桿、路燈桿等小目標像素的預測結果可以發現，本文算法的分割結果更加連續與平滑。在第3 行的分割結果中，原算法對車輪廓的分割結果非常粗糙，但本文算法較好地呈現了車的輪廓信息，邊緣更加平滑，帶來了更好的可視化結果。在最后一行中，原算法將不同的道路像素信息分割為同一種像素信息，出現誤分割的現象，同時對行人的分割較為粗糙，而本文算法能夠較好地區分道路像素，對行人的分割更加精細，帶來了更好的可視化結果。此外，對于其他類別，如交通標志、墻壁、建筑物以及植物等像素，本文算法利用FPEFM 對多階段信息進行重利用，提高了對物體邊緣的分割效果。

圖4 Cityscapes 驗證集的可視化結果Fig.4 Visual results of Cityscapes validation set

為進一步驗證本文算法的有效性，將本文算法與近年來的分割算法進行比較，對比結果如表2 所示，可以看出本文算法取得了較好的結果。

表2 不同算法在Cityscapes 數據集上的對比結果Table 2 Comparison results of different algorithms on Cityscapes dataset %

2.4 消融實驗

2.4.1 各模塊的性能比較

為進一步驗證本文所提出的S-ASPP 模塊和引入的FPEFM 模塊對性能的影響，本文在PASCAL VOC 2012 增強數據集上逐層做消融實驗，以mIoU為對比指標，實驗結果如表3 所示。

表3 各模塊性能比較Table 3 Performance comparison of each modules %

本文以DeepLabv3+為基準，所有消融實驗的結果均來自PASCAL VOC 2012 增強訓練集，并在驗證集上進行評估。由對比實驗1 和實驗2 可知，將本文設計的S-ASPP 模塊取代原算法中的ASPP 模塊，獲得79.75%的分割精度，該模塊主要提高各分支之間的語義交互，充分利用深層信息，獲取豐富的語義信息。由實驗1 和實驗3 可知，將引入的FPEFM 作為本文算法的解碼器，mIoU 相對原算法提升1.65 個百分點，該模塊增強骨干網絡中不同尺度特征的表達能力，并促進不同深度特征信息的融合。對比實驗1 和實驗4 可知：將S-ASPP和FPEFM 模塊同時加入原算法中，最終精度達到了81.13%，相比于基礎算法提升2.28 個百分點。

圖5 所示為加入各模塊后的分割圖像，更加直觀地表示了每個模塊的有效性。其中，第1 列為原始圖像，第2 列為原算法的分割圖像，第3 列是S-ASPP 替換原算法中ASPP 結構的分割結果，第4 列是引入FPEFM 作為解碼器的分割結果，第5 列是同時加入S-ASPP 和FPEFM 的最終分割圖像。由可視化結果可看出：同時加入S-ASPP 和FPEFM 模塊后，能更好識別出物體邊緣的像素點，改善物體邊緣的分割效果。

圖5 加入各模塊后的可視化結果Fig.5 Visual results after adding each modules

2.4.2 FPEM 模塊的數量

表4 所示為在原算法中加入不同數量的FPEM對PASCAL VOC 2012 驗證集性能的影響。由表4的結果可以看出：將FPEM 的數量N從2 增加到4時，性能得到不同程度的提升，但FPEM 數量從4 增加到5 時，性能呈現下降趨勢，這表明適合的FPEM數量有利用增強特征的表征能力，但超過一定數量時，可能會捕獲到大量的干擾信息，影響最終的分割效果。同時，隨著數量的不斷增加，相應地也增加了參數量，進而影響運行速度。為了取得更好的性能，在后續的實驗中將FPEM 數量設置為4。

表4 不同數量的FPEM 的結果Table 4 Results with different numbers of FPEM

2.4.3 通道數對FFM 的影響

FFM 融合FPEM 中不同深度的特征，FFM 輸出的通道數為528。該模塊的輸出通道數對性能的影響如表5 所示，當輸出通道數為48 時，可以得到更好的分割結果。因此，采用［1×1，48］進行通道縮減。

表5 通道數對FFM 模塊的影響Table 5 Influence of channel number on FFM module

2.4.4 S-ASPP 中參數設定

采用控制變量方法驗證共享空洞空間金字塔池化模塊對算法性能的影響，主要考慮空洞率組合的選取以及密集連接方式兩個方面。選擇適當的空洞率對S-ASPP 模塊較為重要，在相同卷積層的情況下能擴大感受野。空洞率較大會遺漏對小物體的分割，空洞率較小會影響大物體獲取上下文信息，造成分割不連續和誤分割問題。本文選擇了3 組空洞率作為比較，如表6 所示，通過對比實驗1（原算法）與實驗2、4、6 可知，實驗2、4、6 的空洞率組合結果均優于原算法的空洞率組合結果，其中最適合的空洞率為4、8、12 和16，mIoU 提高0.53 個百分點，速度也易于接受。比較實驗2、4、6 和實驗3、5、7 可知，密集連接方式較無密集連接分別提高0.2、0.4 和0.5 個百分點，這表明密集連接有效地建立了不同空洞卷積之間的依賴關系，降低了信息損失。其中空洞率為1、6、12 和18 的密集連接實現了更佳的分割結果，但速度比無密集連接有所下降。由于改進后的算法變得越來越復雜，算法的參數、速度等方面都會受到影響，很難在精度、速度和參數等因素之間保持平衡，但所增加的參數量和速度在可接受范圍內，因此該算法以犧牲客觀因素為代價，換取mIoU 的提高。綜上所述，S-ASPP 模塊選擇空洞率為1、6、12 和18 的密集連接。

表6 S-ASPP 中參數設定的對比Table 6 Comparison of parameter settings in S-ASPP

3 結束語

本文提出一種基于密集連接和特征增強的語義分割算法，整個網絡采用編解碼結構。編碼器通過提取圖像信息，利用S-ASPP 模塊提取特定分辨率特征的多尺度信息捕獲密集的采樣點像素，從而獲取更加全面的局部信息。解碼器恢復圖像的分辨率，從重利用骨干網絡的多層特征出發對其進行特征增強，提高特征的表征能力，并融合編碼器和解碼器得到特征信息。實驗結果表明，該算法有效地解決了分割邊緣不連續和誤分割等問題，取得了理想的分割結果。本文算法側重于精度的提升，但忽略了速度等因素，后續研究將從局部、全局以及上下文信息的角度出發，設計一種有效的結合方式，滿足語義分割算法對準確性和實時性的要求。