融合多尺度和邊界優化的圖像語義分割網絡

李 鑫，張紅英，劉漢玉

1.西南科技大學 信息工程學院，四川 綿陽 621010

2.西南科技大學 特殊環境機器人技術四川省重點實驗室，四川 綿陽 621010

圖像語義分割作為計算機視覺任務中不同于目標檢測和圖像分類的基石性技術，為圖像中每一像素分配一個預先定義好的表示其語義類別的標簽達到像素級分類任務[1]。具體來說，圖像語義分割是指從像素級別分辨出圖像中的目標對象具體是什么以及目標對象在哪個位置，即先把圖片中的目標檢測出來，然后描繪出每個個體和場景之間的輪廓，最后將它們分類并對屬于同一類的事物賦予一個顏色進行表示[2]。近年來，隨著計算機視覺中深度學習技術的發展，圖像語義分割在自動駕駛、智能醫療等方面都得到廣泛應用。DCNN的內在不變性可以學習到密集抽象的特征，比傳統根據樣本特征設計的系統性能要好很多。但現有語義分割算法依然存在類內語義誤識別、小尺度物體丟失、分割邊界模糊等問題。因此，捕獲更多特征信息和針對目標邊界優化是提升分割準確率的重要研究內容。

2006 年Hinton 等人提出深度學習概念[3]，卷積神經網絡在表征學習方面得到認可。得益于計算機顯卡算力的全面發展。2015 年，Long 等人在文獻[4]提出全卷積神經網絡（fully convolutional network，FCN），將VGG-16 網絡[5]中全連接層替換為卷積層，在上采樣特征圖中進行像素分類。相較傳統方法，在分割速度和準確率上獲得全面提升，但分割結果不夠精細，缺乏空間一致性。同年，文獻[6]提出用于醫學圖像的編解碼語義分割模型U-Net，使用編碼器下采樣獲得空間信息和圖像語義，解碼器則通過上采樣恢復特征圖分辨率，通過特征圖跨層融合方式提取圖像細節信息，在醫學領域具有良好表現但不適用與室內外場景語義預測。2016年，文獻[7]在Deeplab V1 網絡[8]的基礎上提出Deeplab V2 模型，使用膨脹卷積代替部分池化操作進行下采樣濾波器進行特征提取，使用空間金字塔池化（atrous spatial pyramid pooling，ASPP）模塊[9]進行多尺度特征提取，獲得更豐富的語義信息，使用全連接條件隨機場（conditional random field，CRF）進行類別細節優化。2017年，Deeplab V3[10]在V2網絡的基礎上對ASPP模塊進行改進，構成一個端對端的網絡結構，取消CRF邊界優化模塊。2018 年提出的Deeplab V3+[11]將V3 網絡作為編碼器，通過增加結構簡單的解碼器構建一個帶膨脹卷積和空間金字塔池化的編-解碼器網絡模型，取得更好的分割結果，但仍然存在類內誤識別和邊界預測粗糙問題。2019 年，微軟亞太實驗室提出高分辨率網絡（high resolution network，HRNet）[12]通過與眾不同的并聯結構保持高分辨率表征，已經在人體姿態估計和語義分割等方面驗證有效性，但并行網絡在提升深度網絡擬合力的同時大大增加了模型復雜度。

在語義分割領域，網絡結構通常采用編-解碼器結構；以上提到的算法除Deeplab V3+外，其他網絡幾乎都沒有考慮有效地使用解碼器模塊，或僅使用結構單一的編解碼對稱結構，在上采樣過程中，未能將高級語義信息和低級空間信息進行有效地跨層融合，丟失特征圖重要像素信息，造成語義分割預測結果粗糙。因此，針對上述問題，本文提出一種以Deeplab V3+為基礎的階梯型網絡模型，該方法首先對編碼器中ASPP 模塊進行優化，使用視覺激活函數FReLU[13]替換基線網絡中非線性激活函數ReLU，提升空間像素關聯性；其次針對先前廣泛使用的馬爾科夫隨機場和CRF 算法在Deeplab V3+網絡中優化結果效果較差問題，選取HRNet為骨干網絡的優化算法獲取更精細預測結果；最后通過實驗驗證了改進后網絡具有更好的語義分割效果。

1 本文算法

1.1 Deeplab V3+網絡結構

Deeplab V3+網絡結構是谷歌實驗室提出Deeplab系列中最新一代語義分割網絡框架，在多個數據集表現優越，以先前提出的V3網絡框架為基礎，延續使用膨脹卷積減少網絡計算量，空間金字塔池化（ASPP）進行多尺度特征提取，使用預訓練的ResNet-101[14]或Xception作為骨干網絡，使用數據歸一化（BN）層防止訓練過擬合，并添加解碼器網絡部分，構建端對端的編--解碼器網絡模型。

DeeplabV3+網絡結構如圖1 所示。將輸入的圖像通過帶有膨脹卷積的神經網絡，在保證較大感受野的同時減少下采樣次數，分別提取高級語義信息和低級空間信息，將高級語義信息通過膨脹率為6、12、18的卷積層和一個最大池化層構成的ASPP 模塊提取上下文信息，得到原始圖像1/16分辨率的特征圖，并使用卷積運算調整通道數，雙線性插值四倍上采樣與調整好的通道數一致的低級空間信息跨層融合，四倍上采樣恢復原始圖像分辨率并恢復空間細節信息，輸出圖像分割結果。

1.2 改進后的階梯型Deeplab V3+網絡

相較Deeplab V3+網絡中圖像大尺度目標精細預測，更容易造成小尺度目標缺失和類別邊界粗糙問題，針對DeeplabV3+網絡的不足，提升其空間建模能力來捕獲更豐富上下文信息，并針對邊界問題進行優化。改進后的階梯型Deeplab V3+網絡如圖2 所示，該網絡以ResNet-101 為骨干網絡，包含編碼器、解碼器和優化器三部分，其主要的改進內容包括以下幾點：

（1）在編碼器方面，DeeplabV3+網絡將V3模型作為編碼器，延續使用V3 模型ASPP 模塊原有膨脹率為6、12、18的膨脹卷積，而隨著卷積神經網絡對圖像特征信息的不斷提取，特征圖分辨率不斷降低。考慮到在提取低分辨率特征時，相較于膨脹率為6的膨脹卷積使用膨脹率為4、8 的膨脹卷積能夠更好地捕獲圖像中小尺度目標細節信息；同時在分割大尺度目標時，需要獲取較大感受野，相較于膨脹率為18的膨脹卷積，24的膨脹卷積具有更大感受野，在分割大尺度目標時更有利。將本文提出的ASPP 參數與V3+模型提供的ASPP 模塊（6、12、18）進行實驗對比，本文提出參數效果優于原有參數，因此本文使用4、8、12、24 替換原有ASPP 模塊中膨脹卷積膨脹率。

（2）在解碼器方面，原有的Deeplab V3+模型只設計一個簡單的解碼器，解碼器主要處理高低層特征圖融合操作；在進行特征圖跨層融合時，考慮到ResNet101網絡1/4 倍下采樣特征圖包含豐富的低級空間信息，而編碼器ASPP 模塊生成的1/16 特征圖包含豐富的高級語義信息，因此在特征圖融合時，因此需要將ASPP模塊生成的高級特征圖大小調整至骨干網絡生成的低級特征圖大小，故而需要將編碼器ASPP 模塊生成的1/16特征圖進行4 倍上采樣，再與骨干網絡生成的1/4 特征圖進行融合。再進行卷積和上采樣操作生成預測結果圖；在原有的編解碼網絡中使用ReLU 激活函數進行非線性激活，ReLU 激活函數的可靠性在深度學習領域已經得到認可，但在計算機視覺任務中缺乏像素級建模能力，因此本文使用二維視覺激活函數FReLU 替換編解碼器中的ReLU激活函數獲取精度補償。

（3）在優化分支方面，考慮到原有網絡未使用模型算法對生成的結果圖進行優化。改進后的Deeplab V3+網絡增加了一個針對分割結果的優化分支，在優化分支中，通過邊界圖和方向圖生成包含每個像素偏移量的邊界偏移圖，對生成的粗略預測圖進行坐標映射調整，細化后的預測結果圖目標輪廓連貫、邊界清晰，預測準確率更高。

1.2.1 編碼器優化

膨脹卷積和空間金字塔池化模塊（ASPP）作為編碼器中的重要組成部分，最早由Deeplab V2網絡提出，由于其在多尺度特征提取時的卓越表現，在圖像語義分割領域沿用至今。ASPP模塊將輸入特征圖并行通過不同膨脹率的膨脹卷積和全局平均池化層，較小的膨脹率能夠更有效的分割小尺度目標；較大的膨脹率在分割大目標時更有效。對編碼器中ASPP 模塊進行改進，如圖3所示，將骨干網絡產生的1/16 特征圖并行進入1×1 卷積、膨脹率為4、8、12、24 的膨脹卷積和全局平均池化層，生成6個通道數為256的1/16大小的特征圖，在通道維度上對6個特征圖進行拼接，生成ASPP模塊特征圖，更好地提取多尺度圖像特征，提升網絡對不同尺度物體的分割能力。

1.2.2 編-解碼器建模能力優化

在深度學習中，卷積神經網絡在處理視覺任務方面，具有良好的性能優越性。非線性激活函數是卷積神經網絡中提供良好非線性建模能力的必要組成部分。現在常見的激活函數主要有ReLU 及其演變而來的PReLU。

其中，ai為學習值。

ReLU作為最常用的激活函數，當輸入大于零時，為函數的線性部分。但當輸入小于零時，采用人為設置零值的方式，對函數進行調整。故而存在激活死區，導致在訓練時，激活函數魯棒性差，在面對大梯度輸入時，極容易出現神經元“壞死”問題，在后續網絡算法中，已“壞死”神經元無法再次激活，導致參數無法獲得更新，梯度值為零。

PReLU 通過引入隨著數據計算而改變的隨機參數ai為輸入小于零部分添加線性激活部分。以上激活函數在深度學習中被應用于各個領域，可靠性得到認可。但在計算機視覺領域，這些激活函數無法提取更精細的像素級空間建模能力，因此使用2020 年香港科技大學和曠視科技提出的視覺任務激活函數Funnel ReLU（FReLU）語義分割網絡進行精度補償，獲取更豐富的空間上下文語義信息。

FReLU 是一種專門為計算機視覺任務提出的二維漏斗狀激活函數，通過向一維的ReLU激活函數中添加漏斗條件T(X)將其擴充至二維空間（如圖4 所示），只引入少量的計算量和過擬合風險，以激活網絡中的空間不敏感信息改善視覺任務，表達式為：

其漏斗條件為預設參數的正方形滑動窗口，通過深度可分離卷積和數據歸一化（BN）實現，能夠提升像素與像素之間的空間依賴性，激活空間不敏感信息從而獲取豐富空間上下文信息，提升像素級空間建模能力，漏斗條件像素級建模能力圖形描述如圖5所示；只引入少量的參數，引入極少的復雜度。考慮到自然物體中，除垂直與水平方向外，斜線和圓弧同樣常見，通過不同激活層提取的像素空間信息，使用不同大小的正方形表示，通過極限近似思維構成斜線和圓弧激活域，避免只使用平常的水平、垂直激活域造成的建模能力不足。

在曠世科技發表的論文中已經說明FReLU激活函數在計算機視覺任務表現優于當前存在的所有激活函數，通過大量實驗驗證FReLU 函數的泛化性和與深度網絡的匹配適應度都強于ReLU函數。例如在ImageNet 2012 中對ResNets 骨干網絡與其他有效激活函數的比較，在保證其他參數不變的先決條件下，對ResNet-50中FReLU激活函數TOP-1錯誤率僅為22.4%。較ReLU準確率提升1.6%，較PReLU準確率提升1.3%。在ResNet-101中FReLU表現同樣優于ReLU激活函數。

隨著網絡層數的不斷加深，下采樣和金字塔空間池化操作會導致輸入特征圖分辨率逐漸變低，考慮到FReLU激活函數只引入少量的函數復雜度，提高少量的非線性激活成本，因此在網絡框架的深層部分將原有的ReLU激活函數使用FReLU激活函數替換，實現更高的測試準確率，雖然會造成少量的運算延時，但可以彌補只使用ReLU 激活函數缺乏空間不敏感信息造成的潛在精度損失。

1.2.3 邊界優化分支

現有語義分割網絡中，相較于類內混淆錯誤，邊界分割錯誤率更高，但先前研究中廣泛使用的全連接條件隨機場（CRF）對Deeplab V3+網絡預測結果圖改善收效甚微，無法再作為Deeplab V3+的網絡邊界優化算法。考慮到在圖像分割結果中，類內像素分割比邊界分割更為可靠，2020年英偉達公司提出Segfix[15]網絡將準確類內像素預測應用到圖像邊界像素預測，通過對圖像邊界進行提取，對邊界方面進行預測，將提取出的圖像邊界通過方向預測產生的偏移圖轉換為類內像素預測，每個邊界像素都分別對應一個類內像素，將高準確率的類內像素預測應用到低準確率的邊界部分，通過減少圖像分割的邊界錯誤來提升圖像的整體預測準確率。考慮到Deeplab V3+網絡在多個數據集上具有良好的類內分割準確率，因此將錯誤率較高的邊界像素映射到類內像素進行結果預測對Deeplab V3+網絡是可行有效的。

考慮到HRNet 并行網絡能夠時刻保持高分辨率特征表現，故選取其作為優化分支特征圖提取網絡；如圖6所示邊界優化模塊中，將獲得的特征圖分別送入邊界分支和方向分支中，在邊界分支中分別使用1×1卷積、BN歸一化和ReLU 激活函數生成通道數為256 特征圖，再使用1×1卷積構成的線性分類器進行上采樣預測，使用預設閾值進行邊界劃分，小于閾值的劃分為目標邊界，反之則為內部像素。生成包含每個像素屬于邊界像素概率的邊界圖，使用二元交叉熵函數作為邊界分支損失函數。生成的二進制邊界圖中，邊界像素用1 表示，內部像素用0表示。在對邊界較厚物體進行預測時，僅使用閾值劃分容易造成內部像素虛假預測。為解決此問題，通過人為設置縮放因子對所有偏移量重新縮放，減少虛假像素造成的預測錯誤。

在方向分支中，同樣使用1×1 卷積、BN 歸一化和ReLU激活函數生成通道數為256特征圖，再使用1×1卷積構成的線性分類器進行上采樣預測，考慮到離散分區相較于常規的連續方向圖表現更好，因此將地面真實場景圖的整個方向均勻的分為8 個離散分區。并使用標準類別交叉熵損失函數監督離散方向圖的損失值。生成的離散方向圖包含每個邊界像素與之同類像素的方向信息，再將0、1組成的二進制邊界圖與生成的離散方向圖進行全局相乘，1值代表的邊界像素方向被處理保持不變，而0值代表的內部像素區域被屏蔽不在計算之中。保留邊界圖中0值內部像素并提取1值邊界像素對應方向圖中方向向量，將邊界圖與方向圖融合為一張具有各個邊界像素不同方向偏移量信息的偏移圖，通過優化公式：

對邊界像素進行調整，其中L～ 是細化后標簽地圖，pi代表邊界像素i的位置，Δqi代表生成的內部像素的偏移向量；pi+Δqi代表被識別的內部像素的位置；將每個邊界像素的粗略預測調整為優化后的最終預測。

2 實驗分析

本文使用Ubuntu18.04操作系統，硬件環境為Intel?Core?i7-9700 CPU@4.7 GHz處理器，32 GB內存，GPU為NVIDIA GTX2080 Ti11 GB；使用pytorch 深度學習框架。

2.1 數據集、評價標準與超參數設置

2.1.1 數據集

本文在公開數據集Cityscapes[16]和PASCAL VOC 2012增強版數據集[17]上驗證膨脹率調整后的ASPP模塊性能，在PASCAL VOC 2012 增強版數據集上驗證FReLU 激活函數的有效性，最后在Cityscapes 數據集上驗證改進后算法性能指標。

Cityscapes由三家德國公司聯合提供的大規模城市街景數據集，包含50 個城市不同天氣、季節的5 000 張環境駕駛精細標注圖像，（其中，2 975張圖像用于訓練，500張圖像用于驗證，1 525張圖像用于測試），共提供19個類別標注，每張圖像分辨率為2 048×1 024，圖像中道路場景信息復雜，分割類別尺度不一。

PASCAL VOC 2012 增強版數據集由國際計算機視覺挑戰賽中發布的用于目標視覺任務所使用的PASCAL VOC 2012[18]和SBD數據集合并而成，包括人、動物、交通工具和生活用品等20類物體對象和1類背景標簽，使用10 582 張額外標注圖像作為訓練集進行訓練，驗證集1 449張，測試集1 456張。

2.1.2 評價指標

平均交并比（mean intersection over union，MIoU）由于簡潔、代表性強而成為語義分割標準度量指標。基于類進行計算的交并比（IoU）通過計算真實值集合和預測值集合的交集和并集之比，計算圖像真值與預測結果的重合程度。利用混淆矩陣表示IoU 包含真正例true positive，TP），即實際是目標，預測也是目標；假正例（false positive，FP），即實際不是目標，但預測成目標；假負例（false negative，FN），即實際不是目標，預測也不是目標。IoU計算公式為：

平均交并比（MIoU）將每一類的IoU 計算之后累加，再進行平均，得到圖像全局評價。

其中，k表示標簽標記的類別，k+1 表示包含空類或背景的總類別，pii表示實際為i類預測為i類的像素數量，pij表示實際為i類但預測為j類的像素數量，pji表示實際為j類但預測為i類的像素數量。MIoU的取值范圍為[0，1]，MIoU 的值越大，說明預測的分割圖越準確。

2.1.3 超參數設置

在實驗過程中，選擇ResNet-101 作為骨干網絡，其他超參數固定如表1 所示。批處理大小（batch）設置為8，并使用數據擴充，在PASCAL VOC 2012增強版數據集中將輸入圖像分辨率調整為400×400，并在[0.5，2]范圍內進行隨機縮放，再將圖像隨機裁剪為380×380 大小進行訓練；在Cityscapes 數據集中將輸入圖像分辨率調整為768×768并在[0.5，2]范圍內進行隨機縮放，再將圖像隨機裁剪為512×512 大小進行訓練，經過處理后的樣本更具隨機性，能更有效地防止訓練過程中過擬合問題。

表1 超參數設置Table 1 Super parameter setting

2.2 實驗結果及對比

2.2.1 ASPP模塊不同膨脹率效果對比

膨脹卷積是ASPP 模塊的重要組成部分，在不增加參數復雜度的同時能夠獲得更大的感受野，因此在進行多尺度特征提取時，選擇合適的膨脹率能夠更有效地獲取圖像特征信息。本文使用4、8、12、24的膨脹卷替換原有ASPP 模塊中膨脹率為6、12、18 的膨脹卷積，改進后的ASPP 模塊在PASCAL VOC 2012 增強版數據集和Cityscapes 數據集上MIoU 值分別提升0.004 和0.003。預測結果如表2 所示，證明改進后的ASPP 模塊預測效果更好。

表2 改進前后ASPP模塊預測結果Table 2 Prediction results of ASPP modulebefore and after improvement

2.2.2 使用FReLU精度補償前后的效果對比

使用ResNet-101作為預訓練模型和改進后的ASPP模塊的Deeplabv3+網絡作為基線，將網絡中原有非線性激活函數ReLU替換為視覺激活函數FReLU，改進前后在PASCAL VOC 2012 增強數據集對比結果如表3 所示，相較原始的Deeplab V3+網絡改進后的網絡全局平均MIoU值提升0.009，絕大多數物體分割準確率獲得提升，證明FReLU 激活函數對網絡優化的有效性。可視化對比圖如圖7 所示，從預測結果可以看出，Deeplab V3+網絡在第一行測試圖像中，對大尺度目標（飛機）分割相當清晰，但對存在遮擋的小尺度目標分割有明顯的缺失，通過對比可以看出使用FReLU 激活函數進行精度補償后的Deeplab V3+網絡整體對小尺度目標具有更好的語義捕捉能力。在第二行測試圖像中，Deeplab V3+網絡預測結果存在分割目標邊界模糊和目標類內誤識別問題，通過對比可以看出使用FReLU 激活函數進行精度補償后的Deeplab V3+網絡預測結果邊界準確率更高，能夠有效地減少類內誤識別問題。

表3 VOC 2012數據集IoU值結果Table 3 Results of IOU values in VOC 2012 dataset

2.2.3 Cityscapes數據集實驗結果

將本文階梯型網絡與基線網絡設置相同參數，在Cityscapes數據集進行測試，改進前后各類別MIoU值如表4 所示，通過對比可知相較于原始的Deeplab V3+網絡模型改進后的網絡整體MIoU值提升0.013，且對各類別MIoU值均有不同程度提升。

表4 Cityscapes數據集IoU值實驗對比Table 4 Experimental comparison of IOU values in Cityscapes dataset experiments

改進后的算法在Cityscapes數據集上的可視化效果如圖8 所示，對比紅色標注區域，從第一行預測結果可以看出，Deeplab V3+網絡對圖像中小尺度黃色交通標志預測準確率較低，同時對汽車的邊界預測較為粗糙并且存在較大錯誤預測，而本文提出的算法通過提取更豐富的空間上下文信息，對圖像中小尺度黃色交通標志預測能力更強，并對物體邊界進行優化，優化后的汽車邊界預測更為精細，與真實標簽圖相似度更高；從第二行預測結果中可以看出，Deeplab V3+網絡由于天空場景和墻體部分交叉出現，將圖像中大量天空場景錯誤的識別為墻體部分，而本文使用的算法通過對各個類別進行精確邊界劃分，能夠更準確地識別天空和墻體的邊界輪廓，避免相鄰類別之間的分類混淆問題。從第三行預測結果可以看出，Deeplab V3+網絡未能預測出左側地形類別，將卡車類別誤識別為汽車類別，并將右側的地形區域誤識別為人行道，而本文提出的算法，糾正了卡車和右側地形誤識別問題，并有效預測Deeplab V3+未識別地形，使預測結果更加精細。通過上述實驗結果驗證了本文算法對原有Deeplab V3+網絡在小尺度預測、類內誤識別和邊界模糊方面的提升。

同時，在相同實驗設備和超參數設置下，在Cityscapes數據集上，將本文算法與經典算法（UNet、SegNet、PspNet）和最新相關研究算法（UperNet、HRNet）進行對比，對比實驗結果如表5 所示，可以看出，本文算法在building、wall等11個不同類別中具有更好的分割結果。

3 結論

本文在Deeplab V3+網絡的基礎下構建階梯型網絡框架，保留原有網絡中膨脹卷積和編-解碼器結構，通過對空間池化金字塔模塊進行改進，將原有非線性激活函數ReLU替換為效果更好的視覺激活函數FReLU，以獲得精度補償，在解碼器后新增優化分支對生成的粗略預測圖進行細化。在Cityscapes公開數據集上進行對比實驗，實驗結果表明，經過改進后的算法各類別平均交并比均獲得不同程度提升，能夠更好地捕獲小尺度目標和分割物體邊界區域。