基于改進Sobel算子的語義分割算法

劉清華 仲臣 徐錦修 韓雨辰

摘? 要：針對常用語義分割算法存在丟失邊緣信息導致分割不夠精確的問題，通過結合邊緣檢測算法進行語義分割，有效地改善了分割不準確及邊緣模糊的問題。算法采用并行結構，通過邊緣檢測子網絡所提取的邊緣特征來對語義分割子網絡所提取的語義分割特征進行信息的補充，采用concat融合兩路特征進行卷積操作來獲取最終分割結果。實驗基于TensorFlow平臺進行，所提出方法相比以往算法在計算速度接近的同時真實值和預測值的交并比上取得了一定提升，增強了分割結果。

關鍵詞：圖像分割;邊緣檢測;深度學習;全卷積神經網絡

中圖分類號：TP391.41;TP242? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）24-0101-05

Semantic Segmentation Algorithm Based on Improved Sobel Operator

LIU Qinghua1，2，ZHONG Chen1，2，XU Jinxiu1，2，HAN Yuchen1，2

（1.School of Space Information and Surveying Engineering，Anhui University of Science and Technology，Huainan? 232001，China;

2.Key Laboratory of Aviation-Aerospace-Ground Cooperative Monitoring and Early Warning of Coal Mining-Induced Disasters of Anhui Higher Education Institutes，Anhui University of Science and Technology，Huainan? 232001，China）

Abstract：Aiming at the problem of inaccurate segmentation caused by the loss of edge information in common semantic segmentation algorithms，the problem of inaccurate segmentation and fuzzy edge is effectively improved by semantic segmentation combined with edge detection algorithm. The algorithm adopts parallel structure. The edge features extracted by the edge detection sub-network are used to supplement the semantic segmentation features extracted by the semantic segmentation sub-network. The final segmentation result is obtained by convolution operation of concat fusion of two features. The experiment is based on TensorFlow platform. Compared with the previous algorithm，the proposed method achieves a certain improvement in the intersection and union ratio of the real value and the predicted value，and enhances the segmentation results.

Keywords：image segmentation;edge detection;deep learning;fully convolutional network

0? 引? 言

圖像語義分割是計算機視覺領域中極為重要的一個研究方向，其主要作用是以像素級別對目標圖像中各事物進行圖像識別及目標檢測。方法為從像素級別分辨出所識別圖像中的具體對象及對象位置，即先識別圖片中的目標，后描繪各個體和場景之間的輪廓，最后將其分類并對同一類事物賦予同樣顏色表示。但其存在著諸如不同類但較為相似物體難以區分、尺寸過小的物體難以識別等難點。而如今隨著深度學習的成熟，基于深度學習的圖像語義分割成為主流，在準確性和識別速度等各方面都有較大提高，且在自動駕駛、人臉識別、遙感影像及醫學影像等領域廣泛應用，具有很高的研究價值。

1? 發展概況

1.1? 語義分割發展概況

全卷積網絡（Fully Convolution Networks，FCN）[1]是將深度學習應用到語義分割領域的鼻祖。DeepLab系列網絡專門用于圖像分割領域，DeepLab V1[2]將VGG16中全連接層轉化為卷積層，網絡中最后兩個池化層后的卷積層轉化為空洞卷積[3]，并在網絡的最后一層添加全連接條件隨機場用以提升精確率。DeepLab V2[4]在V1的基礎上以ResNet網絡代替VGG16，且加入了空洞空間金字塔池化（Atrous Spatial Pyramid Pooling，ASPP），在改善了神經網絡訓練過程中信息丟失問題，精度方面有較大提升。DeepLab V3[5]在V2的基礎上添加了1×1的卷積層和批量歸一化層（Batch Normalization，BN），設計了串行和并行空洞卷積模塊并采用不同空洞率來獲得多尺度特征信息，將獲取到的全部特征融合一起。

編碼器-解碼器結構是目前采用較多的網絡結構。其原理是編碼器通過卷積池化獲得像素點位置信息，對應解碼器進行反卷積操作還原像素的位置信息，從而輸出分割圖像。最經典的編解碼結構的分割網絡是SegNet[6]，有著相對較高的分割精度及分割速度，但會導致圖像丟失部分高頻細節，從而致使目標邊緣模糊及分割結果細節丟失。U-Net[7]將網絡中每層信息多層次融合，減少了因池化層丟失的信息，但不能恢復到與輸入圖相同的尺寸。Deeplab V3+[8]將DeepLab V3作為編碼器后添加了一個簡單的解碼器用于捕獲空間信息，取得了更高的精度。

還有部分方法通過構建特殊模塊，將其添加到常用結構中來提升語義分割的性能。ENet[9]基于SegNet設計了一個采用池化層和卷積層并行計算的初始模塊，可以減少網絡的深度并降低計算量，該算法是一種速度極快的算法，可以達到SegNet算法的數倍。PSPNet[10]將復雜場景上下文加入FCN預測框架，通過金字塔池化模塊聚合不同區域的上下文信息，常用于復雜場景的場景解析，可以提高對外觀相似的不同物體的分割精度。

1.2? 邊緣檢測發展概況

邊緣加測算法的通過檢測局部像素灰度值差異的變化進行確定邊界點，通過確定的邊界點連接進而獲得開放或封閉的邊界。邊緣檢測算法可以提供豐富的圖像邊緣信息，根據處理策略的不同可分為串行檢測法和并行檢測法兩種。由于并行檢測法過程相對簡單，性能較為優良，故在實際應用中常采用并行檢測法完成分割。常用的傳統邊緣檢測算子有Prewitt算子[11]、Canny算子[12]和Sobel算子[13]等，其中Canny算子邊緣定位準確且閉合性好，但必須人工設置檢測閾值;Sobel算子操作簡單切運算簡便，但對斜向邊緣的檢測效果較差。本文通過對Sobel算子進行改良，在其原本僅有豎向及橫向檢測算子的基礎上增加45°及135°兩個斜方向算子，對其斜向邊緣不足進行補充，達到更好的效果。

2? 結合改進Sobel算子的語義分割算法

針對單一語義分割算法存在的問題，本文提出一種新的算法，該算法通過結合邊緣檢測網絡彌補語義分割算法存在的問題，通過結合深度學習，達到了較為理想的結果。

2.1? 算法原理

本文提出的模型采用并行結構，如圖1所示，主要由邊緣檢測、語義分割兩個子網絡和特征融合模塊三部分組成。在輸入圖像后將圖像分別送入兩路網絡，從而得到兩種特征信息，特征信息采用concat融合方式進行初步融合，將結果進行多層卷積，利用卷積操作融合兩個子網絡特征，最后將多次卷積后的結果進行Softmax分類，從而得到最終的分割圖像。

邊緣檢測子網絡用于捕獲和學習圖像的邊緣信息，獲取更多的細節信息，從而為語義分割提供更精確的邊緣信息。

語義分割子網絡用于提取圖像的區域特征，通過對輸入的圖像進行下采樣后進行上采樣，得到初步的語義分割特征，但在下采樣時大量的細節信息會丟失。

特征融合模塊用于融合獲取的兩路特征信息，通過將獲得邊緣檢測特征和語義分割特征進行卷積融合，利用獲取的邊緣信息來補充語義分割中缺失的邊緣信息，從而改善語義分割的效果。

2.2? 邊緣檢測子網絡

邊緣檢測子網絡采用改進Sobel算子算法，該方法通過在傳統Sobel算子算法的縱向及橫向兩個算子的基礎上增加45°及135°兩個方向算子，從而解決傳統Sobel算子算法在斜方向上檢測效果不佳的問題，改進算子結構如圖2所示。

計算時采用四個方向的算子模板，對圖像矩陣依次計算得到各分量的運算結果，用結果和替代像素點灰度值，邊緣方向由新灰度值的模板的方向決定，選擇合適的閾值TH并進行二值化處理，然后利用式（1）進行二值化判斷。若像素點梯度方向接近水平、豎直、傾斜45°或傾斜135°方向之一，且梯度大于TH，則判斷點位于圖像邊緣，否則視為非邊緣點忽略。

（1）

其中，▽G?（x，y）為經過計算的梯度值，TH為選取的閾值。

2.3? 語義分割子網絡

語義分割子網絡結構采用基于編碼器-解碼器結構的SegNet算法，結構圖如圖3所示。編碼階段主要對圖像進行特征提取，算法采用VGG16網絡模型，編碼階段由卷積層、BN層和池化層組成。卷積層獲取圖像特征，池化層進行圖像下采樣并將特征傳送到下一層，BN層對圖像進行歸一化分布，增強學習效率。解碼階段由對應編碼器的不同解碼器組成，包含反卷積層、BN層和上采樣層，解碼器通過獲取編碼器對應存儲的最大池化索引來獲取信息，通過反卷積使得圖像分類后特征得以重現，上采樣層彌補編碼階段池化層對目標造成的細節損失。

2.4? 特征融合模塊

本文設計的結構中，獲得邊緣檢測特征及語義分割特征后，需要對兩路特征進行融合。因為邊緣檢測子網絡所得特征多為表示圖像邊緣和細節信息，而語義分割子網絡所得特征多為表示圖像區域的信息。進行特征融合簡單地進行加權難以達到預期的效果，所以本文采用一個特征融合模塊，用于融合兩個不同的子網絡信息特征。

常用的網絡模型融合方式一般有add和concat兩種方式，add融合將對應的特征圖相加，再進行卷積操作;concat融合則是通過通道數的增加，將多通道特征進行融合，常用于將多通道特征聯合、多卷積特征框架獲取的特征融合或者是將輸出層的信息進行融合。對于本文設計的特征融合模塊，首先對邊緣特征和語義分割特征進行初步融合，然后進行多層卷積操作，利用多層卷積神經網絡學習特征融合。綜合兩種融合方式及本文目的，最終選用concat方式進行特征融合。

3? 實驗結果

本文算法基于TensorFlow 2.3框架，系統為Windows 10，所使用的GPU為NVIDIA RTX 2070，并在Cityscapes數據集上進行試驗檢測。

3.1? 數據集

Cityscapes數據集是一個大型的城市街景及道路交通場景的數據集，它具有8大類別30種類的像素級別標注，數據集來自50多個城市的街頭場景中記錄的不同視頻序列，包含5 000張高精準度標注的圖像及20 000余張粗略標注圖像。整個數據集支持像素級別分割、實例級別分割及全景級別分割三個級別的分割性能評估。本文試驗只使用了精準標注的圖像，同時為了實驗方便，將圖像的分辨率調整為480×360，且每個像素都被注釋為預定義的19類。

3.2? 評價標準

本文采用當前語義分割方向常采用的兩種標準度量指標平均交并比（mean Intersection Over Union，mIOU）和每秒鐘可處理幀數（Frames Per Second，FPS）作為評價標準。mIOU通過計算真實值和預測值的交并集之比來評價算法精度，其計算公式為：

（2）

其中，k為前景對象個數，pij為原屬于第i類但卻被分到第j類的像素數量。

FPS通過計算每秒鐘可處理的幀數來評價算法計算的速度，其計算公式為：

（3）

其中，N為圖像數量，Tj表示處理第j張圖像的時間。

3.3? 實驗模型

3.3.1? 模型訓練

本文提出的算法模型采用端到端的聯合學習方式。在過程中選用SGD優化器，其相對于BGD優化器訓練較快、可以增加訓練樣本，且其訓練答案具有一般性，即對于服從同樣分布的非訓練集表現依然良好。

3.3.2? 損失函數

由于本文采用兩種分類網絡，故采用兩種損失函數。

針對邊緣檢測網絡，其損失函數常采用交叉熵損失函數，其可以定義為：

（4）

其中，yedgelab為真實值，yedgepre為預測值，n為圖像總像素數量。

針對語義分割網絡，通常也采用交叉熵損失函數，其可以定義為：

（5）

其中，yseglab為真實值，ysegpre為預測值，n為圖像總像素數量。

3.4? 實驗結果及分析

本文試驗基于Cityscapes數據集，對照算法選用基于VGG16的SegNet算法和基于From Scratch的ENet算法進行對比，通過在精度mIoU和處理時間FPS兩個指標來評定實驗結果。本文選取了四幅輸入圖像的分割結果對比，圖4給出了本文算法與其余兩種算法的對比，表1是在同環境下本文算法與其余算法的分割效果對比。結果對比中圖4（a）列為輸入圖像，圖4（b）列為正確標注的分割結果，圖4（c）為本文所采用算法獲取的分割結果，圖4（d）為SegNet算法分割結果，圖4（e）為ENet算法分割結果。

由圖4可以看出，本文所采用的算法對于物體邊界的分割效果更為精確。部分較小或較細物體如路燈、電線桿、欄桿等其余算法不能很好地識別或識別不完全，本文算法在這方面具有一定改善，使得分割更為精確。

由表1可以看出，本文采用算法對SegNet算法在處理速度上較為接近，分割精度上具有優勢;對比ENet算法雖在處理速度上有一定落后，但本文算法在精度方面有較大提升。綜合精度及速度而言，本文算法仍具有較大優勢。

本文所提出算法由于結合了邊緣檢測模塊進行語義分割，有效地改善了傳統算法中分割邊緣模糊的問題，在精度及處理速度方面均有一定情況改善。且本文邊緣識別模塊采用了較為簡單的改進Sobel算子算法，降低了對硬件的要求，使得不需要大型工作站的情況下可以取得較為理想的結果。綜上所述，本文所提出方法具有有效性及可行性。

4? 結? 論

本文提出了一種結合邊緣檢測模塊，利用深度學習進行卷積融合從而獲取更精準結果的語義分割方法，通過將輸入的圖像進行語義分割及邊緣識別處理后通過卷積操作進行融合，從而取得最終的分割結果。試驗結果表明，本文方法可以有效改善原有算法存在的分割不準、邊緣模糊等問題，得到更為精準的分割結果。

參考文獻：

[1] LONG J，SHELHAMER E，DARRELL T. Fully Convolutional Networks for Semantic Segmentation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，39（4）：640-651.

[2] CHEN L，PAPANDREOU G，KOKKINOS I，et al. DeepLab：Semantic Image Segmentation with Deep Convolutional Nets，Atrous Convolution，and Fully Connected CRFs [J].IEEE transactions on pattern analysis and machine intelligence，2018，40（4）：834-848.

[3] YU F，KOLTUN V. Multi-scale context aggregationby dilated convolutions [J/OL].arXiv：1511.07122 [cs.CV].（2015-11-23）.https：//arxiv.org/abs/1511.07122.

[4] CHEN L，PAPANDREOU G，KOKKINOS I，et al. DeepLab：Semantic Image Segmentation with Deep Convolutional Nets，Atrous Convolution，and Fully Connected CRFs [J].IEEE transactions on pattern analysis and machine intelligence，2018，40（4）：834-848.

[5] CHEN L C，PAPANDREOU G，SCHROFF F，et al. Rethinking atrous convolution for semantic image segmentation [J/OL].arXiv：1706.05587 [cs.CV].（2017-06-17）.https：//arxiv.org/abs/1706.05587.

[6] BADRINARAYANAN V，KENDALL A，CIPOLLA R. Segnet：A deepconvolutional encoder-decoder architecture for imagesegmentation [J].IEEE transactions on pattern analysisand machine intelligence，2017，39（12）：2481-2495.

[7] RONNEBERGER O，FISCHER P，BROX T. U-net：Convolutional networks for biomedical imagesegmentation [C]//International Conference on Medical image computing and computerassisted intervention.Cham：Springer，2015：234-241.

[8] CHEN L C，ZHU Y K，PAPANDREOU G，et al. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation [C]// Computer Vision-ECCV 2018.Cham：Springer，2018：833-851.https：//doi.org/10.1007/978-3-030-01234-2_49.

[9] PASZKE A，CHAURASIA A，KIM S，et al. Enet：A deepneural network architecture for real-time semanticsegmentation [J/OL].arXiv：1606.02147 [cs.CV].（2016-06-07）.https：//arxiv.org/abs/1606.02147.

[10] ZHAO H S，SHI J P，QI X G，et al. Pyramid scene parsing network [C]//Proceedings of the IEEE conference on computer visionand patternrecognition.Honolulu：IEEE，2017：6230-6239.

[11] YANG L，WU X Y，ZHAO D W，et al. An improved Prewitt algorithm for edge detectionbased on noised image [C]// 2011 4th International Congress on Image and Signal Processing.Shanghai：IEEE，2011：1197-1200.

[12] LI E S，ZHU S L，ZHU B S，et al. An adaptive edge-detection method based on the Canny operator [C]//2009 International Conference on Environmental Science and Information Application Technology.New York：IEEE，2009：465-469.

[13] GAO W，ZHANG X，YANG L，et al. An improved Sobel edge detection [C]//Proceedings of the 3rd IEEE International Conference on Computer Science and Information Technology.Chengdu：IEEE，2010：67-71.

[14] 徐輝，祝玉華，甄彤，等.深度神經網絡圖像語義分割方法綜述 [J].計算機科學與探索，2021，15（1）：47-59.

[15] 田萱，王亮，丁琪.基于深度學習的圖像語義分割方法綜述 [J].軟件學報，2019，30（2）：440-468.

[16] 繆成根，劉琛.基于改進索貝爾算子的灰度圖像邊緣檢測 [J].物聯網技術，2020，10（11）：37-38+41.

[17] 袁銘陽，黃宏博，周長勝.全監督學習的圖像語義分割方法研究進展 [J].計算機工程與應用，2021，57（4）：43-54.

[18] 劉麗霞，李寶文，王陽萍，等.改進Canny邊緣檢測的遙感影像分割 [J].計算機工程與應用，2019，55（12）：54-58+180.

作者簡介：劉清華（1997—），男，漢族，山西晉中人，碩士研究生在讀，研究方向：圖像識別與圖像處理。