多特征融合的道路場景語義分割算法

谷湘煜,劉曉熠,周仁彬

(深圳市朗馳欣創科技股份有限公司成都分公司，成都 610000)

圖像語義分割是模式識別及計算機視覺領域中的一個極為重要的研究課題，是計算機場景理解的核心技術之一[1]。所謂語義分割是根據圖像中的各個像素所表達語義含義的不同來進行區分，將圖像劃分成不同的語義對象，即將圖像中各個像素進行分類[2]。而隨著近幾年深度學習在計算機視覺領域的不斷突破，語義分割技術被廣泛地應用于各個領域，如自動駕駛[3]、機器人自主導航[4]、醫學影像分析[5]等。對于自動駕駛和機器人導航定位而言，基于道路場景的語義分割技術是實現自主行駛的重要輔助手段，通過對圖像中道路、行人、建筑等相關目標進行精確分割，為自動駕駛汽車或機器人提供可靠的路況信息，進而保障其能夠安全行駛。而在現實道路場景中，由于圖像中目標相似性、場景復雜性以及圖像獲取質量等因素都極大地限制了圖像分割的效果，無法較好地落地實際應用中。由此可見，如何提高語義分割技術在道路場景中的應用效果對于自動駕駛以及機器人自主導航都是極具挑戰的研究課題，具有十分重要的研究意義以及實用價值。

為有效提升道路場景語義分割的效果，研究人員從不同角度進行了大量的工作，并取得了不錯的效果。根據語義分割技術發展演變歷程來看，這些工作可以大致分為傳統語義分割算法和基于深度學習的語義分割算法。傳統的語義分割算法主要根據圖像紅綠藍(red-green-blue，RGB)顏色、紋理、灰度、幾何形狀等特征信息將圖像分割成各個不同區域。Zhang等[6]提出了一種基于隨機森林語義分割算法，利用圖像局部特征直方圖探索語義上下文的相關性進行建模，并通過利用隨機森林進行分類加權構建語義分割結果。Pont-Tuest等[7]通過將輪廓檢測方法與分離器結合，提出了修正共軛梯度(modified conjugate gradient，MCG)算法，利用輪廓檢測算法將圖像分割成多個塊狀再利用隨機分類器進一步分割，實現圖像語義分割。傳統分割方法的結果相對粗糙，精度不高，但效率較高且實現較為簡單。而基于深度學習的方法主要利用自主學習方式來提取圖像特征，通過不斷訓練實現對圖像像素分類。Badrinarayanan等[8]提出基于編碼-解碼方式SegNet網絡，通過對圖像卷積編碼得到稀疏特征圖后再反卷積恢復成稠密分割圖。Xue等[9]提出了一種基于多層次函數、多尺度的生成對抗圖像分割網絡模型，通過利用判別器深入學習圖像分割過程中的局部屬性以及全局結構，進而獲取像素間的相對關系，實現像素分類。基于深度學習的語義分割算法其分割精度與模型復雜度基本成正比，因此，相對于傳統方法盡管其精度較高，但模型效率以及可解釋性較差，這也一定程度限制了基于深度學習的語義分割方法落地。

針對上述情況，現借鑒傳統的圖像分割中特征提取技術與深度學習算法相結合，設計出一種多特征融合的道路場景語義分割網絡模型。該模型通過顏色空間轉化、灰度均衡、邊緣檢測、圖像銳化等傳統機器視覺處理方法來增強圖像關鍵信息，再利用深度可分離卷積提取目標特征，同時結合邊緣檢測支路來細化圖像中各個目標邊界，進而實現高效分割。通過在公開標準道路場景數據集和實際變電站道路場景上的測試，有效驗證所提模型的可行性以及實用性。

1 道路場景語義分割網絡

1.1 網絡整體框架

所設計的道路場景語義分割網絡模型整體結構如圖1所示。該模型主要分為3個模塊：圖像特征增強模塊、語義分割子模塊以及邊緣檢測融合模塊。圖像特征增強模塊主要利用傳統計算機視覺圖像處理方法對原始圖像分別進行顏色空間轉化、直方圖均衡化、邊緣檢測等操作，使輸入圖像中目標信息更突出、邊界更清晰，并降低噪聲以及光照等因素的影響。語義分割子模塊主要利用卷積編碼結合跳層上采樣方式獲取初步語義分割結果。卷積編碼結構采用深度可分離卷積對增強后的圖像進行特征提取，保證網絡效率；而跳層上采樣通過逐步上采樣操作將深層特征與淺層融合，保障目標準確分割。邊緣檢測融合模塊則是通過學習各個目標邊緣信息，再與初步分割結果圖融合，細化各目標邊界信息，實現更精確的分割。

圖1 網絡結構框圖Fig.1 The structure diagram of network

1.2 特征增強模塊

圖像特征增強模塊主要是對圖像進行預處理，傳統的針對深度學習的圖像預處理大多是對圖像進行裁剪、旋轉、平移、模糊處理、高斯噪聲等操作，通過對圖像中的目標進行一定程度的破壞或引入噪聲的方式來模擬現實場景中攝像機可能采集到的圖像情況，同時也擴充了數據集，進而提升網絡識別精度以及泛化能力。而所設計的圖像特征增強模塊與上述傳統深度學習圖像預處理思路相悖，該模塊核心在于增強圖像中各個目標特征信息，提高后續語義分割網絡對有效信息的獲取，并降低圖像噪聲對網絡的影響，從而提升對目標的識別準確率，模塊結構如圖2所示。該模塊主要在圖像顏色空間、邊緣信息、對比度3個方面進行增強，顏色空間除了RGB原圖外還引入了色調-飽和度-明度(hue-saturation-value，HSV)顏色空間，使網絡能從紅、綠、藍、色調、飽和度、明度6個顏色通道獲取目標信息，使獲取的特征維度更高；邊緣信息通過邊緣檢測以及圖像銳化的方式進行提升，考慮到算法檢測效率，采用Canny邊緣檢測和Laplacian圖像銳化算法；圖像對比度增強主要是利用灰度圖像直方圖均衡化算法，通過調整圖像各像素灰度來增強動態范圍較小的圖像對比度，在一定程度上降低光照對圖像的影響。

圖2 特征增強結構Fig.2 Feature enhancement structure

1.3 語義分割子模塊

目前，基于監督學習的典型語義分割網絡大致分為以下幾類：基于擴大感受野的網絡結構(如DeepLab[10])、基于概率圖模型的網絡結構(SegModel[11]、DFCN-DCRF[12])、基于特征融合的網絡結構(如FCN[13]，ICNet[14]，APCNet[15])、基于編碼器-解碼器的網絡結構(如SegNet[8]，UNet[16])、基于循環神經網絡的網絡結構(如CRFasRNN[17])以及基于生成對抗網絡的網絡結構(如Segan[9])等。盡管網絡結構不同，但其核心設計思路相似，即準確獲取全局目標類別和局部目標邊緣特征信息并通過一定策略進行融合。基于此設計思路，搭建的道路場景的語義分割網絡采用多層卷積結合跳層上采樣的結構來構建。由于特征增強模塊增強了目標間差異并細化目標邊緣，因此語義分割子網絡關鍵在于盡量準確獲取各目標全局和局部信息。同時，考慮到網絡效率，網絡卷積部分采用深度可分離卷積對特征增強后的圖像進行分層卷積再融合，對融合后的特征圖再由具體到抽象進行逐層卷積操作，可以在保證效率的同時較好的獲取目標特征；而跳層上采樣結構則是通過上采樣的方式將深層次的目標類別信息與淺層目標邊界信息融合，從而實現語義分割。

語義分割子網絡主要分為卷積部分和上采樣部分，卷積部分由init結構和多個stage模塊串聯構成；上采樣部分由多個upsample跳層卷積構成，如圖3所示。init結構如圖3(a)所示，由卷積和池化兩條支路并列組成，卷積支路采用3×3深度卷積對特征增強后的圖像特征分別提取；池化支路采用2×2的最大池化操作提取目標顯著信息。由于特征模塊增強模塊已經對圖像進行預處理，所以init結構兩支路的操作皆設置步長為2，使其在提取有效特征的同時盡可能提高網絡效率。stage模塊由多個子模塊堆疊而成，每個子模塊也由兩條支路組成，主要以深度可分離卷積為基礎，如圖3(b)所示。通過channel split操作將輸入特征圖均分成兩部分，其中一部分利用1×1卷積結合深度可分離卷積提取目標信息；而另一部分特征圖不做任何操作與卷積后的特征進行拼接，最后再利用channel shuffle操作混合特征之間信息，加強特征多樣性。對于stage與stage之間的連接則調整深度卷積步長為2，并在無操作支路新增步長為2的最大池化，如圖3(b)中虛線部分。上采樣部分如圖3(c)所示，主要通過將深層次的抽象類別信息逐步上采樣與相對淺層的邊緣信息融合。為了避免淺層信息噪聲的干擾，只融合了stage5～stage2的最后一層，保證關鍵信息的充分利用，同時，該方式也降低了網絡計算量，保證了網絡效率。可以看出，整個語義分割子網絡都是以高效率的卷積操作和設計結構為基礎，降低網絡對冗余信息的提取，保障整個語義分割網絡的整體效率。網絡具體結構如表1所示。

圖3 特征提取模塊Fig.3 Feature extraction module

表1 語義分割子結構Table 1 Semantic segmentation sub-structure

1.4 邊緣檢測融合模塊

通常，對于語義分割網絡而言，網絡對圖像中各目標類別的識別相對準確，而不同語義分割網絡之間精度的差距在于對各個目標邊界的識別，準確的邊緣信息可以很大程度提升分割精度。雖然特征增強模塊中引入了銳化和Canny邊緣檢測，但該操作不僅對目標間的邊緣信息進行了增強，也增強了目標內的邊界，同時隨著卷積操作的疊加，邊緣信息也存在不斷弱化的情況。基于此，設計了邊緣檢測融合模塊，如圖4所示。該模塊分為邊緣檢測和邊緣融合兩部分，邊緣檢測可以看作是語義分割子網絡的一個擴展分支，用于識別目標邊界，其詳細結構如圖4(a)所示，首先提取特征增強模塊中Canny邊緣檢測圖像以及語義分割子網絡中各個階段的最后一層，利用點卷積進行特征融合；然后，利用上采樣操作將不同維度的特征圖恢復至原圖大小，最后再通過點卷積融合各階段的特征信息。邊緣融合結構如圖4(b)所示，主要是將邊緣檢測結果和語義分割子網絡的分割結果相融合，細化目標邊界的同時也優化目標邊緣處各像素分類類別，進而提升各目標分割精度。具體融合過程首先利用concat操作對邊緣和分割結果進行拼接；然后，采用3×3的多層卷積對兩路特征進行融合，由于此時輸入圖像相對簡單，為避免計算量過大，多次卷積特征圖的個數分別為8、16、32和64；最后再通過softmax函數對各個像素分類，得到最終的語義分割結果。

圖4 邊緣檢測融合模塊Fig.4 Edge detection fusion module

2 實驗與結果分析

為驗證所設計網絡的有效性，采用CamVid和Cityscapes公開標準城市道路場景數據集以及實際變電站機器人巡檢道路場景數據集，分別在搭載NVIDIA Tian Xp的臺式機以及搭載NVIDIA Jetson TX2嵌入式平臺的變電站巡檢機器人上進行測試驗證。實驗環境采用Ubuntu16.04操作系統，通過Caffe深度學習框架搭建本文所提的網絡結構，為了較好地與同類網絡進行對比，網絡訓練時的超參數主要參考文獻[8、18-20]中的參超設置。

網絡訓練過程中，采用SGD優化器調整網絡參數；以step模式調整學習率，初始學習率設置為0.01，迭代3萬次之后每迭代10 000次學習率下降10倍；優化算法采用Momentum動量法，參數設置為0.9；權值衰減系數weight_decay設置為0.000 5。由于網絡中引入了邊緣檢測支路，因此，網絡訓練時的損失為語義分割和邊緣檢測損失之和，損失函數都采用交叉熵損失函數進行計算，區別在于邊緣檢測中圖像像素目標類別只有兩類，即邊緣和背景；而語義分割則是實際圖像標注的各目標進行分類。損失函數公式為

山洪災害防御涉及社會的各個方面、各個部門，需要社會各部門通力協作。在統一規劃的基礎上逐步實現山洪災害的綜合治理。水利部門要依法加強河道管理，加強水土保持、小河流治理，做好河道的清障劃界等工作。國土部門要指導居民主動避災建房，做好山洪地質災害的監測預報等工作。氣象、水文、廣電等部門要利用現代先進的設備，對每次暴雨信息在短時間內及時通報，如遇災害性暴雨，所在地區通過應急系統 (如警報器)等設備通知當地政府和群眾。

(1)

(2)

Lall=Ledge+Lseg

(3)

式中：aj為像素屬于第j類的概率；T為類別數，邊緣檢測T為2，語義分割T為標注目標數；Sj為計算softmax值；yj為標簽值；Ledge為邊緣檢測損失；Lseg為語義分割損失。

對于網絡評價指標，主要采用全局精度(G)、平均精度(C)、平均交并比(mIoU)以及網絡每秒處理幀數(FPS)來對網絡性能進行度量。其計算公式為

(4)

(5)

(6)

(7)

2.1 標準數據集

CamVid數據集是由劍橋大學從駕駛汽車的角度采集的不同時間段的城市街道道路數據集。該數據集共有701張圖像，其中訓練圖像有367張，驗證圖像有101張，測試圖像有233張，標注的目標包含了道路、樹木、行人、車輛、建筑等11個類別，圖像大小為480×360。該數據集數量及圖像尺寸相對較小，可以快速驗證網絡設計過程中各設計策略對網絡性能的影響。

Cityscapes數據集是另一個在語義分割領域廣泛使用的城市道路場景數據集，包含了多個城市不同季節、背景、場景的街景，涵蓋了現實城市街道中的各種復雜情況。該數據集包含5 000張高質量標注數據集，共19類目標，將其中2 975張用于訓練，500張用于驗證，剩下的用于測試，圖像尺寸歸一化為512×256。該數據集與CamVid類似，但場景更為復雜，可以較好地驗證所提網絡的泛化能力。

實驗首先利用CamVid數據集在搭載Titan Xp的臺式機上測試了特征增強結構中各個預處理操作以及邊緣檢測支路對網絡精度的影響，實驗結果如表2所示。由表2可以看出，通過引入圖像增強模塊和邊緣檢測模塊對網絡精度都有較大的提升，而兩模塊結合后的網絡精度提升度最高，有效的驗證了本文所提網絡的可行性。由于CamVid數據集中，圖像是基本為白天和傍晚采集，圖像光照強度差別較大，因此在引入直方圖均衡化操作后，降低了光照影響，網絡精度提升較為明顯；HSV顏色空間轉化的引入相當于從另一個角度獲取圖像特征，主要是對RGB原圖的擴充，盡管對網絡精度有一定提升，但提升較少；銳化和Canny邊緣檢測雖然引入了部分目標內邊界信息，但并不影響對整個圖像的分割精度的提升，而邊緣檢測支路則會弱化目標內的邊界而相對增強目標間的邊界，對特征增強后的分割結果進一步優化處理，達到最優分割效果。由實驗結果也看出3種增強邊緣信息的策略并非冗余，而是相互之間特征互補。

表2 增強結構測試結果Table 2 Feature enhancement structures test results

為更好地驗證所提網絡的有效性，分別與多個同類型道路場景語義分割網絡進行對比，對比結果如表3所示。

表3 CamVid數據集測試結果對比Table 3 CamVid dataset test results comparison

根據對比結果可以看出，本文網絡相對于傳統語義分割網絡(SegNet)，在精度與效率上都有較大提升，與當前高精度和高效率網絡相比(ShuffleSeg/BiSiNet)，網絡以較小的時間代價，獲得了更高的精度，整個網絡有效地平衡了精度與效率之間的關系，使網絡能更好地落地實際應用。

盡管所提網絡在CamVid數據集上有較好的表現，但該數據集相對簡單，為了進一步驗證網絡在復雜場景中的性能，實驗利用Cityscapes數據集對網絡的泛化能力進行了驗證，實驗結果如表4所示。同時，網絡在CamVid和Cityscapes數據集上的分割效果如圖5所示。

表4 Cityscapes數據集測試結果對比Table 4 Cityscapes dataset test results comparison

根據圖5的測試結果可以看出，由于測試圖像的道路場景復雜度提高，使網絡的整體精度有所下降，但與其他網絡相比，本文網絡精度下降率相對較低，由此可見，本文網絡具有更好的泛化性能，可以更好地應用于不同的道路場景中。

圖5 標準數據集測試結果Fig.5 Standard data set test results

2.2 變電站道路場景

通過公開標準數據集，可以較好地從理論角度對本文網絡進行驗證。為了進一步測試網絡在現實場景中的落地情況，以變電站道路場景為實驗環境，將網絡移植于搭載Jetson TX2的巡檢機器人平臺上，對機器人實際巡檢過程中的道路場景進行語義分割。實驗通過機器人搭載的相機獲取不同時間、光照、天氣的道路場景圖像約5 000張，利用labelme標注工具將圖像中的目標進行人工標注，主要包含道路、碎石、草、圍欄等6類目標，并將圖像尺寸統一為480×360大小，最后以7∶1∶2的比例將數據分為訓練集、驗證集和測試集，構建變電站道路場景數據集。利用該數據集對網絡進行迭代訓練，將收斂后的網絡應用于巡檢機器人，在實際巡檢過程中進行測試，測試結果如表5和圖6所示。

表5 變電站道路測試結果對比Table 5 Substation road test results comparison

圖6 變電站道路檢測效果Fig.6 Substation road detection results

根據上述實驗結果可以看出，本文網絡可以有效地應用于變電站場景中，而且由于變電站道路場景相對于城市街景較為簡單，網絡的分割精度與當前主流高精度網絡的分割精度不相上下。在效率方面，盡管受限于Jetson TX2嵌入式平臺性能，網絡處理效率降低，但對于巡檢速度相對較慢的變電站機器人而言，本文網絡也基本滿足其對實時性的需求，可以準確高效地實現道路場景語義分割。

3 結論

針對目前道路場景語義分割領域存在的問題與挑戰，將傳統圖像處理方法與深度學習結合，提出了一種融合多特征的道路場景語義分割網絡。該網絡采用多種傳統圖像處理算法對原圖中的重要特征信息進行提取和增強，保證后續特征提取的有效性和多樣性；然后，利用基于深度可分離卷積的高效率特征提取結構對多維特征信息進行提取融合，并通過跳層上采樣融合方式恢復目標信息，保障了網絡的整體效率；同時，針對目標邊緣特征引入了邊緣檢測網絡支路，細化目標邊界的分割結果，進一步提升網絡分割精度。通過在公開道路場景數據集測試結果表明，本文網絡以較小的計算代價最大化了分割精度，較好地平衡了網絡精度與效率。同時，在實際變電站巡檢機器人中，該網絡也能實現高效的道路場景語義分割，為機器人提供可靠的場景信息。

盡管本文網絡在道路場景語義分割取得了較好的結果，但仍有一些需要繼續研究的地方。在之后的工作中，將繼續探索如何以更少的計算量來獲取圖像多維特征；其次，將進一步發掘傳統圖像算法與深度學習的結合點，將不同方法進行優勢互補，使網絡能應用于更多的實際場景中。