基于熱力圖像的道路場景稠密多級語義分割方法

楊 峰

（吉利汽車研究院（寧波）有限公司，浙江 寧波 315336）

0 引言

語義分割是一種圖像處理方法，被廣泛運用在自動駕駛、行人識別和視頻監控等智慧交通領域。在自動駕駛領域，語義分割能幫助車輛對周圍道路環境進行深層次的理解，提高車輛的安全性能，是決定車輛環境感知能力重要的一環。

目前主流視覺感知系統，能利用包含豐富語義信息的彩色圖像（Red Green Blue，RGB），進行有效場景理解。現有深度學習語義分割方法已能在良好的光照環境下幫助車輛分析道路場景信息，自動駕駛車輛在道路上行駛。在光照條件很弱，例如陰天、夜間等，由于彩色相機無法全面地捕獲周圍場景，基于RGB圖像的語義分割方法效果可能會明顯下降，降低無人駕駛汽車在光照條件很弱的條件下行駛過程中的安全性。熱紅外相機獲取熱力信息，可在光線不足的情況下對RGB圖像進行有效的信息補充，如圖1 所示。基于熱力圖像融合的語義分割方法能有效提升弱光或黑暗條件下的分割效果。

圖1 圖像對比

本文提出一種基于彩色圖像和熱力圖像（Red Green Blue-thermal，RGB-T）的稠密多級融合語義分割網絡。更深層次的特征包含更豐富的語義信息，網絡通過稠密多級融合結構融合多級圖像特征，復用深層次特征與低級特征進行融合，能有效提升高分辨率特征語義信息。通過對融合特征進行顯著定位，區分圖像前景和背景，結合空間注意力機制，使融合特征更加專注于前景目標，提升后續分割任務的性能。本文還將融合特征用于邊界監督學習，提高邊界特征表達能力，細化分割邊界。本文提出的多任務網絡監督學習方法，可提高模型特征表達能力，有效提升模型效果。

本文貢獻如下：

（1）提出一種新的用于道路場景分析的RGB-T語義分割方法。將語義分割任務分成了4 個階段，包括稠密多級融合特征提取、前景顯著定位任務、目標分割任務和邊界細化任務。

（2）提出一個新的稠密多級融合模塊（Dense fusion layer），用于提取多級特征，減少上下文語義信息的丟失。同時提出一個新的空間注意力機制模塊（SA）用于學習前景區域權重和為目標分割任務提供顯著信息。

（3）通過對公共數據集的仿真，將所提方法與現有的高性能語義分割方法進行了比較，并證實了本文所提出的方法和新模塊的優越性。

1 相關方法發展概況

1.1 RGB語義分割

深度學習極大地提升了語義分割方法的性能。Long等［1］首次提出基于全卷積神經網絡的語義分割方法，驗證了使用全卷積神經網絡方法相對于傳統手工提取特征的方法有明顯提升。Zhao 等［2］提出金字塔場景解析網絡通過金字塔池化模塊融合不同層次的信息來提取全局特征。He 等［3］提出自適應金字塔上下文網絡，總結了上下文特征在語義分割中的3 個特性，并對深層上下文融合的語義分割方法進行了比較。仿真結果表明，這些多尺度上下文信息提取方法能提升模型特征表達，無法充分利用全局上下文信息，存在一定局限性。

1.2 多模態語義分割

現有多模態語義分割主要包括RGB 圖像和深度圖像（Red Green Blue-Depth，RGB-D）結合以及RGB圖像和RGB-T圖像結合的語義分割方法。Li 等［4］提出一種雙分支的RGB-D語義分割模型，通過主干網絡提取不同層次的特征，從高級特征到低級特征依次進行融合，驗證了多模態特征融合的有效性。一些研究［5-6］注重后期融合策略，這些策略忽視了特征融合過程中的高級特征信息。Ha 等［7］提出的面向多光譜場景的自動駕駛實時語義分割方法，驗證了在光照條件差的情況下，熱紅外相機采集的圖像可提供額外有用的信息。Sun等［8］使用2 個主干網絡分別提取RGB圖像和熱力圖像特征，通過一個解碼器恢復圖像空間分辨率，忽略了低級特征的融合。Sun 等［9］在解碼階段通過跳躍連接，融合多尺度特征，驗證了在光照不充足的情況下，熱力圖像可幫助檢測和分割物體。Xin等［10］則在解碼階段增加特征增強模塊，提升模型的特征表達能力。

2 模型設計

本文所提網絡總體架構如圖2 所示。

圖2 網絡整體結構

RGB-T語義分割任務包括稠密多級融合特征提取和3 個多任務分支，即前景顯著定位，目標分割和邊界細化等任務。在稠密多級融合特征提取階段，主干網絡先提取熱紅外信息，并將提取的信息作為輔助信息，通過稠密多級融合模塊與RGB主干網絡進行多模態信息融合，融合后的多尺度信息再次通過稠密多級融合模塊對上下文信息進行有效融合。融合后的特征用于前景顯著定位任務，結合空間注意力機制可使模型關注前景目標特征，有效提升特征的表達能力。邊界細化任務能提升模型邊界特征提取能力，細化語義分割任務中不同目標的邊界。

2.1 稠密多級融合特征提取

深度卷積神經網絡通過下采樣來提高模型的感受野，提取圖像深層次語義信息，在下采樣過程中，圖像的小目標信息和邊界信息也會丟失。高層次語義信息能有效地用于目標理解，而低級特征包含的邊界信息對目標分割邊界的恢復尤為重要。本文提出稠密多級融合模塊如圖3 所示，對低級特征和高級特征進行有效融合，有效利用多尺度信息，并注重高級特征的重用，來為前景顯著定位任務提供充分的全局特征，同時保留目標邊界特征。

圖3 稠密多級融合模塊

本文使用ResNet-34 作為模型的主干網絡［11］，移除其全連接層并保留4 個卷積塊。使用ResNet-34 對熱力圖像進行特征提取，其4 個卷積塊的輸出作為稠密多級融合模塊1（Dense fusion layer 1）的輸入，該模塊的4 個輸出和RGB 主干網絡的不同層次特征進行多模態信息融合。融合后的不同層次特征作為稠密多級融合模塊2（Dense fusion layer 2）的輸入。稠密多級融合模塊將4 個不同層級的特征作為輸入，通過密集連接結構，復用高層語義信息與低級特征融合，使高分辨率低級特征包含更豐富的高層語義信息。稠密多級融合模塊使用1 ×1 的卷積和上采樣操作將不同大小的特征統一尺寸并進行拼接。通過一個1 ×1 的卷積對不同等級之間的特征進行信息融合。整個模塊在盡量不增加過多計算成本的情況下，考慮不同等級特征之間的融合和顯著特征的充分提取。

2.2 前景顯著定位任務

參考空間注意力機制思想［12］，提出新的空間注意力機制模塊（SA）如圖4 所示。

圖4 空間注意力機制模塊

前景顯著定位任務結合多級融合特征，對圖像前景背景進行分類，促使空間注意力機制模塊中的權重特征學習到前景信息。不同層次的融合特征通過空間注意力機制模塊得到的加權融合特征更加關注圖像中的前景區域，有利于降低后續目標分割任務和邊界細化任務的難度。前景顯著定位任務提取4 個注意力機制模塊中的權重特征S1、S2、S3和S4，其中更高層次的低分辨率特征通過1 ×1 卷積和上采樣保持和S1特征有相同的尺寸，這4 個同樣大小的特征先進行拼接，通過一個1 ×1 的卷積和2 倍的上采樣，通過一個3 ×3的卷積和2 倍的上采樣，恢復到原始圖像分辨率。

2.3 目標分割任務

目標分割任務將之前獲取的多級加權融合特征進行組合，并引入通道注意力機制模塊（CA）［13］，對特征映射通道進行選擇性加權，提高融合特征表征能力。使用像素級分類器（Pixel-level classifier）對圖像的每個像素進行類別分類。像素級分類器為一個1 ×1 的卷積和兩倍的上采樣以及一個3 ×3 的卷積和2 倍的上采樣的組合結構。

2.4 邊界細化任務

圖2 中P1、P2、P3和P4包含低級特征，即目標的細節特征和邊界信息，同時融合有高層語義信息，有利區分不同的目標主體，細化不同目標之間的邊界。邊界細化任務通過邊界分類器（Boundary classifier）引導模型學習邊界特征。

2.5 損失函數

使用帶權重的交叉熵損失函數（WBCE）作為前景顯著定位任務、目標分割任務和邊界細化任務的損失函數

式中：N為輸入像素的總數；m為語義類別數量；wj＝，其中pj為每個類別的比例。

3 仿真分析

3.1 仿真細節

本文使用MFNet道路場景數據集做相關仿真［7］，每張圖像的分辨率為480 ×640，一共包含1569 份由InfReC R500 相機捕獲的成對RGB圖像和熱力圖像樣本以及對應的語義分割標簽。在這些圖像中，820 份圖像是在白天采集的，749 份圖像是夜間采集的。此數據集的語義分割標簽包含8 個前景物體標簽（交通錐、減速帶、車道線、汽車、行人、自行車、擋車器、護欄）和1 個背景標簽。訓練集包含410 個白天樣本和374 個夜間樣本，驗證集包含205 個白天樣本和187個夜間樣本，測試集包含205 個白天樣本和188 個夜間樣本。整個數據集樣本里背景占像素總量的92.138%，其中欄桿類別只有0.095%，這極大地增加了語義分割難度。對數據集的原始樣本使用隨機亮度、對比度和飽和度變換以及隨機的高斯模糊、隨機水平翻轉、隨機縮放和裁剪的操作來豐富訓練樣本。

仿真使用的深度學習框架是Pytorch1.7。仿真使用Ranger優化器，權重衰減系數為0.0005。將minibatch設置為4，初始學習率為10-5，epoch設置為300。使用“poly”學習率衰減策略，其指數系數為0.9。

3.2 仿真對比

本文的方法和DFN［15］、SegHRNet［16］、CCNet［17］、APCNet［18］、MFNet［7］、FuseNet［19］、RTFNet-152［20］、FuseSeg-161［9］和ABMDRNet［21］9 個語義分割方法做對比。

表1 列出了MFNet數據集里9 個類別分別的像素準確率（Acc）和交并比（IoU）以及總體的平均像素準確率（mAcc）和平均交并比（mIoU）的仿真結果。各指標結果值越大越好，所提方法基本都優于其他方法。為更進一步驗證所提的方法，分別用白天圖像和夜間圖像測試，表2 總結了比較結果。

表1 各類別分割結果

表2 白天和夜間圖像仿真結果

如圖5 所示，在昏暗、曝光等場景下，所提方法仍能對圖像中的物體進行準確定位，生成精確連貫的語義分割圖像。當RGB圖像無法獲取周圍語義信息，熱力圖像可進行一個有效的補充。如圖5 所示，顯著圖像能很好地區分前景目標，減少目標分割任務中背景信息對前景目標的干擾，邊界監督也能細化不同目標之間的分割邊界。

圖5 仿真結果對比

3.3 消融仿真

為驗證本文所提出關鍵內容的有效性，使用相同的參數，在MFNet 數據集進行消融仿真，仿真結果見表3。

表3 各模型下消融仿真結果

（1）稠密多級融合模塊的有效性。設計一個變體模型DFL，該模型去除了本文方法中的兩個稠密多級融合模塊，直接將熱力圖像通過ResNet-344 個卷積塊的輸出和RGB圖像通過ResNet-344 個卷積塊的輸出對應相加，得到4 個輸出結果依次代替圖2 中的j1、j2、j3和j4。此變體模型DFL 的仿真結果見表3，與具有稠密多級融合模塊的原方法相比，性能變差，此充分說明了所提出的新型稠密多級融合模塊的優越性。

（2）前景顯著定位的有效性。設計一個變體模型FBC，該模型去除了圖2 中第2 階段前景顯著定位的內容，包括4 個新型空間注意力機制模塊，一個前景分類器和前景監督。此變體模型FBC 的仿真結果見表3，與具有前景顯著定位內容的原方法相比，性能明顯變差，充分說明所提前景顯著定位內容的顯著區域區分能力。

（3）邊界細化的有效性。設計一個變體模型BC，該模型去除了圖2 中第4 階段邊界細化的內容，此變體模型BC的仿真結果與具有邊界細化內容的原方法相比明顯變差，具體數據見表3。這證明了第4 階段邊界細化內容的重要性。

4 結語

本文提出一種基于深度學習的RGB-T 道路場景語義分割方法，此方法不光將語義分割任務細化成4個階段，這4 個階段相輔相成，每個階段都對網絡做了特定的優化，還引入2 個新模塊，本方法在道路場景數據集上表現出了極大的優越性。有望為無人駕駛車輛對道路場景感知方向的新技術做出貢獻。

四個現代化，關鍵是科學技術的現代化。沒有現代科學技術，就不可能建設現代農業、現代工業、現代國防。

科學技術是生產力，這是馬克思主義歷來的觀點。現代科學技術的發展，使科學與生產的關系越來越密切了。科學技術作為生產力，越來越顯示出巨大的作用。現代科學為生產技術的進步開辟道路，決定它的發展方向。一系列新興的工業，都是建立在新興科學基礎上的。當代自然科學正以空前的規模和速度，應用于生產，使社會物質生產的各個領域面貌一新。社會生產力有這樣巨大的發展，勞動生產率有這樣大幅度的提高，靠的是什么？最主要的是靠科學的力量、技術的力量。

——摘自《鄧小平在1978 年3 月全國科學大會開幕式上講話》