基于通道特征融合的RGB-D圖像語義分割方法

伏娜娜，許 鋼，陳 玲，胡志鋒，鄭書展

（安徽工程大學檢測技術與節能裝置安徽省重點實驗室，安徽 蕪湖 241000）

引 言

圖像語義分割是一種像素級別的分類任務，旨在根據圖像中每個像素點的語義含義進行分類，并對各個類別賦予不同的語義標簽。作為圖像處理中場景理解的重要組成部分，根據場景類別不同，可以分為室外場景語義分割和室內場景語義分割。室外場景具有類別少、易區分等優點，該類場景的語義分割技術目前已經非常成熟。而室內場景存在語義類別較多、物體特征不突出、光照不均勻等問題[1]，使得室內場景語義標注研究極具挑戰性。

隨著深度傳感器的普及，采集的圖像信息從彩色信息擴展到RGB-D 信息。相比于傳統的語義分割大多只考慮RGB 信息，RGB-D 圖像語義分割引入了對RGB 數據進行補充的深度信息，其作為一個獨立于室內光照條件的通道，可以有效解決室內場景語義標注問題。近年來，深度學習[2]在計算機視覺領域得到快速發展，基于深度網絡的RGB-D圖像語義分割方法也取得了一定進展。研究初期，不論是早期融合還是后期融合都過于簡單，均不能有效地將RGB 圖像和深度圖像特征融合。為了更好地將兩者特征融合，Cao 等[3]提出了一種新穎的RGBD 特征融合方法，采用固有的不對稱方式處理RGB和深度信息并以乘法方式融合它們。Jiang 等[4]提出了基于改進的Faster-RCNN 算法，采用深度圖像與彩色圖像融合的方法來提高多任務語義分割模型的性能。Lin 等[5]使用一種利用深度信息輔助圖像語義分割的多分支神經網絡，引入情境感知接受域（CARF），豐富了特征圖的上下文信息。Liu 等[6]通過一個協作反卷積神經網絡（C-DCNN）來聯合建模，將深度圖作為RGB 的附加通道輸入網絡，同時進行語義分割和深度估計的學習。

以上方法大多只是將RGB 和深度特征通過簡單地等權拼接或求和的方式進行融合[7]，不能充分挖掘深度信息并將兩者信息有效融合。基于此，本文引入基于多任務學習的注意力機制和用于細化通道特征的優化殘差模塊。首先，注意力機制在通道維度上對輸入的特征圖進行加權處理并聚焦于局部信息，目的是調節特征圖中不同通道的權重[8]，從而改善網絡的分割精度。然后，在RGB 特征網絡層后采用優化殘差結構，進一步細化卷積層提取的特征。最后，focal loss[9]通過添加權重和調制系數解決深度學習目標檢測模型中類別不平衡的問題。

1 語義分割網絡框架

網絡總體結構如圖1所示。本文分割網絡模型結構由編碼器和解碼器組成[10]，編碼器采用兩個預先訓練的殘差網絡（Residual Network,ResNet）[11]作為獨立分支，分別用于提取輸入的RGB 圖像和深度圖像特征。設置兩個分支目的是保留在上采樣之前的原始RGB 信息和深度信息，并且雙分支網絡能夠更加高效地收集特征。融合模塊用來處理特征合并；解碼器則完成分割預測部分[12]，連續對特征進行上采樣處理，即將編碼器產生的特征信息轉化成精細的分割圖，用來恢復圖像分辨率。

圖1 RGB-D語義分割網絡框架

文中針對室內場景語義分割進行研究，由于受到光照不均等一系列困擾，引入深度圖像分支[13]。網絡整體為四通道輸入，即在RGB 三通道的基礎上附加一個代表像素點與相機距離的深度通道。深度數據對光照變化具有魯棒性[14]，能夠更好地區分室內環境語義類別。因此，使用RGB-D圖像能夠取得較好的分割效果。

為進一步提高網絡模型性能，本文加入了通道注意力機制（AB）[15]和優化殘差模塊（RRB）[16]，如圖2所示。具體做法是：一方面，在兩個編碼器的每一層網絡（Conv1、Layer1～Layer4）后面均引用注意力機制模塊，可以重新組織每一層網絡后生成的特征圖；另一方面，在RGB 圖像提取網絡層Layer1、Layer2 和Layer3 后面添加RRB 結構，用于加強網絡的識別能力，使得獲取的特征圖語義信息更強。此外，多分支架構能夠利用深度信息和RGB 信息的互補性，在有效組合RGB-D特征的同時保留原始數據信息，很好地避免了特征過遲或過早融合現象。

圖2 網絡模型整體結構

總體來說，本文網絡在5 個層次編碼特征上學習并優化感興趣區域信息，融合分支將兩個特征充分融合，解碼部分對融合特征5 次上采樣操作得到最終的語義分割結果。

1.1 通道注意力模塊

通道注意力機制（AB）是圖像識別結構，通過對特征通道之間的相關性建模和重要特征的強化，提高特征提取準確性。大多數網絡結構往往忽略了階段間的差別，僅使用通道相加來實現不同階段的特征結合。而AB 能夠使每個階段的特征權重發生變化，用來加強一致性。整體結構如圖3所示。

圖3 通道注意力結構圖

假設向網絡模型輸入特征圖A∈RC×H×W，首先對其進行全局平均池化，得到一個大小為C× 1 × 1的特征圖B，第m個通道特征圖表示如下：

然后在不改變B的通道數的基礎上，加入一元卷積層用來確定通道間的權重分布。緊接著，在卷積結果上使用sigmoid 激活函數得到約束權重向量的值，使其保持在[ ]0,1 之間。σ是sigmoid 激活函數，整個過程表示為：

最后，將約束值與輸入特征圖A進行叉乘，得到一個包含更多有用信息的特征圖A*，其表達式為：

本文編碼部分引入通道注意力模塊，可以增強網絡對關鍵通道的關注，進一步提升網絡模型性能。

1.2 優化殘差模塊

本文選用ResNet50 作為編碼網絡，該殘差結構有3 個卷積層，中間的3 × 3 卷積層前后都使用了1 × 1 卷積，第一個用來壓縮輸入的特征通道維度，第二個用于恢復通道維度。雖然整體結構通過使用瓶頸層來減少參數和計算量，有益于使網絡模型更好地收斂，但是ResNet 作為基礎識別模型時每個階段識別能力存在差異，低階段感受野較小，導致語義一致性表現不佳。

針對上述問題，在RGB 低階特征提取網絡層中引入了優化殘差結構（RRB）。由于第1 層網絡沒有改變輸出特征圖的通道數，本文在第2、3、4 層網絡后面加入RRB 結構，有助于增強低階特征語義信息。如圖4 所示，RRB 實際上就是一個類似ResNet的殘差結構，但它結構更精細且有信息傳遞過程。該模塊主干線的第1個組件是1 × 1卷積層，文中用它把通道數量統一為512，能夠將所有通道信息整合在一起。后面則是一個基本的殘差模塊，圖像先經 過3 × 3 卷 積、批歸 一化（Batch Normalization，BN）、修正線性單元激活函數（Rectified Linear Unit，ReLU）、3 × 3 卷積，再與主干線路特征融合疊加。支線上兩個相同輸出通道數的卷積層，沿用了VGG網絡的全3 × 3 卷積層的設計，通過疊加卷積層來獲得與大卷積核相同的感受野，增加了局部上下文信息。總體來說，RRB 不僅可以重新優化低階特征，還能在一定程度上強化網絡在每一階段的識別能力。

圖4 RRB圖

1.3 特征融合模塊

目前，很多方法都通過融合不同尺度的特征來提高分割性能。特征融合的目的是將從圖像中獲得的特征，組合成一個比輸入更具識別能力的特征[17]。現有的RGB-D 語義分割網絡在編碼部分過早或過晚將兩者特征融合[18]，前者會造成原始信息的破壞，后者導致利用信息效率較低。因此，如何有效地融合這兩種信息是改進分割模型的關鍵。

為解決以上問題，文中引入特征融合模塊。不同于Concat 方式，此模塊采用逐元素相加來融合特征。Concat 只是增加了圖像本身的通道數，每一特征下的信息不發生變化。而逐元素相加是保持圖像的維度不變，將對應階段的RGB-D 特征圖加起來，再進一步卷積操作，相當于加了一個先驗，有利于后續的圖像分類。

整個網絡模型是一個三分支架構，兩個相互獨立的特征提取分支能夠保留原始特征圖信息，之后利用融合分支合并收集重要特征，可以有效避免現有融合方法的不足。輸入圖像經過卷積后，上述RGB-D 分支在每個輸出階段，如Conv1、Layer1 等后都提供一組特征圖并由注意力模塊重新組織。接著，處于感興趣區域內的特征圖，將被逐元素添加為融合分支的輸入，直到融合分支的Layer4 網絡層。最后，將三分支的輸出在Layer4 后相加，可得到含有更多信息的融合特征。

1.4 損失函數

語義分割是將相同的語義標簽分配給一類事物，而不是為每個像素分配單獨標簽。在處理多分類語義分割任務時，會遇到兩個影響最終效果的基本問題[19]：（1）所采樣的不同對象類別數量不平衡。在室內環境中，背景占據所要處理圖像的大半區域，如枕頭、毛巾等物體尺寸較小、形狀多變，缺乏顯著特征且存在臥室、衣柜等特定場合，從而造成網絡在某一場景只能學習到較少類別物體特征。（2）每個場景的RGB 圖像和深度圖像包含信息有所不同。即RGB 分支和深度分支在每一層網絡上權重不一致，由于RGB 圖像一般含有許多冗余紋理，網絡傾向于在較低級別層次上賦予更多的有效信息；而在較高層次上，兩者的權重接近。

2 實驗結果與分析

2.1 實驗簡介

實驗選用處理器為GTX1080Ti，使用Ubuntu 16.04 操作系統，運行環境為Cuda9.0+pytorch1.1.0。設置一個特征圖（C×H×W）原始通道數為64、高度為480、寬度為640。同時，還設定了NYUDv2 和SUN-RGBD 兩個常用數據集對應的標簽類別，分別為40和37。

NYUDv2數據集由微軟Kinect的RGB 和深度攝像機記錄的各種室內場景的視頻序列組成，有1449張標注的RGB 圖片和深度圖、407 024 張沒有標注的圖片，且每個對象都對應一個類和一個實例號；而SUN-RGBD 數據集是一個有關場景理解的數據集，包含10 335 張不同場景的室內圖片，146 617 個2D 多邊形標注和58 657 個3D 邊框，具有準確的對象方向以及3D房間布局和場景類別。

2.2 實驗結果

圖5 所示為AcNet 和本文算法在NYUDv2 數據集上得到的語義分割結果，從左到右依次為彩色圖、深度圖、真實標簽圖和預測圖。圖5（a）為基于AcNet的沒有RRB的RGB-D 語義分割結果，圖5（b）為加入RRB 的語義分割結果。從圖5（a）能夠明顯地看出僅基于AB 的圖像分割結果中有很多的誤匹配，如一塊隔板同時被賦予了多個標簽，而語義分割的目的是給圖像中的每一個像素分配一個類別標簽，這種分割結果不是希望得到的。圖5（b）中隔板整體被貼上了同一標簽，且邊界分割清楚，達到了預期效果。雖然本文預測結果與真實標簽相比仍存在一些誤匹配，但其顯著優于AcNet 方法下的語義分割結果。

圖5 AcNet與本文方法在NYUDv2數據集上的語義分割結果

圖6 所示為AcNet 和本文算法在SUN-RGBD 數據集上得到的語義分割結果。圖6(a)為僅基于AB方法的RGB-D語義分割結果，物體預測結果邊界模糊，柜臺、窗戶等存在較多的誤匹配；圖6(b)為在此基礎上加入RRB 的語義分割結果，客廳里的桌、椅等邊緣輪廓變得更加清晰，而且誤匹配也有所降低，圖像分割精度明顯提高。不難看出，采用本文算法得到的語義分割效果優于僅使用AB 的語義分割的方法。

圖6 AcNet與本文方法在SUN-RGBD數據集上的語義分割結果

2.3 實驗分析

為了驗證本文方法的有效性，在實驗環境、數據集和圖片輸入大小一致的條件下，將文中方法與主流的AcNet方法進行實驗對比。為評估圖像語義分割方法性能，實驗分別選取平均交并比（Mean Intersection over Union，MIoU）、像素準確率（Pixel Accuracy，PA）和總體準確率（Overal Accuracy，OA）作為語義分割的準確性標準度量，結果見表1。

表1 兩種分割方法性能對比

表1 顯示了兩種方法在NYUDv2 和SUN-RGBD兩個數據集上的測試結果。實驗中，兩種網絡的編碼器均采用ResNet50，以保持參數量和計算量一致。與本文方法相比，AcNet 方法雖然引入AB 來調節特征圖中不同通道的權重，但未達到細化特征圖的效果。在NYUDv2 數據集上，本文方法相較AcNet方法MIoU提升了4.18%、OA增加了7.86%；在SUN-RGBD 數據集上，本文方法得到的MIoU、OA相對于AcNet 方法分別提高了4.01%和4.14%。與此同時，所有樣本中被正確預測的PA在兩個數據集上高達74.67%和81.28%。

實驗表明，本文方法具有較好的分割結果。這是因為增加了優化殘差模塊，能夠在提高網絡學習效率的同時使物體邊緣分割更加精確、降低誤匹配率，有效地改善了圖像語義分割精度。且focal loss可以進一步強化網絡對難以分辨樣本的學習，生成更加準確的語義分割結果。

3 結束語

針對室內場景語義標注，提出了一種優化通道特征融合的RGB-D 圖像語義分割方法。通過注意力機制調節每一階段輸出的特征權重，有選擇地從RGB 分支和深度分支中收集信息；在提取RGB 特征時加入了3 層RRB 結構，達到細化特征圖的效果。多分支架構在保持原始RGB-D 特征的同時能夠高效地收集特征。損失函數使用focal loss來解決正負樣本比例失衡的問題，降低了簡單負樣本在訓練中所占的權重。該方法對通道特征做優化處理，在上采樣過程中將兩者特征逐層有效融合，捕獲了豐富特征信息，圖像語義分割精度有所提高。