注意力引導多模態融合的RGB-D圖像分割

靳瑜昕，楊曉文，張 元，焦世超，文陽暉，王愛兵

(中北大學 大數據學院，山西 太原 030051)

0 引 言

早期的圖像分割方法是從RGB圖像中提取特征信息進行分割[1-4]。針對端到端的分割網絡在下采樣時圖像分辨率減少導致部分特征信息丟失的問題，文獻[5,6]提出了結合高級語義信息和低級細節特征、聚合不同尺度的上下文信息等方法提高分割性能。RGB圖像分割的問題在于圖像只提供顏色、紋理、形狀等二維視覺信息，而深度信息包含豐富的三維空間特征，通過融合RGB圖像和深度圖像可以有效提高語義分割性能。Cao等[7]根據深度特征隱含的局部幾何形狀信息與語義相關性更大，提出形狀感知卷積層(ShapeConv)處理深度特征，提高了分割性能。但如何充分利用兩種模態之間的互補性和差異性，如何增強編器中信息的交互、傳遞以及特征提取能力等仍是需要深入研究的問題。針對以上問題，本文提出了一種注意力引導特征交叉融合的室內場景分割網絡(attention-guided multi-modal cross fusion network，ACFNet)，包含編碼器、注意力引導的特征交叉融合模塊(attention-guided multi-modal cross fusion module，ACFM)、解碼器3部分。針對RGB圖像和深度圖像的不同特性，分別設計專用的RGB編碼器和深度編碼器提取特征，并將原始深度圖轉化為包含更多空間信息的HHA[8](horizontal disparity, height above ground，and the angle the pixel’s local surface normal makes with the inferred gravity direction)圖像。ACFM融合模塊引入注意力機制[9](convolutional block attention module，CBAM)處理兩種模態特征，并將處理后的兩種模態以交叉相乘的方式進行融合，充分利用兩種模態間的互補性和差異性。通過上述的網絡設計，有效地提高了RGB-D語義分割效果。

1 相關工作

1.1 基于多模態融合的語義分割

隨著深度傳感器的發展，在獲得顏色信息的基礎上，同時也能較為容易的獲得場景的深度信息，越來越多的學者開始了基于RGB-D圖像的分割方法研究。文獻[10]中指出多模態融合根據融合階段分為早期融合、晚期融合和混合融合。Chen等[11]提出了空間信息引導卷積網絡(spatial information guided convolutional network，SGNet)，在不影響參數量和計算成本的情況下，感知幾何形狀的能力得到了很大程度的提高。Zhang等[12]提出了NANet(non-local aggregation network)，它具有一個精心設計的多模態非局部聚合模塊(multi-modality non-local aggregation mo-dule，MNAM)，以便在多階段更好地利用RGB-D特征的非局部上下文。Cao等[13]提出RGB×D，在早期學習階段以相乘的方式融合RGB信息和深度信息，之后只需要稍微修改就能使用現有的RGB分割網絡，簡單而有效地將RGB和RGB-D語義分割聯系起來。

1.2 注意力機制

注意力機制[14]的基本原理是為特征圖中不同的區域分配不同的權重，即提取特征圖中所關注的有用信息，同時抑制無用信息，從而實現高效的特征提取，并降低了網絡訓練難度。其次，注意力機制有助于獲取全局上下文信息，促進語義分割精度的提高。Zhou等[15]提出一個共同注意力網絡(co-attention network，CANet)，設計共注意模塊自適應地聚合深度特征和顏色特征。ACNet(attention complementary network)[16]網絡利用結合注意力機制的3個并行分支和注意力互補模塊(attention complementary modu-les，ACM)有效提取并融合RGB 特征和深度特征，在NYUD V2數據集上的mIou達到48.3%。Zhou等[17]提出一種用于室內語義分割的三流自注意網絡(three-stream self-attention network，TSNet)，使用帶有自注意模塊的跨模態蒸餾流融合和過濾兩個不對稱輸入流的語義信息。Yan等[18]提出的RAFNet(RGB-D attention feature fusion network)包含3個互補的注意模塊，能夠有效的從RGB分支和深度分支中提取重要特征，并且減少語義信息的丟失。

2 本文方法

本文提出的網絡模型遵循編碼器-解碼器架構，其中編碼器從輸入中提取豐富的語義特征，并執行下采樣以減少計算工作量；解碼器采用上采樣技術恢復輸入分辨率，最后為每個輸入像素分配一個語義類別。本節首先介紹了所提ACFNet的整體網絡架構，然后詳細介紹了編碼器、ACFM特征融合模塊和解碼器3部分內容。

2.1 網絡模型整體架構

本文提出的用于室內場景分割的ACFNet體系結構如圖1所示，其中，7×7、1×1均表示卷積操作，S表示卷積或池化操作的步長(Stride)。以編碼器-解碼器為基礎結構，RGB圖像結合HHA圖像作為網絡輸入。編碼器部分設計專用的CNN特征提取架構，采用兩個獨立的非對稱網絡，分別以ResNet-101和ResNet-50為主干網絡提取RGB特征和深度特征。RGB編碼器和深度編碼器由輸入預處理步驟7×7卷積、最大池化操作和Stage m(m=1,…,4) 4個階段組成，并且在RGB編碼器中加入全局特征提取模塊。在融合模塊引入注意力機制，增強有用信息傳播的同時抑制無用信息對分割效果的影響，基于CBAM提出注意力引導的特征交叉融合模塊(ACFM)，并將融合后的特征在編碼器階段多層次傳播到兩個特征提取分支，以更好地利用融合后的增強特征表示。解碼器的基本塊 (Decoder m=0,…,4) 簡單的使用卷積層+BN層+ReLu堆疊多層以及雙線性上采樣操作組成，并且將RGB編碼器與深度編碼器Stage1-3的融合特征通過跳躍連接傳輸到解碼器的Decoder3-1，增加低層細節信息和高層語義信息之間的聯系，以此來重用編碼器階段丟失的特征信息。

圖1 注意力引導多模態交叉融合的語義分割模型ACFNet的體系結構

2.2 編碼器

編碼器使用非對稱雙流分支，為RGB和深度編碼器設計不同的特征提取網絡，對原始深度圖像進行數據預處理，將其轉換為HHA圖像，結合RGB圖像作為分割網絡的輸入數據。分別以ResNet-101和ResNet-50作為RGB編碼器和深度編碼器的主干網絡，并且改進組成主干網絡的基本塊，即在Bottleneck中加入Maxpool并行模塊，如圖2(a)所示，記為MP_Bottleneck，通過增加網絡寬度的方式提高特征提取性能，如式(1)所示

FE_out=Fin+Conv1×1(Cat(Conv3×3(Conv1×1(Fin)),M_P(Conv1×1(Fin))))

(1)

式中：Fin∈RH×W×C， H、W和C分別表示特征圖的高度、寬度和通道數，Conv1×1，Conv3×3分別表示1×1，3×3卷積操作，Cat表示拼接操作，M_P表示最大池化操作，FE_out表示ResNet網絡每階段的輸出。為了改進ResNet網絡提取圖像局部特征的不足，受Cao等[19]提出的GC(global context)的啟發，在RGB編碼器的4個階段Stage1-4添加全局特征提取模塊(GC)，如圖2(b)所示，使用GC處理FE_out提取全局特征，并且將最終的全局特征和局部特征通過相加的方式結合起來作為編碼器Stage1-4的最終輸出，構建全局-局部特征提取模塊(global-Local feature extraction module，GL)如圖2(c)所示，如式(2)～式(4)所示

圖2 編碼器詳細設計結構

FGL=FE_out+GC

(2)

GC=FE_out+Conv1×1(ReLu(LN(Conv1×1(y))))

(3)

y=FE_out×SoftMax(Conv1×1(FE_out))

(4)

其中，GC表示全局特征提取模塊(GC)的輸出，Conv1×1表示1×1卷積操作，LN表示批歸一化操作，y表示全局特征提取模塊(GC)模塊中獲取全局上下文部分的輸出，FGL表示全局-局部特征，由于高層階段包含更多的語義信息，會對分割精度產生更大的影響，因此在RGB編碼器最后一個階段的GC_block之前添加全局平均池化(GAP)操作，細化高層語義信息。

2.3 ACFM融合模塊

為了更好地利用RGB和深度特征之間的互補性進行特征融合，ACFM融合模塊引入注意力機制，首先使用CBAM模塊，如圖3(a)所示，其中，C表示拼接(Conca-tenate)操作，在通道和空間維度上進行注意力操作，分別對RGB和深度特征重新加權，如式(5)～式(8)所示，學習哪些特征信息需要抑制，哪些特征信息需要重點關注

Fa_rgb=CBAM(FGL)

(5)

Fa_hha=CBAM(FE_out)

(6)

CBAM=ca×σ(Conv7×7(Cat(Avgpool(ca),MaxPool(ca)))

(7)

ca=x×σ(MLP(Avgpool(x)+MLP(Maxpool(x))

(8)

其中，FGL、FE_out分別表示輸入融合模塊的RGB特征和深度特征，x表示CBAM模塊的輸入即FGL、FE_out，ca表示CBAM模塊中通道注意模塊的輸出，Fa_rgb、Fa_hha表示經CBAM注意力機制處理后的特征輸出，σ表示Sigmoid激活函數，Cat表示拼接操作，Avgpool和Maxpool分別表示平均池化和最大池化操作，MLP表示由兩個1×1卷積層組成的多層感知機。ACFM融合模塊的具體結構如圖3(b)所示，使用交叉相乘的方式，如式(9)和式(10)所示，選擇經注意力機制處理后的一種模態特征乘以未經處理的另一種模態特征，從一種模態中選擇可區分的信息輔助修正另一種模態

圖3 注意力引導多模態交叉融合模塊

Fm_rgb=FGL×Fa_hha

(9)

Fm_hha=FE_out×Fa_rgb

(10)

其中，×表示逐元素相乘操作，Fm_rgb、Fm_hha分別表示經相乘操作修正后的特征輸出，之后進行交叉殘差連接，使用經CBAM模塊處理后的特征與經另一模態信息修正后的原始模態信息交叉相加，進一步重用在網絡處理過程中丟失的細節信息，增強兩種模態之間的互補性，最后將兩種模態信息通過相加的方式進行融合，如式(11)所示

Ff_out=(Fa_rgb+Fm_hha)+(Fa_hha+Fm_rgb)

(11)

式中：Ff_out表示ACFM模塊的最終輸出結果，將融合后的特征傳輸到編碼器階段以相加的方式多層次傳播到兩個特征提取分支，該模塊充分利用了兩種模態之間的互補信息。本文實驗結果表明，ACFM模塊能夠高效融合RGB和深度特征，產生更有利于語義分割的特征表示，進一步改善語義分割性能。

2.4 解碼器

ACFNet網絡的解碼器部分由5個相同的單元組成，如圖4所示，解碼器單元由卷積層+BN層+ReLU激活函數和上采樣操作組成，并在其中加入短接連接重用在訓練過程中丟失的信息，短接連接使用1×1卷積改變編碼器階段的輸出通道數，使其與解碼器對應階段的通道數相同可以進行相加操作。解碼器單元中，1×1卷積用于改變通道數，減少模型復雜度，兩個3×3卷積用于增加網絡的非線性特征，上采樣操作采用雙線性插值方法，經過5次上采樣操作后圖像分辨率恢復到輸入大小。第一個解碼器單元的輸入通道數為2048，在圖像分辨率增加的過程中通道數逐漸減少，由于最后一個解碼器單元用于輸出網絡預測結果，因此去除其最后一個卷積層之后的批歸一化操作，并且設置輸出通道數為語義類別個數，即40。

圖4 解碼器單元

3 實驗結果及分析

本節在常用的RGB-D室內數據集上進行了大量實驗，評估本文所提出的分割方法，并且對網絡的關鍵模塊設置消融實驗，驗證其有效性。

3.1 數據集與評估標準

3.1.1 NYUD V2數據集

NYU Depth V2數據集[20]是由Microsoft Kinect的RGB和深度相機采集的各種室內場景組成，包含來自3個城市464個不同室內場景的1449張帶有標簽的RGB-D圖像對，其中795張圖像對用于訓練，654張圖像對用于測試環節，使用將894個不同物體分為40個類別的分類方式。

3.1.2 評估標準

本文使用的語義分割性能度量標準為常見的像素精度(pixel accuracy，PixAcc)、平均交并比(mean intersection-over-Union，mIou)、平均像素精度(mean pixel accuracy，MPA)，其中PixAcc為表示標記正確的像素占總像素的比例，其計算公式如式(12)所示；mIou即求取所有物體類別交并比(Iou)的平均值，本質為求真實值(Ground Truth)和預測值兩個集合的交并比，其計算公式如式(13)所示；MPA為先計算每個類分類正確像素的比例，之后求所有類的平均，其計算公式如式(14)所示

(12)

(13)

(14)

其中，k+1表示類別總數，i表示真實值，j表示預測值，pij表示將真實值為i預測為j的數量，pii表示預測正確的數量，pij和pji分別表示假正(FP)和假負(FN)的數量。

3.2 實現細節

本文采用Pytorch深度學習框架實現網絡模型，使用動量為0.9的隨機梯度下降(stochastic gradient descent，SGD)優化器訓練所提出網絡模型，并設置權重衰減為0.001進行正則化，初始學習率設置為0.02，在NYUD V2數據集上訓練500個epoch，批量大小設置為5。

本文提出的網絡結構分別將改進后的ResNet-101和ResNet-50網絡在ImageNet數據集上進行預訓練后作為編碼器的主干網絡，將深度圖像編碼為HHA圖像，輸入的RGB-D圖像分辨率大小統一裁剪為640×480，為了增加圖片的多樣性，對輸入圖片應用隨機水平翻轉、縮放和裁剪等操作進行數據增強，使用交叉熵作為損失函數并采用監督學習的方式，在NVIDIA GeForce RTX 3090 GPU上訓練所提出的網絡模型參數，訓練過程中的損失曲線如圖5所示。

圖5 損失曲線

3.3 實驗結果分析

3.3.1 與其它方法的對比實驗

本節在NYUD V2數據集上將本文提出的ACFNet與其它現有的方法進行比較，NYUD V2數據集劃分為40個語義類別，結果見表1，列出了本文方法與其它方法在像素精度(PixAcc)、平均交并比(mIou)、平均像素精度(MPA)上的分割性能。

表1 在NYUD V2數據集上與其它方法的比較

具體而言，本文方法以ResNet-101+ResNet-50為主干網絡，在40個語義類別的NYUD V2數據集上進行實驗，兩個評估指標像素精度、平均交并比和平均像素精度分別為77.0%、51.5%和64.7%。與僅使用RGB圖像作為輸入的RefineNet相比，像素精度、平均交并比和平均像素精度分別提高了3.4%、5.0%和5.8%，實驗結果表明加入深度特征對于分割性能有一定的提高；與同樣使用注意力機制的ACNet和CANet相比，平均交并比分別提高了3.2%和0.3%；與融合特征同樣使用雙向多級傳播策略的RAFNet相比，像素精度、平均交并比和平均像素精度分別提高了3.2%、4.0%和4.4%；與較新的分割算法TSNet和RGB×D相比較，雖然網絡層數相對較多，但平均交并比也有很大提高，分別提高了5.4%和0.4%。綜上所述，本文所提出的ACFNet優于現有的大多數方法，在NYUD V2數據集上表現出具有競爭力的分割性能，能夠較好地適應室內場景的復雜性和多樣性。

3.3.2 語義分類結果分析

為了更直觀地分析本文方法在不同類別上的語義分割結果，本節進一步分析ACFNet在NYUD V2數據集的40個語義類別上的交并比，并將其與室內語義分割算法RAFNet和CANet在不同類別上的交并比進行比較，以更清楚驗證本文方法在室內語義分割方面的有效性。結果見表2，每個類別的最高結果用黑色加粗標記。

表2 在NYUD V2數據集上40個類別的交并比(Iou)比較結果/%

從表2中可以總結得出，在40個語義類別中，本文方法在22個類別上的交并比表現都優于其它兩種方法。一方面，與CANet相比，本文方法在常見的易區分物體“柜子”、“床”、“椅子”上，交并比分別提高了1.4%、3.0%、3.5%；同時在大面積背景區域的分割精度上也有一定提高，與RAFNet相比，ACFNet在“墻壁”、“地面”和“天花板”的交并比分別提高了6.0%、1.5%和2.8%，這得益于本文提出的融合模塊能夠充分利用RGB和深度兩種特征之間的差異性和互補性，有效利用了深度特征所提供的三維空間信息，其中注意力機制抑制無用信息、放大有用信息的能力是融合模塊表現較好的主要原因之一。另一方面，本文方法在出現頻率較低的小物體上也表現出了較好的分割性能，比如在“圖片”、“燈”、“包”等物體上，ACFNet的交并比分別比RAFNet和CANet提高了8.2%、2.2%、10.6%和3.2%、4.2%、3.4%；同時在一些形狀不規則物體上的交并比也有一定程度的提高，比如ACFNet在“百葉窗”、“淋浴器”上的交并比分別比RAFNet和CANet提高了9.0%、4.1%和3.9%、19.1%，這得益于本文提出的全局-局部特征提取模塊，增加了更多可區分的細節信息，在一定程度上能夠改進分割性能。

3.3.3 消融實驗

為了驗證在相同超參數下本文所提網絡結構的有效性，本節在NYUD V2數據集上進行了大量的消融實驗。以編碼器的主干網絡為ResNet-101和ResNet-50、RGB和深度特征通過簡單相加融合并進行雙向多級傳播、編碼器和解碼器對應階段設計短接連接的配置作為基線網絡(Baseline)，ACFM表示融合模塊，GL表示全局-局部特征提取模塊，見表3，與基線網絡相比，單獨添加兩個模塊的平均交并比分別提高了2.4%、1.5%，而集成兩個模塊的本文方法平均交并比提高了3.1%，這表明同時使用比單獨使用任一模塊效果更好。

表3 在NYUD V2數據集上ACFM和GL模塊的消融實驗

為了進一步驗證本文所設計的ACFM融合模塊是最優組合結果，消融實驗在ACFNet僅去除GL模塊的基礎上進行。首先設置不同的特征融合方式進行實驗，表明ACFM模塊融合方式的有效性，見表4，CBAM表示在融合之前對兩種特征進行的注意力操作，相加表示逐元素相加，本文方法指ACFM模塊中使用的交叉相乘再相加的融合方式，從表4中可以看出僅選擇相加的融合方式效果最差，像素精度、平均交并比和平均像素精度分別為74.3%、48.4%和60.9%；加入CBAM模塊處理特征之后再進行相加融合分割性能有一定的提高，而本文的融合方式是3種方式中融合效果最好的，像素精度、平均交并比和平均像素精度可以達到76.4%、50.8%和63.9%。這是因為ACFM模塊的融合方式增加了更多的交互操作，增強了兩種特征間的相關性，有效地利用了RGB和深度特征攜帶的信息。

表4 在NYUD V2數據集上ACFM模塊不同融合方式的消融實驗

在確定融合模塊的具體結構之后，本文對在網絡的不同位置加入融合模塊也進行了消融實驗。如表5所示，在每個階段單獨加入ACFM的分割性能差強人意，尤其是網絡結構的早期比如7×7卷積、Stage1之后，從表5中可以看出，這樣對網絡性能的提升微乎其微，這是由于前期的特征還未經過太多處理，獲得的有用信息較少。而在每個階段單獨加入融合模塊對于整體的分割性能都有一定的改善，因此本文選擇在所有階段加入融合模塊，表5中第6行的顯示結果表明了本文網絡結構設計的有效性，這種方式下的分割性能是最優的，與效果最差的7×7卷積階段加入融合模塊相比，像素精度、平均交并比和平均像素精度分別提高了1.2%、2.1%和2.0%。

表5 在NYUD V2數據集上ACFM模塊位于ResNet-101+ResNet-50不同階段的消融實驗

為了驗證本文提出的修改ResNet網絡基礎塊的設計，在其它結構均不改變的情況下，僅替換MP_Bottleneck為Bottleneck進行消融實驗，結果見表6，實驗結果表明MP_Bottleneck使像素精度、平均交并比和平均像素精度分別有了0.5%、0.3%和0.5%的提高。

表6 在NYUD V2數據集上ResNet-101+ResNet-50不同基礎塊的消融實驗

3.3.4 分割結果可視化

為了更直觀地展示本文網絡模型的結果，本節在圖6中顯示了ACFNet在公共數據集NYUD V2上的部分可視化結果，其中第一、第二、第三列依次表示RGB圖像、HHA圖像和語義標簽，第四、第五列分別表示基線網絡和ACFNet的語義分割結果。圖6中使用方框標記了語義分割結果的對比區域，結果顯示ACFNet對于易區分的大面積物體的分割精度有所提高，如第1行的“墻壁”和第6行的“窗簾”；本文模型在不規則物體上的分割表現也較好，如第2行的“盆栽”和第3行的“燈”，相比基線網絡，ACFNet在輪廓細節方面的分割結果有所改善；對于顏色相近的難以區分的物體，如第4行的“架子”和第5行的“水池”，本文模型也能獲得更多分割正確的區域。

圖6 本文網絡在NYUD V2數據集上的分割結果可視化對比

4 結束語

為改善室內語義分割算法性能，本文提出一種注意力引導多模態交叉融合的室內語義分割網絡ACFNet。在數據預處理階段將深度圖轉化為包含更多空間信息的HHA圖像，ACFM融合模塊引入注意力機制，從通道和空間兩方面處理RGB和深度特征并設計專用的融合連接方式。同時引用全局上下文模塊提取全局特征，將全局、局部特征通過相加結合起來，增強網絡傳播過程中的特征表示。在室內RGB-D數據集NYUD V2上進行了大量對比實驗結果表明本文方法的有效性，相比近幾年其它的語義分割算法，像素精度和平均交并比均有所提高。如何進一步簡化本文的網絡模型，降低模型復雜度，融合多尺度特征以提高小物體的分割準確率是未來需要解決的問題。