多成本融合的立體匹配網絡

張錫英，王厚博，邊繼龍

（東北林業大學 信息與計算機工程學院，哈爾濱 150040）

0 概述

人們主要利用視覺系統獲取信息，即通過雙眼將獲得的特征信息傳入到大腦并進一步感知與理解。隨著深度學習的發展，傳統機器學習方法難以滿足現在的應用對精準度和速度的要求，因此以神經網絡為主的深度學習方法成為主要發展方向［1］。計算機開始被用于模擬人們的雙眼和大腦以感知世界，計算機視覺成為目前人工智能領域的研究熱點。立體匹配是計算機視覺領域中的關鍵技術，其主要解決在兩幅圖像中真實場景點與投影點的對應問題，即參考圖像中每個待匹配點在其匹配圖像中準確地找出對應點，并計算對應點之間的距離，即視差。高效且準確的立體匹配算法對于許多需要快速、可靠響應的應用場景至關重要，例如機器人導航、增強現實、自動駕駛［2-3］等。

雙目立體視覺技術更加適用于實際生產生活中三維物體信息的采集，具有廣闊的發展空間和應用前景［4］。傳統的立體匹配方法分為成本計算、成本聚合、視差計算和視差優化4 個步驟［5］。文獻［6-7］提出DispNet，利用端到端的方式訓練網絡，將立體匹配方法的4 個步驟整合到1 個網絡中。文獻［8］提出了GC-Net，使用3D 卷積的方法獲得更多的特征信息。首先從左右圖像對中提取特征圖，將左右特征圖連接起來以形成一個用深度特征表示的匹配代價卷；然后將3D 卷積神經網絡應用于匹配代價卷，并使用回歸的方式生成最終的視差圖［9］。與2D 卷積神經網絡相比，3D 卷積神經網絡可以捕獲更優的幾何結構，并在3D 空間中進行光度匹配，以減少因透視變換和遮擋導致圖像失真情況的發生［10］。文獻［11］使用編碼-解碼結構解決網絡運算量過大的問題。DispNet 通過一維相關性近似得到匹配代價，而GC-Net 是使用3D 卷積得到匹配代價，能夠更充分地提取圖像信息。文獻［12］基于GC-Net 提出PSMNet，該網絡解決了GC-Net 在特征提取上不足的問題，并將殘差神經網絡（ResNet）［13］作為特征提取部分的主要網絡，進而利用SPP［14］模塊提取多尺度信息，將不同分辨率的照片統一輸出為同一尺寸的特征圖，通過結合全局特征和局部特征來構建匹配代價卷。文獻［15］在PSMNet 基礎上改進了堆疊沙漏結構，提出GWCNet，以增加沙漏結構的輸出和特征信息的豐富度。

隨著立體匹配研究的不斷深入，網絡的特征提取方法也越來越多。PSMNet［12］采用空間金字塔池化［14］（Spatial Pyrmaind Pooling，SPP）模塊提取特征，采用不同尺度和次級區域信息的分層全局池化，但降低了分辨率和感受野。文獻［16］在ASPP 模塊的基礎上結合稠密鏈接原理，提出了DenseASPP 模塊，通過稠密鏈接方式將不同擴張率得到的特征圖連接起來，使得前面層的擴張率低，后面層的擴張率逐層增大，最終得到更大的感受野和更高精準度的視差圖。使用空洞卷積方法的立體匹配網絡在特征提取部分普遍采用SPP 模塊獲得不同尺度的特征信息，但是該模塊存在感受野不夠大的問題，從而無法充分獲取圖像的特征信息。

近年來，注意力模型在卷積神經網絡中得到廣泛應用，文獻［17］提出一個輕量的通用注意力模塊CBAM，使用通道注意力模塊和空間注意力模塊優化特征，不僅保證了模塊的獨立性，而且將CBAM 集成到已有的網絡架構中。

本文結合注意力模型，提出一個多成本融合的立體匹配網絡DCNet，以充分地提取圖像特征信息。在特征提取部分中引入密集空洞卷積和空間金字塔池化提取多尺度特征信息，并使用輕量化注意力模塊對其進行優化。同時采用3D 卷積神經網絡聚合特征信息，通過回歸方式生成視差圖。

1 DCNet 網絡

DCNet 網絡主要由多成本融合的特征提取模塊和堆疊沙漏模塊構成。DCNet 網絡結構如圖1 所示，將原始RGB 圖片輸入到特征提取網絡，使用多成本融合特征提取模塊來提取特征，通過擴大感受野形成更稠密的特征圖，從而獲得更多的特征信息，通過CBAM 注意力模塊優化提取出的特征，采用特征融合方法來構建匹配代價卷。在3D 卷積神經網絡中使用3 個沙漏結構的3D 卷積神經網絡聚合特征信息，通過賦予權值的方法整合最終的特征點對應關系，最終使用回歸的方法得出視差圖。

圖1 DCNet 網絡結構Fig.1 Structure of DCNet network

1.1 密集特征提取網絡

1.1.1 ResNet 網絡

ResNet［13］是一種深層殘差卷積神經網絡。隨著網絡深度的加深，特征信息的豐富程度增大，但是增加網絡的層數存在梯度爆炸和梯度消失的問題，最終無法收斂，優化效果反而變差。為解決深層網絡的退化問題，ResNet 通過殘差網絡將淺層網絡的輸出跳躍連接到深層網絡的輸入中，殘差網絡的表示如式（1）所示：

式（1）是在恒等映射Y=X的基礎上改進得到的，當F(X)=0 時即為恒等映射。

殘差塊結構如圖2 所示。殘差塊包括淺層網絡ResNet18、ResNet34 和深層網絡ResNet101、ResNet152等。

圖2 殘差塊結構Fig.2 Structure of residual block

ResNet 通過學習殘差F(X)的方式解決了傳統深層卷積網絡梯度消失的問題，利用跳躍連接減少了參數量。但是ResNet 仍存在一些不足，即當網絡層數過多時會出現過擬合的情況，1 000 層以上的網絡相對于淺層網絡的優化效果更差。

1.1.2 DenseNet 網絡

DenseNet［18］是一種深層的稠密卷積神經網絡。受ResNet 中跳躍連接思想的影響，DenseNet 每一層都將前面所有層的輸出作為其的輸入。DenseNet 網絡結構如圖3 所示，通過連接模塊DenseBlock 實現神經網絡的密集連接，每個Block 包含一定數量的神經元。

圖3 DenseNet 網絡結構Fig.3 Structure of DenseNet network

在DenseBlock 中，每個神經元由BN（Batch Normalization）層、ReLU層和Conv（Convolution）層3個部分組成。由于每個神經元都與之前的神經元相連接，因此最終輸出特征圖的數量增多。在每兩個Block 之間添加一個卷積層和一個池化層，增加卷積層的作用是使用1×1 的卷積來降低特征圖數量，從而減少網絡開銷。池化層能夠減少輸入到下一個Block 中的特征圖數量，達到改善網絡參數量的效果。相比ResNet，DenseNet 解決了梯度消失的問題并減少了參數量。

1.1.3 CBAM 模塊

CBAM 是一種通用的輕量化注意力模塊，其分為通道注意力模塊和空間注意力模塊2 個部分［17］。CBAM 模塊結構如圖4 所示。

圖4 CBAM 模塊結構Fig.4 Structure of CBAM module

在通道注意力模塊中，將最大池化和平均池化并行鏈接相比于單一池化的方法可以有效減少信息的丟失。CBAM 結合通道注意力模塊和空間注意力模塊，在兩個子模塊中通過與輸入的特征相乘可以自適應地對特征進行優化。因此CBAM 注意力模塊可以直接集成到CNN 中，與原網絡一起進行端到端的訓練。

1.1.4 多成本融合的特征提取模塊

將SPP 和基于ASPP 改進的DenseASPP 相連，利用CBAM 注意力機制中的通道注意力模塊和空間注意力模塊對提取到的特征進行優化。多成本融合的特征提取模塊結構如圖5 所示，其中，C0是普通卷積，C1是使用殘差塊的卷積。將原始RGB 圖像輸入到卷積模塊中，其由3 個卷積核為3×3 的卷積層組成，第1 層C0_1步長為2，將圖像尺寸縮小1/2，第2 層C0_2和第3 層C0_3步長均為1，第3 層得到尺寸為H/2×W/2×32 的輸出，這樣可以保留更多的信息并輸入到殘差模塊中。殘差模塊利用基本的殘差塊來提取一元特征，其由4 個殘差塊組成：前2 個模塊C1_1和C1_2分別為3 個兩層的殘差塊和16 個兩層的殘差塊，將特征圖尺寸縮小到H/4×W/4×64；后2 個模塊C1_3和C1_4為使用空洞卷積的殘差塊，分別是擴張率為2 的3 個兩層的殘差塊和擴張率為4 的3 個兩層的殘差塊，在保持尺寸不變的前提下將通道數提高到128，得到H/4×W/4×128 的輸出。

圖5 多成本融合的特征提取模塊結構Fig.5 Structure of feature extraction module with multi-cost fusion

卷積塊的擴張率越大，獲得的感受野也就越大，擴張卷積模塊的計算如式（2）所示：

其中：dl為第l層的擴張率；[…]為級聯操作；[yl-1，yl-2，…，y0]為連接之前卷積層的輸出。

為更充分地提取特征信息，在本文提出的特征提取模塊中將改進的DenseASPP 模塊和SPP 模塊并連，同時對C1_4模塊得到的特征圖進行特征提取，并與C1_2得到的特征圖相連。由于DenseASPP 采用的空洞卷積會對小物體的分割產生影響，因此將C1_2引入到匹配成本中可以減少小物體特征的損失，通過CBAM 注意力模塊對得到的特征圖進行優化，并將優化過的特征圖連接以組成匹配代價卷。

本文采用融合特征圖的方法構造匹配代價卷，通過將左右圖片生成的特征圖相連接以得到一個4 維的匹配代價卷（高度、寬度、視差、特征數量），并將其作為匹配代價聚合網絡的輸入，從而在匹配代價卷中保留更多的特征維度。

1.2 堆疊沙漏模塊

在匹配代價聚合網絡部分，本文在高度、寬度以及視差3 個維度上利用3D CNN 方法對匹配代價卷中的特征信息進行規則化。為解決3D CNN 參數量過大的問題，GC-Net 使用編碼-解碼的結構以減少參數量。

文獻［11］提出了堆疊沙漏網絡，通過下采樣和上采樣操作可以更好地混合全局和局部信息，將原始特征加入到上采樣過程中，進而減少因上采樣導致的特征損失。堆疊沙漏模塊結構如圖6 所示，c3通過下采樣操作得到c4，c6通過上采樣操作擴大尺寸后與b3相連接組成c7，b3作為c3的副本，使得c7的特征圖保留了中間層的所有信息，且與c3具有相同尺寸。

圖6 堆疊沙漏模塊結構Fig.6 Structure of stacked hourglass module

本文在圖1 中用方框標記堆疊沙漏模塊。堆疊的沙漏網絡由3 個主要的沙漏網絡構成，每個沙漏網絡生成的損失分別為L1、L2和L3。沙漏網絡的輸入經過上采樣和回歸得到的損失為L0，結合密集連接的思想將每個模塊和之前模塊的輸出L0、L1、L2和L3相連接，賦予4 個不同的權值0.1、0.3、0.7、1，得到最終的損失是4 個值的加權和。沙漏網絡首先用兩個模塊進行下采樣，每個模塊包含一個步長為2 的3D 卷積層和一個步長為1 的3D 卷積層，然后使用兩個步長為2 的反卷積將特征卷恢復到原始尺寸D/4×H/4×W/4×32。沙漏網絡通過反卷積方法進行上采樣，使每個像素學習固定的上采樣參數［19］。

1.3 視差回歸

本文利用回歸方法建立視差圖，預測視差d是由成本cd通過Softmax 方法計算得到：

1.4 損失函數

SmoothL1損失函數相比于L2損失函數具有對離群點和異常值不敏感的特點［20］，且梯度變化相對較小，能夠解決函數不光滑的問題，被廣泛應用于目標檢測領域。SmoothL1損失函數如式（4）、式（5）所示：

其中：N為標記像素的總數；di為真實的視差值為預測的視差值。

2 實驗與結果分析

2.1 數據集

實驗在SceneFlow、KITTI2015 和KITTI2012 這3 個公開數據集上進行訓練和測試。

SceneFlow數據集包含分辨率為960像素×540像素的35 454 對訓練圖像和4 370 對測試圖像，包括FlyingThings、Monkaa、Driving3 個部分。

KITTI2015 數據集包含分辨率為1 241像素×375 像素的200 對訓練圖像和200 對測試圖像，其中訓練圖像包含視差信息，將測試圖像上傳到KITTI網站進行評測。在200 對圖像中，其中160 對作為訓練集，40 對作為測試集。數據是在街道場景中使用汽車上的雙目攝像頭拍攝得到的圖像，包括車輛、數目、車道、路標等公路場景。

KITTI2012 數據集包含分辨率為1 226像素×370 像素的194 對訓練圖像和195 對測試圖像，其中訓練圖像包含視差的信息，將測試圖像上傳到KITTI 網站進行評測。在訓練圖像中，160 對作為訓練集，34 對作為測試集。

2.2 實驗環境

實驗環境為Linux 系統，使用PyTorch 深度學習框架。硬件配置為：內存128 GB，CPU 為Inter?Xeon?Silver 4116 CPU @ 2.10 GHz，GPU 為NVIDIA Tesla V100（16 GB）x2。

2.3 訓練

網絡模型使用Adam 優化器，其參數為β1=0.9，β2=0.999。在預訓練SceneFlow 數據集上，訓練圖像被裁剪成512 像素×256 像素，迭代周期設置為10，學習率設置為0.001，最大視差設置為192，批量（batch_size）設置為8。

KITTI2015 數據集在SceneFlow 數據集訓練結果的基礎上進行優化訓練，首先在SceneFlow 數據集上進行預訓練，然后在KITTI2015 數據集上進一步優化，當圖像裁剪成d像素后，將其輸入到網絡，迭代周期（epoch）設置為1 000，其中前200 個周期學習率為0.001，剩余周期學習率為0.000 1，批量（batch_size）設置為8。在KITTI2012 在KITTI2015 結果上進行優化訓練，參數設置與KITTI2015 相同。KITTI2015 和KITTI2012 的測試集分別在對應的模型上計算得到對應的視差圖，并上傳到KITTI 網站進行評測。

2.4 實驗對比

SceneFlow 數據集的評價采用終點誤差（End-Point Error，EPE）的方式衡量匹配的精準程度，誤差越大則準確率越低。KITTI2015 數據集的評價采用3 像素誤差（3px-Error）的方式表示匹配的精準程度，3 像素誤差是指視差的絕對值超過3 像素的像素點占總像素點的比率，其值越高表示匹配效果越差，準確率越低。KITTI2015 數據集測試結果由D1-bg、D1-fg 和D1-ALL 3 個部分組成，其值越低效果越好。KITTI2012數據集采用>2px、>3px、>5px以及Mean Error 這4 個指標評價匹配的精度程度。

2.4.1 特征提取模塊對比

不同的特征提取方式不僅影響生成特征圖的質量，而且影響最終生成視差圖的準確性。實驗以本文提出的網絡為主干，在特征提取部分選用不同的特征提取模塊進行對比，數據集采用KITTI 2015 和SceneFlow，其中KITTI 2015 是在SceneFlow 的結果上進行訓練得到的，目的是選取最優的特征提取模塊。不同特征提取模塊的誤差對比如表1 所示。

表1 不同特征提取模塊的誤差對比Table 1 Errors comparison among different feature extraction modules

從表1可以看出，實驗采用SPP模塊、Dense ASPP模塊和本文提出的多成本融合的特征提取模塊3 個模塊進行對比，可以發現，通過擴大網絡的感受野可以得到更充分的特征信息，進而降低誤差。將DenseASPP 和SPP 相融合得到的多成本融合的特征提取模塊提取圖像特征，雖然增加了網絡參數的數量，但能夠降低網絡誤差。相比SPP 和Dense ASPP模塊，采用多成本融合的特征提取模塊的網絡誤差較低，因此，在本網絡的特征提取部分驗證了多成本融合的特征提取模塊的有效性。

2.4.2 堆疊沙漏模塊輸出權值對比

堆疊沙漏 模塊具有L0、L1、L2和L34 個輸出，這4 個輸出的權值對深度圖產生很大影響。為選擇最優的權值，本文實驗在SceneFlow 數據集上對這4 個輸出的不同權重進行對比，如表2 所示。

表2 堆疊沙漏模塊輸出權值對比Table 2 Output weights comparison of stacked hourglass modules

由于每個沙漏模塊都包含上一個模塊的特征信息，因此第3 個沙漏模塊中的信息含量達到最大。從表2 可以看出，隨著L0、L1和L2權值的增加，終點誤差逐漸減小，說明L0、L1和L2中的信息能夠有效提高預測深度圖的準確度。當L0、L1、L2和L3權值為0.1、0.3、0.7、1.0 時終點誤差為0.89；當L0、L1和L2繼續增大時，終點誤差反而逐漸增大，這說明深層沙漏模塊的輸出包含更多有效信息，需要較大比重的權值。

2.4.3 消融實驗

為選擇最優的網絡整體結構，本文對網絡中的各個模塊進行消融實驗。本節將多成本融合模塊簡寫為MIM，具有權值的堆疊沙漏模塊簡寫為SH_W，沒有權值的堆疊沙漏模塊簡寫為SH。

從特征提取模塊實驗中可以得出，本文提出的MIM具有較優的特征提取性能，因此，將MIM 作為基礎特征提取方法。訓練集采用KITTI2015 數據集，不同模塊的3 像素誤差對比如表3 所示。

表3 不同模塊的3 像素誤差對比Table 3 3-px error comparison among different modules %

從表3 可以看出，使用MIM、CBAM 和SH_W 模塊的3 像素誤差較低，其具有最優的網絡結構。相比僅使用MIM 和SH_W 的網絡，3 像素誤差降低了0.14 個百分點。使用SH_W、CBAM 和MIM 模塊的誤差為2.02，相比僅MIM 和CBAM、SH 網絡的誤差降低了0.02 個百分點，說明CBAM 和帶有權值的堆疊沙漏模塊可以有效提高網絡的視差預測精度。

2.4.4 其他網絡對比

為驗證網絡的整體性能，本文使用經典網絡PSMNet、AANet 和ResNet-101［21］進行對比實驗，在KITTI 2015 和SceneFlow 數據集上分析4 個網絡評價指標的差異，其中KITTI 2015 是在SceneFlow 的結果上進行優化訓練。不同網絡的評價指標對比如表4 所示，加粗表示最優數據。

表4 不同網絡的評價指標對比Table 4 Evaluation indexs comparison among different networks

從表4 可以看出，本文所提DCNet 網絡的準確度最高，其相較于PSMNet 在KITTI2015 數據集3 像素誤差減小了0.31 個百分點，SceneFlow 終點誤差下降了0.13 個百分點。本文使用多成本融合的特征提取模塊，增加了特征圖包含的特征信息，能夠有效提高網絡的精確度，且其在3 像素誤差和終點誤差中的結果優于僅使用SPP 模塊。

在KITTI2015 數據集上不同網絡的背景區域內的異常值百分比D1-bg、前景區域內的異常值百分比D1-fg 和D1-all 對比如表5 所示，相比主流網絡，DCNet 的D1-bg 和D1-fg 均減少，其中在D1-fg相較于PSMNet 降低了10.17%。

表5 在KITTI2015 數據集上不同網絡的實驗結果對比Table 5 Experimental results comparison among different networks on the KITTI2015 data set %

在KITTI2012 數據集上不同網絡的實驗結果對比如表6 所示，Noc 是指非遮擋區域，即匹配的區域對應關系在圖片域內，All 是指所有區域。DCNet 網絡在>2px、>3px、>5px 以及Mean Error 4 個指標中均優于GCNet、PSMNet、AANet 等先進匹配網絡。與在特征提取和3D 卷積均使用注意力機制的MGNet［22］相比，DCNet在>3px、>5px 的誤匹配率中的指標較高，這說明在特征提取過程中，本文使用的多成本融合模塊能夠提取更豐富的特征信息。

表6 在KITTI 2012 數據集上不同網絡的實驗結果對比Table 6 Experimental results comparison among different networks on the KITTI2012 data set %

圖7為PSMNet、GC-Net和DCNet網絡在KITTI2015測試集上的部分視差圖、原圖和誤差圖，所有圖片均取自于KITTI 測試服務器反饋的結果。圖中視差預測效果較差的部分用黑色框標記，其通常出現在柵欄、標識等包含較小結構的圖像部分。DCNet使用了多成本融合的提取模塊，結合SPP 和DenseASPP 的優點提取圖像的特征信息，利用注意力模塊進一步優化得到的特征信息。相比使用SPP 模塊的PSMNet，DCNet可以得到包含更多特征信息的特征圖，進而提升網絡預測的視差圖精準度。從圖7 可以看出，DCNet能夠提高在電線桿、陰影部分等區域的匹配精準度，尤其是在小物體的邊緣區域。

圖7 在KITTI2015 測試集上不同網絡的視差圖與誤差圖對比Fig.7 Disparity images and error image comparison among different networks on the KITTI2015 test data

圖8 為PSMNet、GC-Net和DCNet在KITTI2012 測試集上的部分視差圖、原圖和誤差圖，使用黑色方框標記了視差預測效果較差的部分，所有圖片取自于KITTI測試服務器反饋的結果。從圖8可以看出，在KITTI2012測試集中，DCNet網絡在欄桿、路燈等物體中具有較優的匹配精準度，說明使用注意力模塊和多成本融合的特征提取方法能夠完整地提取細小物體的特征信息。

圖8 在KITTI2012 測試集上不同網絡的視差圖對比Fig.8 Disparity images and error image comparison among different networks on the KITTI2012 test data

圖9 為DCNet在ScnenFlow 測試集上的部分原圖、真實視差圖以及DCNet預測視差圖。從圖9可以看出，DCNet預測視差圖與真實視差圖在復雜紋理部分均有較優的匹配效果，這說明DCNet 網絡的性能較優。

圖9 DCNet 的視差圖Fig.9 Disparity image of DCNet

3 結束語

本文構建一個多成本融合的立體匹配網絡DCNet，利用基于DenseASPP 和SPP 的特征提取網絡提取較多的特征信息，通過引入輕量化注意力模塊對提取的特征進行優化，并融合左右特征圖形成匹配代價卷，通過3D 卷積神經網絡聚合特征信息，以回歸的方式生成視差圖。實驗結果表明，與PSMNet、GC-Net、AANet 等網絡相比，DCNet網絡具有較高的精確度，能夠改進對于格柵、電線桿等區域的匹配效果。DCNet 網絡在紋理重復密集區域的匹配效果較差，因為使用3D 卷積神經網絡導致網絡參數較多，且訓練時間較長。后續將在保證精確度不變的前提下減少網絡參數量，提高網絡的匹配效率，構造一個輕量化的立體匹配網絡。