聯合語義代價體的立體匹配網絡改進方法

何培玉，黃勁松

聯合語義代價體的立體匹配網絡改進方法

何培玉，黃勁松

（武漢大學測繪學院，武漢 430079）

立體匹配是自主移動平臺獲取周圍環境深度信息的主要方式之一。針對在低紋理、前景物體難以與背景區分等場景下，經典立體匹配算法性能下降明顯這一問題，圍繞將語義信息引入立體匹配網絡開展研究，對現有聯合語義信息的立體匹配網絡進行整合抽象，并針對現有方法的缺陷提出了聯合語義代價體的立體匹配網絡改進方法，結合殘差結構設計，更充分地利用語義信息的同時保證了算法的實時性。實驗結果表明，聯合語義信息對立體匹配網絡整體精度有所提升，并對病態區域中的結果有所改善，同時驗證了本文方法相較于其他聯合語義信息方法的優越性。

深度學習；立體匹配；語義信息；語義分割；多任務網絡

0 引言

雙目立體匹配旨在通過對雙目圖像中的同名點進行匹配，根據匹配點對的視差來恢復圖像中物體的深度信息。根據獲得的深度信息，可以進一步提取出場景中的障礙物，恢復物體的3維信息，廣泛地應用在例如無人駕駛車輛等自主移動平臺的環境感知模塊以及3維重建等領域。

相較于文獻[1-2]中傳統的立體匹配方法，端到端的方法在估計精度和計算速度等方面得到了極大的提升[3]。在傳統方法中，人為設計的視覺特征魯棒性較差，難以適應多種復雜環境，而端到端的方法憑借其強大的學習能力在多種場景下實現了快速且準確的立體匹配[4]。早期，例如文獻[5-6]中的一些方法使用卷積神經網絡來替代傳統立體匹配方法中的部分步驟。2016年文獻[7]提出了視差網絡（disparity network, DispNet），基于編碼器-解碼器的框架首次實現了端到端的立體匹配網絡。文獻[8]中基于幾何和上下文的深度回歸網絡（geometry and context network, GCNet）首次將 3維（3-dimentional, 3D）卷積引入了立體匹配網絡構建中，保留了更多的特征信息。除此以外，在GCNet中提出了使用可微的最值函數（soft argmax）來實現最后的視差回歸（regression）。自此，在基于深度學習的立體匹配方法中，基于3D卷積和soft argmax的方法逐漸成為主流。

但對于低紋理、前景物體不明顯等復雜區域，端到端的立體匹配網絡雖然相較于傳統方法有一定程度的改善，但是仍然難以得到十分準確的視差結果[9]。為了進一步提高立體匹配網絡精度，文獻[10-12]中的各種網絡通過增加代價體規模或數量的方式提高對上下文信息的利用，有效提高了立體匹配的整體精度，但上述方式極大地增加了內存消耗，同時需要大量的計算。例如文獻[10]中的金字塔立體匹配網絡（pyramid stereo matching network, PSM），一次前向計算需要進行數千億次浮點運算，參數量也達到了數百萬個，難以進行實時推斷。

針對上述問題，文獻[13-16]均是基于多任務網絡框架，以聯合語義特征圖的形式在立體匹配分支中引入語義信息，以較小的代價有效提高立體匹配網絡精度，同時獲得其他相關信息。但是上述聯合語義信息的方法基于不同的立體匹配網絡框架，在模型構建上具有其特異性，同時訓練方式也有很大差別，因此無法依據上述論文的結果對不同的聯合方式進行說明和比對，對研究如何合理、有效地在立體匹配網絡中聯合語義信息造成了阻礙。

本文在統一的立體匹配網絡框架中實現了已有的聯合語義信息的方法，同時提出了一種結合語義代價體和殘差結構的聯合方法，并在國際上最大的自動駕駛場景下的計算機視覺算法評測數據集（KITTI）中的雙目數據集（KITTI Stereo）上驗證聯合語義信息對立體匹配算法整體精度的提升以及對病態區域視差估計結果的改善，對上述多種聯合語義信息的方式進行了比較。KITTI數據集是由德國卡爾斯魯厄理工學院（Karlsruhe Institute of Technology, KIT）和豐田工業大學芝加哥分校（Toyota Technological Institute at Chicago, TTIC）聯合創辦，利用組裝的設備齊全的采集車輛對實際交通場景進行數據采集獲得的公開數據集。

1 網絡結構

1.1 單一立體匹配網絡

本文采用的統一的立體匹配網絡框架如圖1所示。網絡結構可分為特征提取、構建代價體、正則化代價體及視差回歸4個部分。雙目圖像同時輸到特征提取模塊以獲取雙目特征圖；隨后使用雙目特征圖構建代價體，以此表示雙目特征在待估計視差范圍內的匹配關系；再通過3D卷積層對代價體進行正則化處理，最后使用soft argmax操作對正則化后的特征圖進一步回歸，得到預測的視差圖。

圖1 立體匹配網絡框架

在具體的網絡設計中，特征提取部分采用簡單的編碼器-解碼器結構；同時，為了獲取豐富的上下文信息，在上采樣過程中通過文獻[17]中提出的跳連操作將底層特征和深層特征融合。代價體的構建則采用了單通道方式，即在通道維度上求解范數作為匹配代價值，以此減小3D卷積層的計算量。

立體匹配網絡和語義分割網絡在結構上具有很大程度的相似性，且均是稠密的、像素級別的輸出。語義分割網絡框架如圖2所示。語義分割網絡在編碼器-解碼器結構的特征提取器后添加若干層二維卷積以及歸一化指數函數（softmax）操作以構建語義分割分支，對特征圖進行進一步處理并將特征圖轉換為語義標簽的概率分布。

圖2 語義分割網絡框架

從算法流程和特征類型上看，立體匹配網絡中主要借助局部的、低語義的底層特征進行左右目間的同名點匹配，而語義分割網絡中主要依靠更大感受野、包含更多語義信息的特征進行語義標簽的預測，二者的信息存在互補的關系。除此以外，根據語義分割獲得的語義信息，可以提高低紋理、遮擋等區域的立體匹配結果的準確性。因此可通過聯合語義信息提升立體匹配的精度。

1.2 現有聯合語義信息的方法

1.2.1 聯合語義分割任務

考慮到立體匹配和語義分割均是稠密的像素級預測任務，其特征提取模塊存在共用的可能性，因此可直接在已有的立體匹配網絡基礎上添加語義分割分支，以多任務網絡形式聯合語義信息，具體框架如圖3所示。

圖3 立體匹配和語義分割的多任務網絡框架

其中特征提取部分完全共享，生成的特征圖可以同時輸入立體匹配分支和語義分割分支中，分別進行語義分割結果和視差圖的估計。而語義分割分支與立體匹配分支的設計與1.1節中保持一致。

以多任務的形式聯合語義信息可豐富原本立體匹配任務中的特征類型，但僅僅是通過反向傳播影響底層特征提取模塊。因此在多任務的基礎上，已有的研究考慮了更多樣的聯合方法，加強 2個子任務的聯系。

1.2.2 聯合語義特征圖

聯合語義特征圖是指在多任務網絡基礎上將語義分割分支中產生的特征圖引入立體匹配分支中，參與到視差估計的過程中。目前文獻[13-16]中的已有研究均是通過該方式將語義信息添加到立體匹配網絡中，但根據引入語義特征圖的位置不同可分為特征圖級聯、代價體融合和細化視差 3種聯合模式。其中文獻[13]提出的語義分割的立體匹配網絡（semantic segmentation stereo matching network, SegStereo）是在進入立體匹配分支前，將2個任務的特征圖級聯，共同構建代價體，也即特征圖級聯的聯合方式；文獻[14]中基于金字塔代價體的語義立體匹配網絡（semantic stereo matching network with pyramid cost volumes, SSPCV-Net）在代價體進入3D卷積模塊之前利用代價體聚合模塊將原有的代價體和語義代價體融合，采用的是代價體融合的聯合方式；而文獻[15]中的語義輔助的視差網絡（disparity estimation network with semantics, DispSegNet）和文獻[16]中的實時語義立體匹配網絡（real-time semantic stereo matching network, RST2Net）則是在立體匹配分支生成視差圖后，聯合語義特征圖對已有的預測結果進行細化，是細化視差的聯合方式。

特征圖級聯的聯合方式將雙目的語義特征圖和輸入立體匹配分支的原始特征圖在通道維上進行級聯，替代原有的特征圖來進行代價體的構建和后續的視差計算。具體網絡框架如圖4所示。

圖4 特征圖級聯的聯合網絡框架

代價體融合的聯合方式是利用語義特征構成新增的代價體，再與立體匹配分支中原有的代價體進行融合，共同輸入3D卷積模塊中進行代價體的正則化。在代價體融合的過程中，首先要進行語義代價體的構建，然后要建立代價體的融合模塊，將語義代價體和原有的特征代價體進行融合，再將融合后的代價體輸入3D卷積層中進行處理。整體網絡框架如圖5所示，其中的代價體融合模塊與SSPCV-Net中設計一致。

除了上述2種聯合方式，還可以將已有的視差估計結果與語義特征圖在通道維上級聯，再將級聯的結果輸入簡單的、由多個2D卷積堆疊起來的細化模塊，利用語義信息細化原有的視差估計結果。細化視差的聯合網絡結構如圖6所示。

圖5 代價體融合的聯合網絡框架

圖6 細化視差的聯合網絡框架

1.3 聯合語義代價體的立體匹配網絡改進方法

特征圖級聯的聯合網絡使用級聯后的特征圖進行代價體的構建，但是在通道維上級聯的融合方式過于簡單，且在構建單通道代價體過程中存在較大的信息損失。同樣地，代價體融合的聯合方式如果基于單通道代價體進行融合會存在較大的信息損失，但如果使用多通道的代價體則計算量過大。而細化視差的聯合網絡僅僅使用了單目的語義特征，沒有用到雙目語義特征的匹配信息。因此考慮將以上3種聯合方式結合起來，本文提出利用單獨的語義代價體對已有的視差結果進行細化。該方法首先使用語義特征和已有的視差結果構建規模較小的語義代價體，然后通過堆疊的3D卷積對語義代價體進行處理，最后利用估計視差殘差（residual）的方式來實現視差細化。具體網絡結構如圖7所示。

圖7 聯合語義代價體的立體匹配網絡框架

聯合語義代價體的方法首先利用已有的視差結果將右目的語義特征投影（warping）到左目，再將得到的投影結果與原本的左目語義特征圖用于構建語義代價體。通過正則化代價體和視差回歸過程，網絡得到相較于已有視差結果的殘差值，將該殘差值與原有的視差結果相加即可得到經過細化后的視差結果。不同于立體匹配分支中原本的代價體構建方式，此處語義代價體的構建利用了已有的視差結果，在視差殘差的范圍上構建語義代價體，很大程度上減小了語義代價體的規模。

構建單獨的語義代價體的方式既能夠利用到單目語義特征來引導物體邊緣部分的視差估計，也能夠通過語義特征之間的匹配關系進一步完善原本特征難以匹配的區域，更完整、充分地利用到語義信息。同時殘差結構的設計減小了語義代價體的規模，進而減少了處理語義代價體所需要的計算消耗，保證了算法的實時性。

2 實驗與結果分析

2.1 數據集及評估指標

1）CityScapes。城市場景數據集（CityScapes）是語義分割中常用的數據集，采集于真實的駕駛場景，包含了50個不同城市的街道場景中記錄的立體視頻序列，包含了5000幀的高質量像素級語義標注。數據集中的視差圖是通過半全局匹配算法（semi-global matching，SGM）算法獲得，精度很低且存在大量的空洞，難以作為準確的立體匹配訓練數據。該數據集主要用于對網絡進行預訓練。

2）KITTI Stereo。該數據集同樣采集于真實的駕駛場景，其中視差信息來源于激光雷達的點云數據，是稀疏的、更為準確的視差標注。但是數據集規模較小，僅有約400對訓練立體圖像對，因此主要用于對模型進行微調及后續評估。

3）評估指標。立體匹配常常采用-像素誤差（-pixel error,PE）評估視差估計結果的準確性，計算方式為

2.2 損失函數

本文采用平滑的最小絕對值偏差損失函數（smooth l1 loss）進行視差分支的訓練，在語義分割任務中則采用交叉熵函數（crossentropy loss）進行訓練。

定義視差損失函數為

語義分割損失函數定義為

聯合語義信息的立體匹配網絡的整體損失函數為

2.3 結果分析

為了說明聯合語義信息后對立體匹配算法整體精度的提升，以及對多種聯合語義信息的方式進行比對，進行了多組實驗對不同的網絡結構生成的視差結果進行評估。

在表1中，對單獨的立體匹配網絡、多任務網絡、特征圖級聯的聯合網絡、代價體融合的聯合網絡、細化視差的聯合網絡以及基于語義代價體細化視差的聯合網絡的浮點運算次數（floating point operations, FLOPs）、參數量和推斷時間進行了統計和比對。

表1 不同網絡結構的計算效率統計

從表1可以看出，相較于單獨的立體匹配網絡，聯合語義信息的各個網絡計算量和參數量僅存在少量的增長，但即使是其中最復雜的結合語義代價體和殘差結構的聯合網絡，其浮點運算數和參數量亦均比PSMNet低1個數量級，且能保證實時的推斷速度。

從KITTI Stereo的訓練集中隨機分離出40張圖片作為驗證集，不參與模型的訓練。在訓練結束后使用驗證集對模型進行整體精度的評估，評估結果如表2所示。

表2 不同網絡結構在KITTI Stereo上的表現

從表2中的評估結果可以看出，聯合語義信息有效提高了立體匹配結果的整體精度。單以多任務的形式聯合語義信息，在整體精度的提升上并不明顯；而在不同的聯合語義信息的網絡結構中，聯合語義代價體的立體匹配網絡對于結果的整體精度提升最高。

圖8和圖9中分別選取了包含了大部分低紋理區域的圖像1和前景物體不明顯的圖像2作為測試圖像，對各個網絡產生的視差預測結果以及預測誤差進行可視化。預測結果可視化結果中亮度越大表示視差值越大，也即距離越近。在預測誤差可視化結果中，亮度越大表示誤差值越大。

從圖8和圖9可以看出，僅僅聯合語義分割任務難以對病態區域有明顯的改善，而聯合語義特征圖和聯合語義代價體的方式相較于單一的立體匹配網絡在低紋理區域能進行更為準確、完整的視差估計；對于低紋理區域以及從色彩上難以分辨的前景物體，例如電線桿、樹木等，聯合語義的網絡也獲得了更準確的視差結果。另在表3中統計了圖像1和圖像2在多種網絡結構中預測結果的3-像素誤差值，從指標上說明了聯合語義特征圖和聯合語義代價體的立體匹配網絡在低紋理區域以及前景物體處視差結果的明顯改善。

圖8 圖像1的預測結果和預測誤差可視化

圖9 圖像2的預測結果和預測誤差可視化

表3 圖像1和圖像2的視差結果3-像素誤差統計 %

上述實驗從1/3-像素誤差的定量評估和部分復雜場景的可視化2個方面證實了聯合語義分割的立體匹配網絡相較于單獨的立體匹配網絡在整體精度上的提升以及復雜區域上的改善。同時，各種聯合語義信息的立體匹配網絡均在計算量和參數量上都保持了合理的增長，在實驗設備上維持了實時的推算。其中，本文提出的聯合語義代價體的立體匹配網絡因為構建了單獨的語義代價體，既能夠利用到單目語義特征來引導物體邊緣部分的視差估計，也能夠通過語義特征之間的匹配關系進一步完善原本特征難以匹配的區域，更為完整、合理地應用了語義信息，雖然在計算量和參數量上增長較大，但是在整體精度的提升和對復雜區域結果的改善2個方面都取得了最佳的效果。

3 結束語

本文對已有的聯合語義信息的方法進行了抽象整合，針對現有方法利用語義信息不足的缺陷，提出了一種聯合語義代價體的立體匹配網絡改進方法，以殘差形式構建視差細化模塊，充分利用語義信息的同時減小了語義代價體的規模和后續的計算消耗。實驗結果表明，本文提出的聯合語義代價體的立體匹配網絡改進方法在15毫秒每幀的推斷效率下達到4.31%的3-像素誤差，相較于已有的聯合方式，更大程度地改善了立體匹配結果，且不影響算法的實時性。

[1] SCHARSTEIN D, SZELISKI R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International Journal of Computer Vision, 2002, 47(1): 7-42.

[2] BROWN M Z, BURSCHKA D, HAGER G D. Advances in computational stereo[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(8): 993-1008.

[3] 劉振國,李釗,宋滕滕,等.可變形卷積與雙邊網格結合的立體匹配網絡[J].計算機工程,2022(5):1-9.

[4] LAGA H, JOSPIN L V, BOUSSAID F, et al. A survey on deep learning techniques for stereo-based depth estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.

[5] ZBONTAR J, LECUN Y. Computing the stereo matching cost with a convolutional neural network[EB/OL]. [2022-05-06].https://arxiv.org/pdf/1409.4326.pdf.

[6] ZBONTAR J, LECUN Y. Stereo matching by training a convolutional neural network to compare image patches[J]. J. Mach. Learn. Res., 2016, 17(1): 2287-2318.

[7] MAYER N, ILG E, HAUSSER P, et al. A large dataset to train convolutional networks for disparity, optical flow, and scene flow estimation[EB/OL]. [2022-05-06].https://arxiv.org/pdf/1512.02134.pdf.

[8] KENDALL A, MARTIROSYAN H, DASGUPTA S, et al. End-to-end learning of geometry and context for deep stereo regression[EB/OL]. [2022-05-06].https://arxiv.org/pdf/1703.04309.pdf.

[9] 鄭秋梅,溫陽,王風華.基于多卷積核通道特征加權雙目立體匹配算法[J].計算機與數字工程,2021,49(10):2113-2117.

[10] CHANG J R, CHEN Y S. Pyramid stereo matching network[EB/OL]. [2022-05-06].https://arxiv.org/pdf/1803. 08669.pdf.

[11] 張錫英,王厚博,邊繼龍.多成本融合的立體匹配網絡[J].計算機工程,2022,48(2):186-193.

[12] ZHU Z, HE M, DAI Y, et al. Multi-scale cross-form pyramid network for stereo matching[EB/OL]. [2022-05-06].https://arxiv.org/pdf/1904.11309.pdf.

[13] YANG G, ZHAO H, SHI J, et al. Segstereo: exploiting semantic information for disparity estimation[EB/OL]. [2022-05-06].https://arxiv.org/pdf/1807.11699.pdf.

[14] WU Z, WU X, ZHANG X, et al. Semantic stereo matching with pyramid cost volumes[EB/OL]. [2022-05-06].https://openaccess.thecvf.com/content_ICCV_2019/papers/Wu_Semantic_Stereo_Matching_With_Pyramid_Cost_Volumes_ICCV_2019_paper.pdf.

[15] ZHANG J, SKINNER K A, VASUDEVAN R, et al. Dispsegnet: leveraging semantics for end-to-end learning of disparity estimation from stereo imagery[J]. IEEE Robotics and Automation Letters, 2019, 4(2): 1162-1169.

[16] DOVESI P L, POGGI M, ANDRAGHETTI L, et al. Real-time semantic stereo matching[EB/OL]. [2022-05-06]. https://arxiv.org/pdf/1910.00541.pdf.

[17] RONNEBERGER O, FISCHER P, BROX T. U-net: convolutional networks for biomedical image segmentation[EB/OL]. [2022-05-06].https://arxiv.org/pdf/1505.04597.pdf.

An improved method of stereo matching network combined with semantic cost volume

HE Peiyu, HUANG Jingsong

（School of Geodesy and Geomatics, Wuhan University, Wuhan 430079, China）

Stereo matching is one of the main ways for autonomous mobile platforms to obtain the depth information of the surrounding environment. Aiming at the problem that the performance of the classic stereo matching algorithm is obviously degraded in the scenes with low texture and the foreground objects are difficult to distinguish from the background, this paper focuses on introducing semantic information into the stereo matching network. This paper integrates and abstracts the existing stereo matching network combined with semantic information, and then proposes an improved method for stereo matching network combined with semantic cost volume in view of the shortcomings of the existing methods. Combined with residual structure, it can make full use of semantic information while ensuring that the real-time inference. The experimental results show that the joint semantic information improves the overall accuracy of the stereo matching network as well as the improvement in ill-conditioned regions, and at the same time verifies the superiority of the proposed method compared with other methods to combine semantic information.

deep learning; stereo matching; semantic information; semantic segmentation; multi-task network

P228

A

2095-4999(2022)06-0157-08

何培玉，黃勁松.聯合語義代價體的立體匹配網絡改進方法[J].導航定位學報, 2022, 10(6): 157-164.（HE Peiyu，HUANG Jingsong.An improved method of stereo matching network combined with semantic cost volume[J]. Journal of Navigation and Positioning, 2022, 10(6): 157-164.）

10.16547/j.cnki.10-1096.20220621.

2022-05-26

何培玉（1997—），女，重慶長壽人，碩士研究生，研究方向為深度學習。

黃勁松（1969—），男，湖南長沙人，博士，副教授，研究方向為自主移動機器人技術。