基于匹配約束無監督網絡的雙目深度測量方法算法*

張 卓 石孫鳳 徐曉龍 張學武

（河海大學物聯網工程學院 常州 213022）

1 引言

在自動駕駛、三維環境重建等應用場景中，近景視場中的深度信息是控制決策、保障安全的重要數據依據。圖像測量技術以其感知信息豐富、適用性廣泛、便于利用現代信息技術分析的優勢，逐漸成為了深度信息測量的主流技術。圖像測量技術一般通過雙目圖像的左右視圖中對應像素點的立體匹配，得到視差圖，進而計算出目標對應的深度信息。在現有的雙目圖像測量技術中，傳統雙目視覺立體匹配算法按照匹配范圍限制可分為局部匹配法［1］、半全局匹配法［2］和全局匹配法［3］。但傳統雙目視覺立體匹配算法由于鏡頭畸變、光線變化和物體遮擋等諸多因素的影響，存在匹配精度差和速度慢的缺點。

針對傳統雙目視覺存在的缺點，目前國內外已有不少的研究人員將深度學習技術應用到雙目深度測量領域。JZbontar［4］在2015年將深度學習技術引入了立體匹配領域中，提出了MC-CNN 網絡，將半全局匹配算法和網絡模型進行融合，通過十字近似的方式實現代價聚合。SGM-Net［5］在半全局匹配算法SGM 中加入網絡模型，利用網絡學習左右圖像中視差的分布并作為懲罰系數加入到SGM 算法中。GC-Net［6］首先利用特征提取網絡對左右圖像進行特征提取；然后構建四維代價體，即建立視差搜索空間；利用三維卷積在視差搜索空間中進行代價傳播，最后，通過激活函數和絕對平均誤差損失回歸視差。StereoNet［7］通過粗粒度的深度估計模塊提取特征和生成匹配代價，然后選用雙線性上采樣和卷積操作替換的方式在多個層次對視差進行優化。GA-Net［8］提出了引導匹配損失聚集策略，包括半全局聚集層和局部引導聚集層進行代價聚合操作；半全局聚集層利用紋理信息和上下文信息計算匹配代價，局部引導聚集層在像素位置和視差水平中設置權重，聚合匹配代價，提升立體匹配的性能同時也降低計算量。雖然采用深度立體匹配網絡能夠提升匹配效果，但是花費時間長和受到標注數據難以獲取和像素最大匹配范圍的限制。

針對上述現有的問題，本文提出了一種基于匹配約束無監督網絡的雙目深度測量算法。首先，引入自注意力機制，設計匹配約束規則，擺脫了匹配范圍的限制，提高大范圍內像素立體匹配精度；同時將二維平面范圍匹配降低為一維線性匹配，加快立體匹配速度，適用于近景視場中深度信息測量的場景。其次將圖像重構、視差平滑、匹配約束特性三個損失函數加權融合，應用于無監督網絡，加快網絡收斂速度，不依賴于標注數據。最后在主流的數據集中進行對比實驗，驗證了本文方法的魯棒性、準確性和高效性，并通過消融對比實驗證明本文方法中的匹配約束模塊的合理性和有效性。

2 匹配約束條件

由于二維搜索對應像素點的計算量較大，為了加快匹配計算過程，縮小對應像素匹配范圍，常用的約束條件就是極線約束條件，具體如圖1 所示。極點eleft和像素點Pleft的連線、極點eright和像素點Pright的連線稱都稱為極線，目標點P和左右攝像頭的光心Oleft、Oright所成的平面稱為極面。

圖1 極線約束條件示意圖

極線約束條件可以概述為世界坐標系中的目標點在左右攝像頭的成像平面上映射的像素點必定在極線上。雙目攝像頭的立體校正對左右攝像頭物理位置進行標定，校正之后的左右攝像頭成像平面位于同一平面且圖像的水平高度一致，即左右兩幅圖像中的極線相互重合，為同一條直線，立體匹配中的搜索特征點即可以在左右兩幅圖像的同一橫坐標的極線上進行搜索。本文將這種極線約束條件在校正之后的圖像中的特殊關系稱為匹配約束條件。本文中雙目攝像頭立體矯正采用的是張氏標定法［9］，下文中討論的所有雙目圖像均為通過立體校正之后的圖像。

3 基于匹配約束無監督網絡的雙目深度測量算法

本文設計了一種基于匹配約束無監督網絡的雙目深度測量算法，引入自注意力機制，結合匹配約束條件，設計匹配約束模塊，擺脫了匹配范圍的限制，同時將二維匹配像素搜索降低為一維搜索，提高了算法的計算速度；在此基礎上，對匹配約束模塊的特性進行分析，從圖像重構、視差平滑、匹配約束特性三個角度設計損失函數，加快無監督網絡的收斂速度，降低網絡訓練對數據的依賴性，增強網絡的泛化性能。

3.1 網絡模型

基于匹配約束無監督網絡的雙目深度測量網絡模型采用U型網絡來提取多尺度的圖像特征，將多尺度特征通過級聯的匹配約束模塊計算得到稠密的視差圖。U 型特征提取網絡模塊分別對左右兩幅圖像進行特征提取，并將提取到的特征圖分別送入匹配約束模塊，具體網絡模型如圖2所示。

圖2 基于匹配約束無監督網絡的雙目深度測量網絡模型

3.2 特征提取模塊

特征提取模塊參考經典的U-Net［10］網絡。特征提取網絡模塊結構如圖3 所示。圖中的黑色寬箭頭代表編碼器分為四次下采樣過程，提取語義信息。編碼器采用常見的卷積神經網絡結構，一共五個卷積塊組成，每個卷積塊中包含卷積層（Convolution）、批處理規范化層［11］（Batch Normalization）和激活函數層［12］（LeakyReLU）。使用卷積核大小為3*3，卷積核移動方式采用valid 模式。圖中灰色寬箭頭代表解碼器分為四次上采樣過程，對語義信息進行像素級恢復。解碼器一共四個卷積塊構成，每個卷積塊中包含一個跳躍連接和上采樣連接層、卷積層、批處理規范化層和激活函數層。反卷積核大小為2*2。

圖3 特征提取網絡模塊結構圖

3.3 匹配約束模塊

匹配約束模塊將經典的立體匹配算法中的匹配約束融合到深度學習網絡中，提高網絡在近景視場下對較大視差匹配范圍的適應性。匹配約束模塊，引入自注意力機制，并將其根據立體匹配中的匹配約束條件進行改進。匹配約束模塊結構圖如圖4所示。其中A，B為輸入的左右特征圖像，圖4中的虛線代表將左右圖像互換，通過同樣的匹配約束模塊，生成互相關系數矩陣MA→B，最終得到右側轉換圖W，W∈RH×W×C，C為通道數，H為圖像的高度，W為圖像的寬度。

圖4 匹配約束模塊結構圖

互相關系數矩陣MB→A，其中A為左側圖像，B為右側圖像，即互相關系數矩陣也可以表示為Mright→left。如圖5所示。

圖5 互相關系數矩陣示意圖

從特征圖的角度分析，Mright→left可以理解為右側圖像對左側圖像的相關性，將右側圖像Iright和Mright→left相乘，可以理解為右側圖像對齊為左側圖像，稱為轉化特征圖O。因此，可以得到左右一致性，如式（1）所示。Ileft代表左側圖像，Iright代表右側圖像。

進一步地，可以得到循環一致性，如式（2）、式（3）所示。

3.4 視差計算模塊

視差計算模塊根據互相關系數矩陣，計算出視差圖D，進而計算出目標深度信息。

左右兩幅圖像經過立體匹配之后，得到稠密的視差圖D，通過目標點的視差與雙目攝像頭的基線關系和數學幾何相關知識，可以計算出世界坐標系下目標點的三維坐標，進而通過人機交互的方式，可以對兩點之間的距離進行測量。具體過程如式（5）所示。

根據世界坐標系下攝像頭和目標點之間的幾何關系，可以對目標點P的三維坐標進行計算。如式（7）所示，進一步，可以完成對深度信息的測量。

3.5 損失函數設計

本節介紹上文中的基于匹配約束無監督網絡的雙目深度測量網絡模型中的損失函數設計。在無監督網絡中，由于沒有真實標注值的存在，所以其損失函數的設計對于網絡收斂和訓練結果有重要意義。

1）圖像重構誤差損失函數

2）視差平滑損失函數

本文將視差梯度?d和圖像梯度?I進行融合，分別對橫坐標方向和縱坐標方向求視差梯度和圖像梯度，如式（10）所示。

同時將互相關系數矩陣和視差平滑損失函數相結合，可以實現對視差圖的平滑。如式（13）所示。

4 實驗與分析

4.1 實驗環境配置和評價指標

1）實驗環境配置和數據集介紹

本文以PyTorch 1.3.1 深度學習框架為基礎，搭建網絡模型。實驗環境為Ubuntu 16.04，CPU 為Intel Xeon E5-2680，3.3GHz；GPU 為Nvidia TITAN V，圖像處理工具為OpenCV 4.1，編程語言采用Python。

本文實驗引入了公共開源數據集KITTI2012和KITTI2015。KITTI2012 數據集中，有194 組訓練數據和195 組測試數據；KITTI2015 數據集中，有200 組訓練數據和200 組測試數據。兩個數據集中，圖像分辨率均為1242×375，并將其訓練數據的前160對圖像作為訓練集，剩余的作為驗證集。

2）評價指標

本文實驗由于真實標注圖像的限制只對立體匹配性能實驗設置評價指標，評價指標采用EPE（end-point-error）和視差錯誤率PER（pixel error rate）。EPE是一種光流預測方向中的評估方式，應用在立體匹配的方向上具體是指像素點的標注值和預測值之間的平均距離，EPE越低立體匹配效果越好。視差錯誤率PER 是預測視差中錯誤視差的像素點占比，PER越低立體匹配效果越好。

4.2 實驗結果及討論

1）損失函數消融對比實驗

本文算法從圖像重構、視差平滑、匹配約束模塊三個角度設計損失函數，本節對損失函數在KTTI2015 數據集上進行消融實驗，具體指標如表1 所示。

表1 損失函數消融對比實驗結果

通過表1 可以得出，本文設計的損失函數能夠提高立體匹配的準確度。Lp雖然融合了結構誤差的高頻特征和基本重構誤差的顏色、亮度特征，但是在弱紋理區域表現不佳，所以評價指標均表現不好。Ls的加入，使得網絡在連續視差變化的情況下表現更好。損失函數結合匹配約束模塊中左右一致性、循環一致性的圖像重構特性，引導網絡收斂；充分考慮視差圖平滑、圖像平滑和互相關系數矩陣平滑，使得稠密視差圖在保證邊緣銳利的同時平滑局部視差；融合匹配約束模塊中多尺度的損失信息，更加精確地提取到損失值，加速網絡收斂速度。

2）主流算法對比實驗

本節設計了本文算法和主流算法的對比實驗，數據集分別為KITTI2012 和KITTI2015 數據集，其中主流算法在訓練過程中設置最大匹配范圍為192，本文算法不設置最大匹配范圍。本文算法和主流算法的對比效果圖如圖6、圖7所示，從左到右依次為左側圖像、OASM［13］算法實驗效果圖、SegStereo［14］算法效果圖、FCUNet［15］算法效果圖、本文算法實驗效果圖。

圖6 KITTI2012數據集中主流算法對比實驗效果圖

圖7 KITTI2015數據集中主流算法對比實驗效果圖

OASM 算法剔除了遮擋點對視差圖的影響，但是視差圖會在遮擋處出現視差突變，在目標邊緣視差表現不好。SegStereo 算法將分割信息和視差信息相融合，增強了目標邊緣視差的變化，但是由于目標內部缺乏紋理信息，在局部信息的視差會有較大的誤判。FCUNet 算法引入光流信息，根據光線變化梯度信息平滑視差，在視差圖中表現較好。本文算法通過匹配約束模塊，擺脫了最大視差限制，在總體視差效果上表現近似于主流算法，在近景視場中視差匹配效果上表現優于主流算法。對上述幾種算法效果進行客觀評價，具體評價數據如表2所示。

表2 本文算法對比實驗客觀評價指標

在表2 中，本文采用了PER 視差錯誤率來作為評價指標，評價的像素為全部像素，包含遮擋區域的像素。從表2 中可以看出，本文算法對比主流算法在KITTI2012 數據集中有約3%的提升，在KITTI2015數據集中有約2%的提升。

5 結語

本文提出了一種基于匹配約束無監督網絡的雙目深度測量算法，將自注意力機制和匹配約束條件相融合，設計了一種匹配約束模塊，提高計算速度的同時擺脫了匹配范圍的限制；從圖像重構、視差平滑、匹配約束特性三個角度設計了無監督網絡的損失函數，加快網絡收斂速度，不依賴于標注數據。在KITTI2012 和KITTI2015 數據集上進行實驗驗證，與幾種主流的基于深度學習的無監督網絡測量算法相比，本文算法實現了對深度信息的精準測量，在近景視場下的深度測量表現尤為出色。本文雖然對應像素點搜索方式進行了優化，提升了計算速度，但是仍不能滿足自動駕駛等實時需要深度信息的場景，下一步將從網絡結構優化、模型輕量化的角度出發，對算法的計算速度進行改善和提升。