一種基于卷積神經網絡的立體匹配算法設計*

魯志敏，袁 勛，陳 松

(中國科學技術大學 信息科學技術學院，安徽 合肥 230026)

0 引言

立體視覺作為計算機視覺最為熱門的研究領域，廣泛應用于車輛的自動駕駛、機器人導航、三維重建、物體檢測和識別等方面。立體匹配作為立體視覺系統中的核心技術，其匹配的精確度決定著整個系統的性能。由于拍攝的立體圖像大多存在噪聲干擾、重復紋理、低紋理和遮擋區域等問題，并且受到光照條件的影響，如何高效快速地獲取精準的視差圖仍存在著諸多挑戰。

立體匹配算法的典型流程包含匹配代價計算、代價聚合、視差計算和視差優化四個步驟[1]，其又分為全局算法和局部算法。局部算法通常使用固定大小的窗口或可變的窗口來計算初始代價，例如Census算法等，實現都比較簡便，但是在視差突變區域存在諸多弊端，對低紋理和遮擋區域匹配效果差。全局匹配算法通過建立全局能量函數，利用最小化全局能量函數來獲取最優的視差值[2]。常用的全局匹配算法包含動態規劃、圖割法、置信傳播法、遺傳算法等。全局匹配算法隨著計算復雜度的提升，匹配效果較局部算法有所提升，但數據依賴性大導致運行速度慢，需要花費很長的時間進行計算。

為了解決傳統立體匹配算法在低紋理、遮擋區域的匹配效果差的問題，本文研究了一種端到端的基于卷積神經網絡的立體匹配算法，并利用了空洞空間金字塔池化(ASPP)[3]網絡獲取圖像的上下文信息和多尺度的三維卷積網絡來擴大圖像的感受野。最終獲得的視差圖的精度遠高于傳統匹配算法，對圖像的邊緣、遮擋區域的匹配效果都非常優異。

1 研究背景

近年來，隨著計算能力的大幅提升，深度學習成為計算機視覺領域發展最為迅速的一種主流算法，在目標識別、物體跟蹤、檢測等方面大幅優于傳統的圖像算法。卷積神經網絡(CNN)作為深度學習的熱門研究方向，在計算機視覺領域取得了很多突破性成果。CNN的一個重要方面就是獲取輸入向更深層傳播時的抽象特征。卷積操作過程如式(1)所示：

(1)

其中,Z代表輸出，x代表輸入，w代表一個卷積核，b代表偏置項。卷積操作完成之后，對輸出的結果通常會進行非線性激活，再作為下一層的輸入。常用的非線性激活函數有修正線性單元(Rectified Linear Unit, ReLU)。卷積神經網絡通過層層傳播，并結合反向傳播算法，可以提取出圖像的抽象特征。

立體匹配的目標是計算出參考圖像中的每個像素的視差值d。假設給定一對經過校正的立體圖像，左圖像中的像素點為p(x,y)，在右圖像上的對應點為p′(x-d,y)，則該像素的深度可以由fB/d計算而來，其中f為相機的焦距，B為左右相機光心之間的距離。目前，基于深度學習的立體匹配方法主要有三種，其中包含匹配代價學習、正則學習、端到端視差學習。ZBONTAR J和LECUN Y[4]于2015年首次將卷積神經網絡(CNN)應用于立體匹配，該網絡設計了一個深層的Siamese網絡去計算匹配代價，在KITTI2015[5]測試平臺上的誤匹配率為3.89%，引起了廣泛關注。LUO W[6]等人提出了一個更快的Siamese網絡，其中匹配代價的計算被視為多標簽的分類問題。SGM-Net[7]學習預測半全局匹配(Semi-Global Matching，SGM)的懲罰項來代替人工調整規則化的懲罰項。近期，MAYER N[8]等人提出一個端到端的網絡來估算視差(DispNet)和光流(FlowNet)，并提供了一個大型合成數據集(Scene Flow)用于網絡訓練。PANG J H[9]等人拓展了DispNet并引入了一種兩級網絡，稱為級聯殘差學習(Cascade Residual Learning,CRL)。第一級和第二級網絡分別計算視差圖和多尺度的殘差，然后兩級網絡的輸出相加構成最終的視差圖。KENDALL A[10]等人介紹了GC-Net網絡，使用了3D卷積神經網絡來調整匹配代價空間。上述的端到端方法都利用多尺度特征去估算視差圖。CHANG J R[11]等人提出了一個全新的金字塔立體匹配(Pyramid Stereo Matching,PSM)網絡，利用了空間金字塔池化(Spatial Pyramid Pooling,SPP)來獲取多尺度的特征，并結合三個沙漏堆疊網絡獲得了更好的匹配效果。

2 ASPP-Net模型架構設計

與傳統的求視差圖的步驟不同，本文利用深度學習的方式來學習從輸入圖像到視差圖之間的端到端的映射。這種方式可以減少很多工程設計的復雜性，避免了視差優化等步驟。圖1展示了ASPP-Net模型的體系架構。左右圖像分別輸入到兩個權重共享的殘差卷積神經網絡[12]中用來提取特征，ASPP模塊用來獲取圖像的上下文信息。然后將左右圖像特征連接形成4維的代價空間，之后通過多尺度的3D CNN網絡進行代價規整并最終通過視差回歸得到精確的視差圖。

2.1 特征提取網絡

首先，本文學習了一種用于表示立體匹配代價的深度表示。采用特征圖表示來取代使用原始像素強度計算而來的立體匹配代價。這樣做的動機是比較一個描述符，該描述符對光學歧義更為魯棒，而且可以結合局部上下文信息。在本文的模型中，使用了殘差卷積網絡來學習深度表示。因為殘差網絡不會隨著網絡層數的增多而出現梯度消失的現象。每個卷積層之后是批處理歸一化層(Batch Normalization，BN)和非線性激活函數層(采取的是ReLU函數)。為了減少計算需求，該網絡首先應用三個3×3的卷積濾波器對輸入進行降采樣處理。PSM-Net[11]設計的殘差卷積網絡深達28層。但是，文獻[10]中僅采取了11層殘差卷積網絡也取得了高精度的視差圖。因此，可推測PSM-Net中可能存在大量冗余參數。基于此，本文僅使用了15層殘差卷積網絡。其中每個殘差卷積模塊由兩個串聯的卷積濾波器短接組成。為了減少網絡的參數，卷積核的大小均為3×3。左右圖像通過網絡參數共享，來更有效地學習相對應的特征，最后提取出各自對應的特征圖。

圖1 所提出的ASPP-Net的體系架構

2.2 ASPP模塊組成

在PSM-Net中，使用空間金字塔池化(SPP)模塊從多個尺度進行特征提取。受此啟發，本文所提出的空洞空間金字塔池化(ASPP)模塊使用空洞卷積來提取稠密特征圖并捕獲圖像中長范圍的上下文信息。具體來說，為了編碼多尺度信息，該網絡提出的級聯模塊逐漸使空洞率加倍，而帶圖像級特征增強的空間金字塔匯聚模塊則使用多個采樣速率來獲取特征。在網絡解碼上對于不同尺度用不同大小的空洞率去抓取多尺度信息，每個尺度作為一個獨立的分支，最后把它們合并起來再接一個卷積層輸出最終的特征圖。如圖1所示，ASPP模塊包含空洞率分別為6、12、18的空洞卷積，然后結合全局平均池化層以及殘差網絡提取出的特征，合并在一起之后通過兩個卷積層獲取最終的特征圖。實驗結果表明，ASPP模塊可以有效避免在編碼過程中冗余信息的獲取，并有效提升視差圖的精度。

2.3 代價空間

將左圖像與右圖像提取出的特征圖經過相應的平移處理之后連接起來，并且打包到4維代價空間中。這種方式可以保留根據立體視覺幾何學知識的方式來約束模型。對于每個立體圖像，代價空間的維度為1/4W×1/4H×C×1/4D,其中W和H分別代表立體圖像的寬和高，C代表融合后特征圖的通道數,D表示視差的最大范圍。這種操作保留了特征圖的維度，與采取點積操作來抽取特征圖的維度方法不同，這使模型可以通過特征圖來學習上下文信息。研究發現，與級聯特征或使用距離度量相比，形成具有級聯特征的代價空間可以顯著提高性能。

2.4 3D 卷積網絡設計

給定視差代價空間后，現在需要學習一個正則化函數，該函數可以考慮代價空間中的上下文關系從而優化視差估計。即使使用深層特征表示，一元之間的匹配代價也無法做到完美。例如，在像素強度均勻的區域(例如天空)中，基于固定的局部上下文的任何特征的代價曲線都將是平坦的。研究發現，像這樣的區域會導致整個視差維度上的多模式匹配代價曲線，需要學習正則化函數并提高這一數量。因此，采取三維卷積運算來過濾和完善此表示。

3D卷積能夠從高度、寬度和視差維度學習特征表示。3D卷積的困難在于額外的維度，在推理和訓練階段都帶來了計算時間的負擔。因此，代價空間在高度、寬度以及視差維度上分別縮減至原來的1/4， 從而減少計算量。針對密集預測任務的深度編譯碼任務，本文通過在編碼器中對特征圖進行降采樣，然后在解碼器中進行上采樣來減少參數。在編碼上首先進行兩次降采樣處理，然后使用兩個3D轉置卷積網絡對編碼器中的輸出進行上采樣。利用多尺度的特征可以充分利用上下文信息，并且極大地減少網絡規模，從而減輕計算負擔。最后通過雙線性插值算法進行上采樣，得到維度為H×W×D的輸出結果。

2.5 視差回歸

(2)

這個操作是完全可微的，可以進行訓練和回歸視差估計。根據文獻[10]中論述，上述視差回歸比基于分類的立體匹配方法更穩健。

2.6 損失函數

平滑的L1損失函數常用于目標檢測的邊界框回歸問題中。與L2損失函數相比，平滑的L1損失函數魯棒性更好，并且對異常值的敏感性較低。由于存在視差回歸，因此平滑的L1損失函數可用于本文的模型訓練，其公式如下所示：

(3)

其中，

(4)

3 實驗結果及比較

本文在Scene Flow、KITTI2015兩個圖像數據集上評估了所提出的方法。Scene Flow是一個合成的數據集，其中包含35 454個訓練圖像和4 370個測試圖像。這個場景提供了精確稠密的真實視差圖信息。KITTI2015是汽車駕駛時拍攝街景的真實路況數據集，包含200幅帶有地面真實視差的訓練圖像對，以及200幅沒有地面真實視差的測試圖像對。圖像大小為(H=375，W=1 242)。將整個訓練數據分為訓練集(80%)和驗證集(20%)。

ASPP-Net的體系結構是使用PyTorch平臺實現的。所有模型均端到端地進行訓練，其中采取了Adam優化器,參數設置為β1=0.9,β2=0.999。在4臺1080Ti GPU服務器集群上進行了訓練。整個數據集在訓練過程中進行了數據歸一化、裁剪等預處理。其中圖片被隨機裁剪成H=256，W=512。最大視差D設置為192。首先使用Scene Flow數據集從零開始訓練模型，學習率為0.001且持續訓練10輪。訓練后的模型可直接用于測試。測試結果如表1所示。

表1 不同網絡在Scene Flow平臺終點誤差的比較

從表1可以看出，本文提出的網絡模型在Scene Flow平臺下的終點誤差(End-Point-Error,EPE)為1.05，比PSM-Net低0.04，遠低于GC-Net的終點誤差。

對于KITTI2015數據集，則采取了遷移學習的方法，將Scene Flow訓練的模型在KITTI2015訓練集上進行500個周期的微調，得到新的網絡模型。學習率在前200個周期設置為0.001，剩下的300個周期設置為0.000 1，防止出現過擬合。將訓練好的模型最終用于測試集，得到測試結果，如表2所示。

表2 不同網絡在KITTI2015平臺誤匹配率的比較

表2中，All-all代表全像素級別下的平均誤匹配率，誤匹配率表示預測視差與真實視差超過3個像素的錯誤匹配點的比例；Noc-all代表去除掉遮擋區域下的其余所有像素的平均誤匹配率。本文提出的算法的All-all為2.42%，Noc-all為2.24%，在1080Ti GPU服務器上處理一張圖片的平均時間為0.45 s。本文提出模型的精度僅比PSM-Net低0.10%， 但是PSM-Net的參數總量為5.2×106，比本文所提出的網絡模型參數多出17%。對比GC-Net，視差圖的誤匹配率降低了0.45%，并且運行速度提升了一倍。

為了更加突出本文所提出算法在低紋理以及遮擋區域的匹配效果，與GC-Net進行了對比。如圖2所示，從上往下依次為左視圖、視差圖和錯誤圖。可以看出在一些低紋理區域(如車窗)的匹配效果本文算法明顯優于GC-Net,而且對物體邊緣輪廓的展現更加精確。

圖2 對KITTI2015測試平臺上圖片5的效果展示

此外，本文對所提出的ASPP模塊做了對比實驗，實驗結果如表3所示。

表3 基于KITTI2015平臺ASPP模塊對精度的影響

從實驗結果分析來看，ASPP模塊通過多尺度提取特征，充分獲取了圖像的上下文信息，將視差圖的錯誤率降低了0.15%，網絡模型的參數增加了14%。

4 結論

本文介紹了一種基于卷積神經網絡的立體匹配算法的實現。重點介紹了空洞金字塔池化(ASPP)模塊，通過實驗證明了ASPP模塊能夠有效提升視差圖的精度。所提出的網絡模型通過利用多尺度的3D卷積神經網絡，能夠大大減少參數總量，從而降低模型規模。最終的實驗結果表明在KITTI2015測試平臺下，本文的算法精度相較于GC-Net提升了0.45%，對低紋理和遮擋等區域的匹配效果起到了相應的提升作用。