深度學習密集匹配中樣本精度與匹配精度的關系研究

李志勇，官愷*，牛澤璇，晏非，孫曼，閆兆嬋

（1.61363部隊，陜西 西安 710054）

密集匹配在三維重建[1]、汽車駕駛[2]和航空攝影測量[3-4]等眾多領域都有重要應用。其核心是在含有重疊區域的兩幅圖像上依據特征為每個像素尋找同名點，其精度將直接影響實際應用中的測量精度。密集匹配的發展經歷了漫長的過程，SAD、SSD[5]、模擬退火[6]、動態規劃等傳統方法是依據人工設計的特征描述符尋找同名點，因此提取特征需要較強的專業背景知識，通常魯棒性較差且精度有限。隨著計算機硬件的發展和深度學習理論層面的逐漸完善，深度學習在短短幾年時間獲得了較大的發展。MC-CNN[7]網絡首次利用深度卷積網絡自動提取密集匹配所需特征，發揮了深度學習基于數據驅動提取特征的優勢，選擇出魯棒性更強的特征；DispNet[8]在光流網絡FlowNet[9]的基礎上改進了上采樣部分，應用于密集匹配，取得了不錯的效果；iResNet[10]引入了多尺度信息提取模塊和貝葉斯精化視差模塊，進一步提升了匹配精度；GCNet[11]摒棄了通用的全卷積網絡，在網絡結構中引入了視差代價構建模塊，并采用三維卷積的方式計算匹配代價，利用視差軟回歸將分類問題變為回歸問題；但由于GCNet缺少了多尺度信息，在大面積平滑區域表現欠佳，因此PSMNet[12]在其基礎上增加了金字塔池化模塊，以增加全局特征克服弱紋理和無紋理區域帶來的影響，同時在匹配代價構建部分采用了堆疊沙漏模塊，使不同位置的特征可以相互參考空間位置，進一步提升網絡精度。后期的大部分網絡均以PSMNet為基礎，如增加了分組相關的GwcNet[13]以及利用視差唯一性的AcfNet[14]；參考文獻[15]進一步借鑒傳統匹配思想，利用影像金字塔和迭代的方式，將視差范圍由粗到精，逐步迭代，取得了不錯的效果。

雖然監督密集匹配網絡在性能上已接近甚至超過傳統方法[16]，但監督網絡本質是對匹配過程的一個高維擬合，需以樣本數據為基準訓練擬合參數，因此樣本的精度對于監督網絡匹配效果十分重要。當前監督網絡所采用的數據集樣本精度極高，如Scene Flow[8]虛擬場景數據集的樣本數據是通過計算機精確計算得到的；KITTI數據集采用激光雷達，且經過人工修正，整體精度可信度較高。然而，航空數據集樣本標注存在困難，且真實樣本數據在制作過程中存在一定的誤差，因此需要考慮樣本數據誤差對密集匹配精度的影響，并進行進一步分析，以掌握其規律。

1 深度學習方法

1.1 密集匹配網絡結構

深度學習密集匹配端到端常見的網絡結構包括DispNet、GCNet和PSMNet等。

1.1.1 DispNet

DispNet網絡基于FlowNet改進，網絡架構為通用全卷積網絡，整個網絡類似于U-Net[17]，分為特征提取端和分辨率恢復端，通過跳層連接，包括DispNetS和DispNetC兩個版本，前者結構如圖1a所示，經過特征提取和分辨率恢復直接得到視差圖，后者特征提取端前3層為孿生網絡，且在融合時額外加入了相關信息，融合后的操作與前者一致，即通過卷積層繼續進行更高級別的特征提取以恢復分辨率，生成視差圖，結構如圖1b所示。

圖1 DispNet結構圖

1.1.2 GCNet

GCNet為端到端深度學習架構，與通用的全卷積網絡設計思想不同，其設計更有利于密集匹配，設計的匹配代價構建、匹配代價計算以及視差軟回歸等模塊的改進版一直沿用至今，效果顯著優于通用全卷積網絡結構。其流程包括特征提取、匹配代價張量構建、匹配代價計算和視差軟回歸。該網絡中的特征提取部分增加了多個殘差塊，提取特征能力更強；匹配代價通過疊加不同偏移的左右特征圖的組合構建；構建的匹配代價經過三維卷積模塊計算左右特征圖相應偏移的匹配代價；視差軟回歸將匹配代價的分類問題轉為回歸問題，形成最終視差結果。GCNet的網絡結構如圖2所示。

圖2 GCNet結構圖

1.1.3 PSMNet

PSMNet沿用GCNet的架構，包括特征提取、金字塔池化、匹配代價構建、匹配代價計算以及視差回歸5個部分。改進的核心思想是在GCNet的基礎上引入多尺度信息，具體體現在特征提取段追加擴張卷積殘差塊、金字塔池化和堆疊沙漏3個部分，進一步提升網絡的精度和魯棒性。其結構如圖3所示。PSMNetB和PSMNetS為PSMNet網絡的兩個版本，PSMNetB在代價匹配部分采用常規三維卷積加跳層的方式，而PSMNetS采用堆疊沙漏方式。

圖3 PSMNet結構圖

1.2 遷移學習

遷移學習是將已訓練好的模型應用于其他數據集的策略。該方法利用了原有模型的泛化性能，若能在新數據集上產生更好的效果，則可節省大量運算時間。遷移學習包括直推式遷移和模型微調兩種方式，前者對已訓練好的模型不作任何調整，直接應用于新數據集；后者則對新數據集進行微調，使得模型更適合于該數據集。模型微調又分為整體微調和部分層微調，本次實驗采用模型微調中的整體微調。

2 數據集概況

為全面分析深度學習中數據集樣本精度與密集匹配精度的關系，實驗共涉及Scene Flow、KITTI2012[18]，KITTI2015[19]、Vaihingen[16]和WHU[20]等5個數據集，其中Scene Flow數據集作為預訓練數據集，其余4個數據集作為測試數據集。

2.1 Scene Flow數據集

Scene Flow數據集出自于DispNet，為虛擬場景，通過虛擬場景三維投影到二維的方式獲得樣本數據。由于該過程由數學公式直接計算得到，因此相較于真實場景數據集，該數據集樣本數據精度極高，更適合作為遷移學習中的預訓練數據集。該數據集分為FlyingThings3D、Driving、Monkaa，訓練集包括35 858對圖像，測試集包括4 370對圖像，圖像尺寸為960像素×540像素。

2.2 KITTI數據集

KITTI數據集為汽車駕駛的真實場景，包括KITTI2012和KITTI2015兩個子集，視差圖由激光雷達測距反算得到，為半稠密視差圖，為保證樣本標注精度，該樣本經過人工修正。KITTI2012的訓練集和測試集分別為194對和195對圖像，圖像尺寸為1 226像素×370像素；KITTI2015的訓練集和測試集均為200對圖像，圖像尺寸為1 242像素×375像素。

2.3 Vaihingen數據集

Vaihingen數據集為德國航拍場景，由3條航帶26張鄉村影像組成，圖像尺寸為9 240像素×14 430像素，航向和旁向重疊度均為60%。經過裁剪整理共包括731對圖像，尺寸為955像素×360像素，訓練數據和測試數據的比例為8∶2，樣本數據由7款商業軟件匹配的DSM取平均值反算得到。整個區域地形相對平坦，包括低矮的房屋群、河流、樹林和農田等。

2.4 WHU數據集

WHU數據集為貴州鄉村航拍場景，飛行平臺為無人機，拍攝高度約為550 m，分辨率為10 cm，航向和旁向重疊度分別為90%和80%。經整理和裁切共包括10 979對圖像，其中8 316對用于訓練，2 663對用于測試，尺寸為768像素×384像素。場景為部分高層建筑、少量工廠以及一些山脈河流。

3 實驗結果與分析

實驗在Windows10操作系統下開展，采用Anconada虛擬環境，基于PyTorch框架，語言為Python，顯卡為NVIDIA GTX 1080Ti，顯存為11G。batchsize通過梯度累加模擬實現，設置為8，優化其采用Adam，參數分別為β1=0.9，β2=0.999。訓練過程中圖像會被隨機裁剪為512像素×256像素，一方面增加訓練速度，另一方面做數據增強。參數指標采用終點誤差（EPE）和3像素誤差（3 PE），其中EPE為預測視差與真實視差之間絕對值的平均值，單位為像素；3PE為EPE大于3像素占總點數的百分比，單位為百分比。

實驗最大視差設置為192像素。首先將Sence Flow數據集作為遷移學習預訓練數據集，預訓練10輪；然后在其余4個數據集上進行微調和測試，其中在KITTI數據集上訓練1 000輪，在Vaihingen數據集上訓練300輪，在WHU數據集上訓練30輪。作為對比，采用未經遷移學習的數據進行測試，由于未經遷移學習的模型收斂速度相對較慢，在KITTI數據集上訓練2 000輪，在Vaihingen數據集上訓練600輪，在WHU數據集上訓練60輪。按照國家《測量誤差及數據處理》技術規范，實際數據中所包含的誤差可分為系統誤差、隨機誤差和粗大誤差[21]，為更貼近真實場景，探究樣本誤差與預測誤差的關系，本文分別對3種誤差進行模擬實驗。

3.1 實驗網絡選擇

本次實驗的主要目的是分析數據樣本精度與密集匹配精度之間關系，需要大量消融實驗，因此運算時間將作為選取的重要依據。由于數據集圖像大小數量各異，因此統一在KITTI2015數據集上進行測試，根據測試結果列出各網絡運行2 000輪所需時間，同時依據本文公開展示精度列出各網絡精度，如表1所示，其中訓練1次是指單幅圖像裁切為256像素×512像素從輸入到反向傳播完成的時間，測試1次是指單幅完整圖像生成視差圖所需時間，累計總耗時為訓練時間與測試時間的總和，可以看出，DispNet兩個版本的網絡累計耗時遠低于其他網絡，且時間相差較小；DispNetC的精度高于DispNetS，因此綜合考慮精度和運行時間，本文選取DispNetC作為實驗網絡。

表1 各網絡運行時間與網絡精度

3.2 樣本系統誤差與精度的關系

系統誤差是指由系統本身造成的誤差，通常分為恒定誤差和按照一定規律變化的變化誤差。恒定誤差的絕對值和符號保持恒定，在實驗中通過對所有像素增加或減少相同的像素偏移值進行模擬；變化誤差規律種類較多，通常誤差值以一定規律隨測量條件變化而變化，實驗采用統一百分比縮放的方式進行模擬，即誤差隨視差值實際大小變化而變化，視差值越大，則誤差越大，反之則越小。系統恒定誤差模擬結果如表2所示，可以看出，深度學習方法具有一定的容錯能力，理論上來說，系統偏差N像素，預測偏差應相應偏移N像素，而實際效果卻是在遷移學習條件下，系統偏差新增1像素，實際偏差僅平均增長0.47像素，雖然隨著系統偏移距離的增加，誤差增幅也在加速增加，但在一定范圍內，網絡仍具有較強的容錯能力，尤其在1像素內，預測誤差增幅遠小于系統固定誤差。

表2系統恒定誤差隨偏移距離變化

在遷移學習方面，對比遷移學習和直接訓練0像素偏移列可知，遷移學習方法可提升網絡的精度，直接訓練網絡模型雖然訓練的輪次為遷移訓練網絡模型的兩倍，但整體精度較低；相較于直接訓練，遷移學習方法在KITTI2012、KITTI2015和WHU三個數據集上的EPE分別降低了0.25像素、0.18像素和0.14像素，3PE分別減少了17.6%，13.9%和14.4%，平均減少15.3%。

從抗噪角度來看，遷移學習模型預測誤差隨系統誤差增加的幅度更小，從而說明遷移學習在加速收斂，節約時間的同時還能提升精度。對直接訓練和遷移學習所有EPE結果分別求和，考慮到Vaihingen數據集上直接訓練模型表現異常（斜體處不收斂），不參與計算。最終，直接訓練模型的EPE偏移總和為39.08像素，而遷移學習模型的EPE偏移總和為35.78像素，因此遷移學習模型整體的魯棒性優于直接訓練模型。另外，通過比較Vaihingen數據集遷移學習和直接訓練方法可知，不收斂的網絡經過遷移學習，可穩定收斂，進一步印證了遷移學習方法可提升網絡的魯棒性的結論。

進一步探究Vaihingen數據集不收斂原因，通過其他3個數據集收斂以及Vaihingen數據集上預訓練后網絡仍可收斂，排除網絡本身問題；因此該問題可能是由過擬合或數據樣本自身精度引起的。過擬合的典型表現為在訓練集上表現良好，在測試集上表現極差。因此，本文通過該方法判斷是否為過擬合，將訓練和測試結果分別制作EPE曲線，如圖4所示，可以看出，無論是在訓練集還是在測試集，EPE均在26～30像素之間，說明不是過擬合問題，因此可能為數據集標簽精度問題。

圖4 Vaihingen數據集EPE曲線

由于該數據集標簽數據是由7款商業軟件匹配的DSM反算得到的，無論是匹配點本身還是計算過程中都可能引入誤差、降低數據集精度，使網絡無法通過監督方法學習到匹配的本質。為驗證猜想，本文采用無監督的方法[22]進行實驗，結果如表3所示，可以看出，網絡可收斂，說明標簽精度確實存在問題。另外，以Vaihingen數據集標簽加1像素的結果為訓練標簽進行實驗發現，網絡可以收斂；且遷移學習結果中，標簽加1像素作為標準數據的訓練結果明顯低于標簽減1像素的結果，說明原數據集存在1像素的系統偏差，整體結果偏大。

表3 無監督方法結果

通過進一步分析發現，Vaihingen數據集和WHU數據集都屬于遙感數據集，但直接訓練方法在WHU數據進行1像素的偏移后仍可收斂，這與Vaihingen數據集存在1像素系統偏差的結論矛盾。為了探究該問題，需從數據集圖像紋理特征和視差圖分布進行分析，本文做了相關工作，繪制了各數據集的視差分布圖，如圖5所示，可以看出，Vaihingen數據集的差異主要體現在視差分布上，其視差分布更離散，其他數據集視差值均集中在0～100像素內，而Vaihingen數據集有大量點的視差值在100像素以上。

圖5 各數據集視差分布

此外，對比兩個數據集的規模發現，Vaihingen數據集的圖像數量僅為WHU數據集的1/10，由此可推斷在視差分布范圍大且數據集標簽較少的情況下，直接訓練方法難以收斂。解決辦法是先在Scene Flow數據集上構建預訓練模型，再利用遷移學習方法，則可得到較穩定的結果。由于直接訓練方法導致網絡不穩定，且整體精度較差，后續精度實驗均采用遷移學習方法。

變化系統誤差模擬常見的誤差隨視差值增大和減小的情況，通過將全圖視差值乘以固定的比例系數進行模擬，范圍為70%～130%，結果如表4所示，可以看出，樣本數據經過等比例變化后，誤差精度下降速度遠超系統固定誤差，即使偏差約為10%，也會產生巨大誤差。進一步分析原因可知，與恒定誤差不同，等比例誤差與視差值本身有關，本文計算得到KITTI2012、KITTI2015、Vaihingen和WHU數據集的視差均值分別為39.04像素、34.21像素、59.85像素和46.99像素，10%均超過了3像素。對比表2中±2像素、±3像素偏移和表4中90%、110%發現，二者接近，由此可推斷該類誤差與視差值本身相關。實際匹配過程中，視差值通常較大，導致誤差整體較大，因此對于該類誤差，在實際測量中需要避免。

表4 等比例誤差和預測精度關系

3.3 樣本隨機誤差與精度的關系

在真實場景中，隨機誤差是不可避免的。通常隨機誤差具有一定的規律性，即單峰性、對稱性、抵償性和有界性，一般呈正態分布。因此，在實驗中通過對原始數據增加一個正態分布的噪聲，模擬隨機噪聲，分別探究樣本數據噪聲均值和噪聲標準差對匹配精度的影響。在研究噪聲均值的影響實驗中，噪聲標準差統一為3像素，均值從-3～3像素進行實驗。噪聲均值和預測精度關系如表5所示，可以看出，隨著誤差均值的增加，預測誤差增幅迅速增加，說明隨機誤差中的均值誤差對預測誤差影響較大。對比表2和表5相同行數據發現，整體誤差在數值和變化規律上均較接近，說明無論誤差是否隨機，樣本數據均值的偏移都會對匹配精度產生相近的影響。此外，表2和表5中0像素偏移列，在均值為0像素，標準差為3像素的情況下，各數據集均未產生較大偏差，說明在一定標準差范圍內，隨機誤差對預測精度影響較小。

表5 噪聲均值偏差與預測精度的關系

為驗證噪聲標準差對網絡的影響，將噪聲均值設置為0，標準差從0～6依次進行實驗，結果如表6所示，可以看出，在噪聲均值不變的情況下，隨著噪聲標準差的增加，整體上EPE和3PE并沒有明顯增加，進一步印證了一定范圍內的隨機噪聲對精度影響較小的結論。

表6 噪聲標準差與預測精度的關系

3.4 樣本粗大誤差與精度的關系

在實際測量中，粗差或多或少存在，其結果可能對整體測量結果產生嚴重影響，因此需要對其影響進行分析。實驗通過在0～12%比例范圍增加20像素的方式模擬粗差，結果如表7所示，可以看出，隨著樣本數據粗大誤差比例的增加，EPE和3PE未出現明顯增加，說明網絡對于數據樣本的少量粗大誤差具有一定的“過濾”效果，使得網絡在樣本數據少量偏差的情況下，仍能保持網絡精度；此外，部分數據在增加少量粗大誤差時，效果甚至更優，相當于給原有的集合增加了“噪聲”，訓練這樣的數據集有助于增加模型的魯棒性，效果類似于“數據增強”。

表7 粗大誤差與預測精度的關系

綜合上述3種誤差發現，無論是隨機誤差還是系統誤差，整體性的均值偏移均會使密集匹配精度下降，且隨著偏移距離的增加，誤差增幅也在增加；而隨機性偏移在保證均值無偏移的前提下，在一定范圍內精度并沒有明顯下降，甚至還有小幅度提升；此外，基于視差本身的百分比誤差與該區域視差值本身相關，通常對深度學習網絡訓練是“災難性”的，微小的百分比偏差，將引起最終匹配上巨大的誤差。

4 結語

本文在多個數據集上分別模擬了含有系統誤差、隨機誤差和粗大誤差的樣本數據，并進行了測試分析。實驗首先驗證了遷移學習方法對網絡收斂速度、魯棒性的幫助，能在減少訓練時間的同時增加密集匹配精度，平均誤差減少了15.3%，并通過進一步分析Vaihingen與WHU數據集的差異發現，環境復雜且數據樣本較少的數據集在含有系統誤差時更容易不收斂，可通過遷移學習方法解決該問題；其次證明了深度學習方法在一定范圍內具有較強的容錯性，但在超出該范圍后誤差增幅逐漸變大；最后說明了深度學習方法的抗噪性能主要體現在對抗隨機誤差，少量的隨機誤差甚至會使匹配精度有一定提升，而系統性的整體偏差對精度影響較大，尤其是百分比誤差，對匹配精度影響巨大。本文也存在一些局限性，如未指出隨機粗差使網絡發散的邊界條件，后期將進行進一步研究。