基于深度學習的超低空景深估計方法研究?

楊昌凱 王指輝 周嘉麒 許彧文

（南京航空航天大學 南京 211106）

1 引言

飛行器超低空飛行過程中發需要考慮飛行包線內障礙物的遠距離探測和早期預警，因而產生了障礙物探測和距離估計方面的需求。過去數十年中應用于輔助飛行器超低空飛行的測距設備主要為基于雷達的主動式傳感器，然而，主動式傳感器最大的不足在于易于被敵方探測設備追蹤，與超低空飛行的初衷相違背。近些年，計算機視覺與圖像處理技術的飛速發展，使得利用視覺傳感器來獲取場景的距離信息成為了一種行之有效的方案。與主動式傳感器相比，視覺傳感器具有無源自主、尺寸小、損耗小等優點。因此利用單目視覺估計距離信息從而輔助飛行器超低空飛行的制導與控制是未來重要的發展方向。

2 深度估計算法

2.1 方法原理

訓練時，以左視圖Il為神經網絡的輸入，右視圖Ir為標簽。當輸入Il時，網絡對每個像素點進行逐個預測，得到視差圖Dr，再將Il與Dr相結合，解算出預測右圖Ipr，可是實際上我們輸入左圖期望的結果是左圖的視差圖Dl，所以本文進行反向采樣，對預測右圖中的每個像素點逐個預測，得到視差圖Dl。分別將Dr、Dl與Il、Ir結合，即可解算出新的預測右圖和預測左圖。最后，基于外觀損失代價函數，將、與輸入的左右視圖進行比較，以此訓練網絡，提高網絡準確率。方法示意圖如圖1所示。

圖1 網絡訓練流程圖

根據三角形原理，已知視差值d，左視圖的深度xr可得：

其中f為相機焦距，a為相機的基線距離。

2.2 網絡結構

該方法訓練的網絡采用編碼解碼的結構，其中編碼階段采用殘差網絡ResNet，解碼階段采用反卷積神經網絡，再經過一個卷積神經網絡輸出視差圖，輸出的視差圖與原圖在雙線性采樣下生成左右預估圖，最后基于一系列的損失代價函數反向訓練網絡。

2.3 損失函數

該方法主要用到三個損失代價函數：其一為外觀損失代價函數Cap，用來計算預估圖與原圖的相似度，公式如下：

其中α=0.85，N 為圖像總像素點數。顯然，當兩個圖像越相似，結構相似性SSIM 的值就會越接近1，則前半項的值越小。其二為左右一致性損失代價函數Clr，用來保證左右視差圖可以轉換，并提高網絡準確率，其公式如下：

其三為深度圖局部平滑約束代價函數Cds，是針對圖像像素點深度不適定問題所提出的。為實現視差在局部的平滑，對視差梯度進行L1 懲罰。同時用圖像梯度的邊緣感知項進行損失加權，來解決圖像梯度中深度不連續的情況，其公式如下：

輸入包含左視圖與右視圖，但是損失代價函數的計算方式都是相同的。所以最終的損失代價總函數可以表示為

3 實驗結果分析

本節選取KITTI數據集中的200張圖片作為測試集，并選取了另外三種經典方法進行對比測試。結果如表1所示。

表1 在KITTI數據集上定量測試結果

表中的每種類別的最佳數據已以粗體標出。其中第三列到第五列為模型的準確率，這一系列數據越高則模型準確率越高。第六列到第九列為模型的誤差，這一系列數據越小則模型誤差越小。

為了更直觀地體現各方法恢復圖像深度的效果，圖2 展示了幾種算法的定性測試結果圖。其中，圖2（a）為輸入的測試圖像，圖2（b）為插入了稀疏真實深度數據后獲得的稠密化深度圖，圖2（c）、（d）、（e）為分別為Eigen等［8］、Zhou等［9］、Godard等［10］提出的深度估計方法獲得的深度圖。由黑框標出的區域可以看出，本文使用的方法能夠有效減輕像素點深度的不適定，解決深度不連續的問題，且小車的邊緣預測十分平滑。但灰框標出的區域，與另外幾種方法相比，本方法丟失部分的深度數據，對細桿狀事物的深度數據預測就不太理想。

圖2 四種方法在KITTI數據集上的深度估計結果比對

選取超低空樣本集中的seq0102可見光序列的100 張圖片作為測試集，再次對上文提出的自監督深度估計算法測試，結果如圖3所示。

圖3 三種方法在超低空樣本集上的深度估計結果比對

4 結語

本文針對飛行器超低空飛行中的場景深度估計技術展開研究。提出了一種基于深度學習的自監督深度估計方法，無需真實的深度數據為標簽訓練網絡，即可獲得性能較優的深度估計模型。以立體圖像對為訓練集，采用左右一致性原則，有效提高網絡準確率，并通過多尺度統一，改善了深度圖中的空洞問題。實驗表明，在超低空場景下，該自監督方法訓練得到的深度估計網絡表現出了優越的性能。