單幅圖像深度信息的提取

趙信宇，朱曉蕊，余錦全

（哈爾濱工業大學，深圳 518055）

0 引言

距離信息在物體識別、路徑規劃以及場景復原上都有著重要應用。人類可以輕易地判斷出障礙物距離我們有多遠，但是對于笨拙機器人來說，這個任務就變得相當艱巨了。隨著機器人導航在機器人應用領域里變得越來越重要，深度檢測自然成為了研究的重點。在機器視覺領域，深度檢測可以通過攝像頭或者其他圖像處理的方法，一般常用的是立體視覺法。但是立體視覺會受限與攝像頭基線之間距離，還會受到亮度噪聲的影響，利用多個攝像頭將會花費更多的成本。因此，我們考慮用一個攝像頭來完成深度檢測的任務。

目前，相關的研究主要有Michels、Saxena以及Y.Ng等人利用監督訓練法估計一維深度信息，從而實現小車在高速下的自主避障[1]；Guo Hong和Lu Yi等人通過單一攝像頭拍攝一系列目標物圖像來估計物體深度信息[2]；Gini和Marchi等人在已知室內環境的條件下，利用單個攝像頭實現小車的自主運動[3]。本文主要通過模型參數的訓練，從而提取出單幅圖像的三維深度信息圖。

1 模型建立

人類天生具有判斷物體距離的能力，我們往往可以根據物體的紋理特征的變化、紋理梯度的變化、物體完整性以及物體的模糊程度來估計他們的距離。例如，在我們的視覺感知里，同一個物體在不同的距離具有不同的大小以及不同的紋理變化，在不同的距離同一物體的清晰度也將發生變化。同時，我們在判斷物體遠近的時候還要參考周圍環境的影響，例如，如果只看到一幅圖像中某一藍色區域，那么我們將很難判斷這塊區域到底是天空、海洋還是某一藍色物體的一部分。因此，我們將圖像的紋理變化、紋理梯度以及模糊度作為特征提取出來，并參考圖像全部信息來建立并訓練模型。

1.1 特征的提取

首先，我們將圖像劃分成很多的小塊，對應于每一小塊，它具有獨立的深度信息以及相關深度信息，我們要做的是提取與這些信息相關的圖像特征。將圖像轉換到YCbCr的顏色空間里，其中Y代表亮度層，Cb和Cr為兩個顏色層，很多紋理信息都包含在其亮度層里。

為了提取獨立深度特征，我們應用Laws'masks[4]作為濾波器去處理圖像的Y層，從而得到紋理能量作為紋理變化的特征，應用邊緣檢測濾波器得到圖像紋理梯度變化特征，而模糊度主要體現在顏色層上，因此應用平均值濾波器處理Cb&Cr層來得到模糊度特征。我們將17個濾波器函數（9個Laws'masks、6個邊緣檢測濾波器以及兩個顏色層）Fn(x,y),n=1,2…17作用于圖像，可以得到圖像的獨立深度特征為：

對于圖像中每一個小塊，它的深度信息不僅與自身特征有關，還與周圍鄰域的特征有關，為了便于研究，我們將圖像分層，不同層里相同大小的塊包含著不同的全局信息。因此我們在提取某一塊的獨立特征時，應包括在不同層下的該塊及其四個鄰域的獨立深度特征。

對應于某一塊i，我們計算它的直方圖，并用17個濾波器函數處理，從而得到它的特征yi，這一特征用來表征不同位置深度信息的相關性。因此，我們用yij=yi-yj作為相鄰塊之間的相關深度特征。如圖1所示：

圖1 圖像分層及絕對深度特征、相關深度特征示意圖

1.2 模型的建立

關于馬爾科夫隨機場的詳細介紹請參考文獻[5]。

利用馬爾科夫隨機場模型區建立不同塊之間的深度關系，為了得到不同層之間的關系，我們定義di(s):s=1,2,3代表不同層中某一塊i的深度值，其中di(s+1)=(1/5)ΣjeNs(i)∪(i)dj(s)，Nj(s)為塊i的四個鄰域，表示高一層的深度值由低層深度值加權平均得到。我們建立高斯-馬爾科夫模型如下：

其中M是最底層圖像劃分的塊數；xi是每一塊所對應的獨立深度特征；θ和σ是模型參數，由于大多數物體為垂直狀態分布，因此我們僅對不同行求不同的參數；Z是歸一化參數。其中θ可通過最小二乘法求得，式(2)中第一項為單一塊的絕對深度預測，第二項通過相鄰塊之間的關系對第一項進行修正。如果σ為一固定常數，則對于不通圖像其修正項對結果的影響將變得不準確。因此我們令

σ2

1r=vrxi、σ22rs=urs|yijs|，對不同的行求出不同的參數，從而使得模型更為符合實際。參數訓練之后，利用最大后驗概率法，對新圖像求式(2)最大時對應的即可[6]。

2 圖像及深度圖采集

我們采用LMS111激光掃描儀，配合相機采集圖像及相關深度信息圖，這些數據主要用于模型參數的訓練。其中LMS111最大測量距離為20米，水平掃描角度為270度，工作時每隔0.5度采集一個數據，工作頻率為50HZ，平均誤差為30mm。由于LMS111只能采集二維信息，因此我們設計一套支架，使得LMS111掃描平面可以在豎直方向連續采集，從而實現三維信息采集。整個采集系統如圖2所示。

圖2 激光掃描儀采集系統

如圖2所示，1為相機，用于拍攝圖片；2為1：720減速箱，手柄每轉一周將提供0.5度轉角；3為聯軸器，連接減速箱與LMS支架；4為LMS支架，將轉動軸與掃描平面重合；5為LMS掃描儀；6為整體支架；7為限位卡槽，控制轉角在-60到60度之間；8為軸承。采集圖像及其相關深度圖如圖3所示:

圖3 實物圖及相關深度圖

3 測試及誤差分析

新圖像測試結果如圖4所示：

圖4 室內室外新圖像測試結果

上圖為相機采集圖片，中圖為實際深度信息圖，下圖為測試圖。

圖5 室內場景實際平均誤差分布圖

表1 不同環境下的平均誤差

誤差是以log10為底，比如誤差為0.1328，是指100.1928=1.3577，實際誤差為35.77%

由圖5可以看出，有較多的點誤差分布在0.1461～0.1761之間。由于室內物體一般比較規則，且距離較近，因此具有較好的預測結果，而室外環境比較復雜，特別是一些不規則的物體，將很大程度到影響測試結果。

4 結論

通過提取圖像特征，在高斯-馬爾科夫隨機場模型的基礎上，利用LMS激光掃描儀系統采集的圖像作為訓練數據，訓練模型參數并應用于提取新圖像深度信息，結果表明，該方法可以實現單幅圖像深度信息的提取，且誤差主要分布在某個區域，這為我們進一步改善該算法打下了基礎。

[1] J.Michels,A.Saxena,and A.Y.Ng.High Speed Obstacle Avoidance Using Monocular Vision and Reinforcement Learning.In ICML,2005.

[2] H.Guo and Y.Lu.Depth Detection of Targets in a Monocular Image Sequence.18th Digital Avionic Systems Conference,1999.

[3] G.Gini and A.Marchi.Indoor Robot Navigation with Single Camera Vision.In PRIS,2002.

[4] E.R.Davies.Laws' texture energy in TEXTURE.In Machine vision:Theory,Algorithms,Practicalities 3th edition.2005.Pg 756-779.

[5] Gerhard,Winkler.Image.Analysis,Random Fields and Dynamic Monte Carlo Methods:A Mathematical Introduction.Springer-Verlag,1995.

[6] Ashutosh Saxena,Sung H.Chung,and Andrew Y.Ng.Learning depth from single monocular images.In NIPS 18,2006.