基于顯著性檢測的雙目測距系統

安果維，王耀南，周顯恩，譚建豪

（湖南大學 機器人視覺感知與控制技術國家工程實驗室，湖南 長沙 410082）

雙目視覺測距技術是計算機視覺技術的一種應用。它具有通過對人類雙眼處理景物方式的模擬感知周圍環境空間深度的功能[1]。在一些領域，機器視覺正在代替人眼成為有效的新工具。雙目視覺在機器人導航與避障、機械臂的引導、三維成像、汽車導航等諸多領域都極具應用價值[2-3]。與目前其他測距方法相比，雙目測距具有成本低、精度高、方便快捷等優點[4-5]。作為計算機視覺的分支，雙目視覺技術在近些年來得到了長足的發展[6]。

雙目視覺測距技術的基本原理是基于物體在左右相機像平面成像的相差，利用相似三角形的幾何關系，得到物體距相機的距離[7]。其中的關鍵部分則是對左右視圖進行匹配得到特征點的相差。而surf算法的特征點匹配具有穩定性高，實時性高的特點[8]。本文在對視圖進行顯著性檢測的基礎上，用surf算子對提取出的目標區域進行特征點匹配。準確地得到了目標的距離，并提高了測距過程的實時性。

1 雙目視覺測距系統

本文設計的雙目視覺測距系統旨在為旋翼飛行器機械臂系統提供目標物體的距離信息，如圖1所示，雙目相機安裝在旋翼飛行器機械臂系統的機械臂末端，通過雙目相機對目標物體的實時測距并反饋距離信息，來控制旋翼飛行器機械臂系統操作實現抓取功能。雙目視覺系統的原理圖如圖2所示。

圖1 雙目視覺系統實物Fig. 1 Real object drawing of binocular vision system

圖2 雙目視覺結構原理Fig. 2 The principle diagram of the binocular vision

假設左右相機的焦距和其他相關參數均相等，且平行放置。鏡頭基線均垂直于成像平面，左右相機滿足軸 重合，軸平行，左右相機像平面重合。左右相機的成像像差只在軸存在。目標為物體上一點，在攝像機坐標系下坐標為()，點在左右像平面的成像坐標分別為的一組匹配點對。圖2為該模型在X-Z平面的投影成像圖。左右相機光心、平行放置相距為基線距離T。相機焦距為，點距離相機平面的距離為，則由相似三角形幾何關系[9-10]可得:

推導可得：

圖3 平面成像圖Fig. 3 The projection onplane

2 本文方法

為了提高雙目測距過程的實時性，本文設計了一種雙目視覺成像測距模型，并重點研究了目標檢測識別與左右視圖特征匹配的問題，提出了一種基于顯著性檢測的雙目視覺測距方法。根據目標物體在視圖中顏色對比度比較明顯的特征，采用基于直方圖對比度(histogram contrast, HC)的顯著性值檢測方法[11]提取檢測目標區域。針對相機焦距會隨距離變化產生誤差的特點，提出了一種用多組實驗數據擬合相機焦距的方法，隨后對檢測到的目標物體應用surf算子[8]進行匹配，得到目標物體的距離信息，算法流程如圖4所示。

圖4 本文算法流程圖Fig. 4 The flowchart of the proposed method

2.1 相機畸變校正

在本文模型中主要考慮相機的徑向畸變問題[12]。由圖5可以看出，由于徑向畸變的存在，在遠離圖像中心的區域a與區域b，現實當中的直線已經出現明顯的彎曲。設不考慮畸變的圖像坐標為，畸變之后的圖像坐標為，則兩者的對應關系滿足:

在考慮到畸變參數之后把世界坐標系下的點反投影到圖像坐標系下，并與理想無畸變的參數進行最大似然估計，得到式(8)，可以采用LM算法進行計算求取最優解。

然后由式(9)與式(10)，

2.2 雙目測距模型焦距的擬合

在雙目視覺的測距過程中，由于誤差存在的原因，隨著距離的變大，測量的焦距逐漸增大[13]，焦距與距離近似滿足線性關系如式(11)。于是本文采用測量多組數據進行線性回歸擬合以得到焦距的方法。其中，求取焦距與實際距離的擬合公式為

由方程組

表 1 擬合焦距所測得的數據Table 1 Measured data by fitting the focal length

實驗所得線性回歸方程擬合所得圖像如圖7所示。

圖7 線性擬合圖像Fig. 7 Linear fitting image

2.3 圖像的顯著性檢測

圖像的顯著性區域檢測是近年來計算機視覺和圖像預處理領域的研究熱點之一，其本質是模擬人眼觀察自然界圖像時的視覺選擇性注意機制，是一種視覺注意模型[14]。顯著區域檢測在圖像檢索、圖像分割、目標識別[15-17]等諸多領域有廣泛的應用。

本文采用CHENG的基于直方圖對比度(histogram contrast, HC)的圖像像素顯著性值檢測方法[11]。該方法利用人的視覺系統對高對比度的視覺信號比較敏感的特點，首先定義一個像素的顯著性值，根據該方法的原理，一個像素的顯著性值與它和圖像中其他像素顏色的對比度相關，所以在圖像中像素的顯著性定義為

將式(20)按照像素順序展開得到：

可以看出，由于沒有考慮空間的關系，在這種定義下，具有相同顏色值的像素會具有相同的顯著性值，因此把具有相同顏色值的像素歸在一起，可以得到每個顏色的顯著性值

圖8與圖9為顯著性檢測的實驗效果圖。

2.4 目標區域的提取

在得到目標物體的顯著圖后，首先對顯著圖進行腐蝕與膨脹操作，去除顯著圖中的噪點干擾，如圖10所示。隨后根據顯著圖中得到的目標區域信息對原圖做與運算，則目標區域內像素值不變，目標區域外像素值置零，將目標區域從原圖中提取出來，如圖11所示。在此基礎在上，對所得到的圖像信息進行判斷，只對像素不為零的值進行特征點匹配，處理流程如圖12所示。

圖8 顯著性檢測前效果圖Fig. 8 Renderings before significance detection

圖9 顯著性檢測后效果圖Fig. 9 Renderings after significance detection

圖10 對顯著圖先腐蝕后膨脹效果圖Fig. 10 Renderings after erosion and dilate

2.5 surf算法特征點檢測

由于SIFT算子在檢測的過程中存在計算數據大，耗時長的問題，Bay等[8]提出了一種對尺度和旋轉具有魯棒性的快速魯棒的特征描述方法(speed up robust features，surf)。surf檢測算子與sift檢測算子類似，首先構建尺度空間，初步檢測極值點，在確定特征點主方向后確定特征點描述子。與sift對圖像構造金字塔圖不同，surf是通過改變濾波器的大小構造金字塔圖層構建尺度空間，在此基礎之上采用Hessian矩陣檢測極值點，對檢測的速度有很大提高。

圖11 目標區域從原圖中提取出后效果圖Fig. 11 Renderings after extracted the target area from original image

圖12 目標區域處理流程圖Fig. 12 The flowchart of target area processing

2.5.1 Hessian矩陣確定特征點

在surf算子檢測特征點的過程中Hessian矩陣判別式尤為關鍵，在構建尺度空間后，當Hessian矩陣判別式的局部值最大時所檢測出的即為待選的特征點。在圖像I中，點處尺度為，則其Hessian矩陣為

由于高斯濾波與近似高斯濾波的差異性，用濾波響應的相對權重系數來平衡Hessian矩陣行列式，一般取0.9。

圖13 框狀濾波模板代替高斯二階偏導濾波Fig. 13 Frame filter template instead of Gaussian secondorder partial derivative filter

2.5.2 surf描述子

為了保證surf特征點的描述子具有旋轉不變的特性，需要確定特征點的主方向。以某個特征點為圓心，在半徑為6的(為尺度因子)鄰域內用邊長為4的Harr小波模板在X、Y方向上求取Harr小波響應。用一個圓心角為π/3的扇形窗口，以特征點為圓心旋轉遍歷一個完整的圓形區域，計算每個扇形窗口包括的圖像點的Harr小波響應總和，其中最大的響應即為該特征點的主方向。

在此基礎之上，構造一個帶方向(前面計算的主方向)的正方形區域，邊長設定為20，首先把區域劃分成16(4×4)個子域，對每個子域計算其主方向與垂直方向上的Harr小波響應，并計算這樣每個子區域可以用一來表示。將區域內得到的64個值組合起來，就得到了此特征點的surf特征描述子。

2.5.3 surf算法特征點匹配

雙目立體視覺系統中最關鍵且最重要的一步是立體特征匹配[18]。在雙目立體視覺系統中的立體匹配通常是通過尋找兩幅圖像中能夠檢測到的具有明顯特征的元素如角點，邊緣或者區域進行匹配。由雙目立體視覺測距原理可知圖像匹配的準確度決定了測量距離的精度[19]。

surf特征匹配采用近鄰歐氏距離比例法，通過對圖像中特征向量屬性進行判斷，來達到兩幅圖像匹配成功的目的[20]。在本文算法過程中，首先計算左圖中局部特征點的特征向量與右圖中待匹配特征點特征向量的歐氏距離，即式(24)，通過比較最近鄰歐式距離和次近鄰歐式距離之比來剔除因為噪聲干擾而引起的匹配錯誤的特征點，即式(25)。如果大于某個閾值，則認為對應的最近鄰歐氏距離匹配點與次近鄰歐氏距離匹配點和其他待匹配特征點都很接近，將這一配對剔除[18]。

3 算法效果與結果對比實驗

3.1 顯著性檢測前后對比實驗

為了降低雙目視覺測距的誤差，降低特征匹配的錯誤率，本文首先對使用的相機進行了單目標定，用標定后的參數對原始圖像進行了畸變校正。在此基礎之上本文采取了10組目標與角度不同的圖片，圖為應用顯著性檢測方法前后surf算子匹配時間對比，可以看出在應用本文算法之后，匹配時間縮短，實時性提高，如表2所示。

表 2 算法處理前后時間對比Table 2 The time comparison before and after the algorithm processing ms

3.2 擬合焦距前后對比實驗

為了測量距離更加準確，本文對相機的焦距進行了焦距擬合。并與未進行焦距擬合的實驗結果進行對比。表中擬合前的測量值為將目標1與目標2實驗數據計算所得焦距代入測距模型所得到的實驗結果。擬合后測量值為進行線性擬合后所得焦距代入測距模型中，所得到的實驗結果，如表3、表4所示。

可以看出，在該測距模型中，與擬合實驗中目標1、目標2比較接近的距離誤差較小，隨著測量距離與目標1、目標2的距離的差距的增大，測量誤差增大較快。使用進行線性擬合后的焦距測量的實驗結果，相對于未進行線性擬合算出的焦距測量的實驗結果，隨著距離的增加誤差增大較慢，測量的距離準確性增高明顯。

表 3 焦距擬合前測距實驗結果對比Table 3 Distance measurement results before fitting of focal length

表 4 焦距擬合后測距實驗結果對比Table 4 Distance measurement results after fitting of focal length

4 結束語

本文主要提出了一種在雙目視覺測距系統中通過顯著性檢測方法識別出目標物體，在應用特征點來進行雙目視覺中左右視圖的匹配，來準確獲得物體距離信息的方法。本文在對相機畸變校正后，對相機進行了焦距擬合，與相機擬合前的實驗結果進行對比，得到了誤差更小的實驗結果。本文方法旨在為旋翼飛行器中機械臂系統提供待抓取物體的深度信息。通過實驗可得，本文方法得到的目標物體的深度信息準確可靠，為旋翼飛行器機載機械臂的任務抓取提供了可靠準確的數據支持。