基于Harris-SIFT算法的雙目立體視覺定位

李耀云，賈敏智

(太原理工大學 信息工程學院，山西 太原030024)

1 雙目立體視覺基本模型

雙目立體視覺模型是模擬人的雙眼從兩個角度去觀察立體空間的目標物體，由于幾何光學的投影原理，左右兩眼形成的像點在視網(wǎng)膜上處在不同位置。本文正是基于這種視差理論，用兩臺攝像機在不同位置獲取同一物體的像，得到同一點的視差，再利用視差測距原理計算目標物體的深度信息［2］。雙目立體視覺成像原理如圖1所示。

圖1雙目立體視覺成像原理圖

圖1 中兩臺攝像機中心的連線距離為基線距離b。左右攝像機的坐標系原點定在攝像機鏡頭的光心處。左右攝像機成的像平面事實上都在鏡頭光心后面，為了方便計算，將兩臺攝像機形成的像平面放在光心前方距離f處，使左圖像平面坐標系O1uv的u軸和v軸與攝像機所在坐標系的x軸和y軸方向一致。左右獲取的圖像坐標系的原點分別與光心的連線與圖像垂直交于點O1和O2。點P與攝像機坐標系原點的交線在左右兩個像平面中的交點，即物體像點的坐標分別為P1(u1，v1)和P2(u2，v2)。現(xiàn)假設兩臺攝像機獲得的像在一個平面，則點P的左右像點坐標的Y坐標都一樣，即v1=v2。再根據(jù)相似三角計算原理得

式中:(xc，yc，zc)為目標點P在左攝像機坐標系中的坐標;b為兩光心間距離即基線距;f為兩臺攝像機焦距;(u1，v1)和(u2，v2)分別為像點在左右圖像各自坐標系的坐標。

P點在兩幅像平面的位置差為

由此計算出P點在左圖像坐標系中坐標為

雙目立體視覺系統(tǒng)要達到上述測距目的，必須通過攝像機獲取的圖像來識別目標物體，這通常需要適當?shù)乃惴▽ζ溥M行處理，從而實現(xiàn)對目標物體的識別檢測。通常采用比較成熟的基于尺度空間對圖像保持不變性的SIFT算法。

何西，二十五歲，骨科醫(yī)生，是二叔何守二的兒子。電話鈴嚎了半天，何西也沒接。何東知道他在當班，就急忙往醫(yī)院趕。何西剛跟著主治醫(yī)做完手術，正洗手呢，一看見何東，一把把他揪到走廊里的光榮榜前面，指著一大胖臉，魚泡眼的大幅照片問何東：“認識他嗎？”

2 基于SIFT算法的目標檢測

SIFT算法是David Lowe于1999年提出的一種基于不變量技術的特征檢測方法，在深入的研究和完善之后，于2004年提出了一種基于尺度空間的，對圖像平移、旋轉、縮放、甚至仿射變換保持不變性的圖像局部特征描述符［3］，該算法的特征提取過程分為以下4個步驟。

1)多尺度極值檢測

高斯卷積核是實現(xiàn)尺度變換的唯一變換核，并且也是唯一的線性核。一幅二維圖像不同尺度空間下的尺度表示為

式中:G(x，y，σ)是尺度可變的高斯函數(shù)，G(x，y，σ)=;符號*表示卷積;(x，y)代表圖像像素位置;σ是尺度空間因子。

為了在尺度空間穩(wěn)定地檢測到關鍵特征點，提出了高斯差分尺度空間(DOG scale-space)

為了檢測尺度空間的局部極值點，每個采樣點都要與其圖像域和尺度域的相鄰點進行比較，判斷它是否極大或極小，選擇出其中的極值點。

2)精確定位極值點

定位關鍵點位置和尺度并消除不穩(wěn)定點，對關鍵點的位置、尺度進行擬合，得到更精確的位置和尺度定位，同時刪除具有低對比度和不穩(wěn)定的邊緣響應點。

3)對關鍵點分配方向獲得旋轉不變性

根據(jù)關鍵點的局部圖像梯度方向來分配一個或多個方向。利用圖像的局部特征給每一個關鍵點分配一個方向來描述旋轉不變性。最后得到關鍵點鄰域像素的梯度及方向

式中:尺度L為各個關鍵點所在尺度。

4)計算SIFT特征描述子

為了增強匹配的穩(wěn)健性，對每個關鍵點使用4×4共16個種子點來描述，這樣一個關鍵點就可以產生并最終形成128維的SIFT特征向量［4］。

這時當SIFT特征提取和匹配算法應用于實時性較高的雙目立體視覺系統(tǒng)時會出現(xiàn)一些問題，如特征提取算子復雜性高導致算法計算時間過長;生成的特征點多而實際正確匹配的特征點只是其中一部分，影響匹配速度;SIFT算法不能準確定位角點，不能反映圖像結構。機器人利用視覺采集信息需要快速反應，基于上述問題，選擇更穩(wěn)定快速的特征點檢測Harris算子來取代SIFT中比較復雜的極值點提取算子。

3 Harris-SIFT算法

Harris角點檢測算法由Chris Harris和Mike Step Hens在1988年提出，是對Moravec角點檢測算子的擴展。Harris算子是一種比較有效的特征點提取算子，其值為

式中:det為矩陣行列式;tr為矩陣的跡;C為相關矩陣，即

式中:Iu(x)，Iv(x)和Iuv(x)分別為圖像點x的灰度在u和v方向的偏導以及二階混合偏導;k根據(jù)經(jīng)驗通常取0.04～0.06。當物體某點Harris算子R大于設定閾值T時，該點為角點［5］。

Harris算子的主要特點為:對獲得的灰度圖像中的特征點，并計算這些點在橫向和縱向上的一階偏導數(shù)，最后獲得它們二者的乘積;Harris算子中閾值取決于圖像的固有屬性，如尺寸、紋理等，其具體值根據(jù)經(jīng)驗選取。其特征點是根據(jù)該算子提取出來的角點。

Harris算子是一種比較穩(wěn)定的特征提取算法［6］。這種算子的優(yōu)點是:1)該算子中只用到灰度的一階差分，計算操作簡單;2)經(jīng)提取的特征點分布合理，能反映圖像中目標物體的結構;3)在目標物體的結構紋理處提取大量有用的特征點;4)比例、位置改變、旋轉或有遮擋物時也能穩(wěn)定提取特征點。

所以選用Harris算子提取特征點取代SIFT算法中的高斯卷積算法提取特征點，然后為每個提取的關鍵點分配方向，同時生成SIFT特征描述子，稱為Harris-SIFT算法。該算法大大減少了特征提取和特征匹配的復雜度，使系統(tǒng)的實時性得到提高，圖2和表1為兩種算法匹配的效果圖和數(shù)據(jù)結果。

圖2 兩種不同算法匹配結果

表1 匹配結果統(tǒng)計

如圖2所示，Harris-SIFT算法匹配時特征點之間的連線明顯比SIFT算法要少，圖像匹配精度也提高。從表1可知，使用Harri-SIFT算法匹配時間縮短，匹配點少而精確，為應用到雙目立體視覺中的圖像處理提供了良好的基礎。

4 目標定位的測定

根據(jù)上述結論，運用攝像機捕捉圖像，然后用MATLAB7.8軟件對圖像進行仿真，最后通過計算得出實驗數(shù)據(jù)。實驗中采用針孔攝像機，組成平行雙目視覺系統(tǒng)，基線長度為100 mm，焦距為3 mm，1/3 in(1 in=2.54 cm)CCD，CCD的面積為2.0 mm×2.5 mm，采集圖片的尺寸為480×640像素。實驗以墨水瓶為目標，墨水瓶模板圖像與左右攝像機捕獲的圖像分別利用Harris-SIFT算法進行匹配。利用MATLAB7.8進行仿真，仿真的匹配效果如圖3、圖4所示。

圖4 目標物體與右圖像匹配

在左右攝像機坐標系中，標定點兩個坐標橫軸差值為100 mm，攝像機在同一高度，根據(jù)空間匹配點選擇方法，測出左右圖像中與目標匹配的特征點的坐標，然后取平均值分別得出目標物體在左右圖像中的坐標分別為(795，278)，(543，278)，運用式(1)和式(2)得出墨水瓶的深度距離為285.7 mm，測得實際距離為263 mm，然后在不同距離進行測量，獲得結果如表2所示，用SIFT算法測得的數(shù)據(jù)如表3所示。

表2 運用Harris-SIFT算法測試數(shù)據(jù)

表3 運用SIFT算法測試數(shù)據(jù)

由表2、表3可知，Harris-SIFT算法應用在雙目視覺中所用匹配時間大大縮短，實時性明顯提高，其實測距離精度也比之前提高。分析可能造成的誤差或許是由攝像機自身內部參數(shù)和攝像機擺放位置造成的。

5 結論

SIFT算法具有良好的尺度、旋轉、視角和光照不變性，在圖像匹配和目標識別中得到廣泛應用［7］。由于這種算法所用的算子復雜性高，當應用于實時性較高的雙目立體視覺系統(tǒng)時就會造成一些問題，如實時性不理想，測得的距離不精確等，本文應用的Harris-SIFT算法成功解決了上述問題。在空間立體中，視覺系統(tǒng)需要隨時感知目標物體的深度距離，然后做出應有的控制策略。本文以墨水瓶為識別目標，兩臺攝像機保持同一水平同時獲取圖像，運用Harris-SIFT算法使目標物體與左右攝像機獲取的圖像進行匹配，獲得目標物體在兩幅圖像中的坐標，進而計算出目標物體的方向信息和深度信息，實驗所得數(shù)據(jù)在時間上有所縮短，實時性有所提高，測得距離也比之前精確，具有一定的使用價值。

［1］張春美，龔志輝，孫雷.改進SIFT特征在圖像匹配中的應用［J］.計算機工程與應用，2008，44(2):95-97.

［2］劉迪.擬合人眼視覺的非均勻光照圖像場景再現(xiàn)［J］.電視技術，2012，36(17):44-48.

［3］孟浩，程康.基于SIFT特征點的雙目視覺定位［J］.哈爾濱工程大學學報，2009，30(6):649-652.

［4］李桂苓，潘榕，許樹檀.立體視覺與立體成像［J］.電視技術，2012，36(2):15-18.

［5］趙欽君，趙東標，韋虎.Harris-SIFT算法及及其在雙目立體視覺中的應用［J］.電子科技大學學報，2010，39(4):543-550.

［6］張德忠，賈正松.復眼立體的機器人視覺仿真［J］.電視技術，2011，35(20):35-37.

［7］LOWE D G.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91-110.