一種草莓圖像立體匹配方法

姚立健等

摘要：提出了一種基于尺度不變特征變換和隨機抽樣一致算法的立體匹配方法。首先采用SIFT算法提取左右草莓圖像的特征向量，再運用RANSAC和極線約束法對兩幅圖像進行特征點匹配，以降低特征點對之間的錯配率，提高圖像匹配精度。最后利用雙目立體視覺原理對圖像各目標進行匹配試驗。結果表明，該算法較傳統方法平均匹配精度提高50%，算法時間縮短66%，可滿足草莓收獲機器人視覺系統在自然采摘作業環境下的工作要求。

關鍵詞：雙目立體視覺；草莓圖像；特征匹配；RANSAC-SIFT算法

中圖分類號：S668.4；TP391.41 文獻標識碼：A 文章編號：0439-8114（2015）17-4297-03

DOI：10.14088/j.cnki.issn0439-8114.2015.17.050

雙目立體視覺技術被廣泛應用于智慧農業生產中，如自動化收獲作業中的農產品目標識別[1，2]、定位[3，4]、農產品的三維重建[5，6]、農產品測量[7，8]等。該技術是通過兩臺攝像機從不同視角獲取同一目標圖像，并通過視差及幾何測量方法獲得目標深度信息[9]。左右圖像的特征匹配為雙目立體視覺系統中的關鍵技術之一，文獻[10-13]介紹了極線掃描法、動態規劃法、圖形切割法、置信傳遞法等多種立體匹配方法。無論哪種方法，都需要挖掘待匹配圖像中合適的特征以建立正確的匹配關系。

尺度不變特征變換算法（Scale invariant feature transform，SIFT）具有提取局部特征的功能，其特征點定位準確，具有很好的尺度、旋轉、視角和光照不變性，優于其他局部特征提取算子。目前SIFT算法已成功應用于立體視覺匹配等領域。如趙欽君等[14]用該算子為每個特征點定義主方向，將特征描述子的坐標旋轉到與特征點的主方向一致，計算出每個特征點的特征向量描述子。許鋼等[15]以左、右兩幅圖像中特征向量較多的圖像作為基準匹配圖像，另一幅圖像作為待匹配圖像，再由二者的特征向量之間的余弦相似度所建立的匹配規則進行立體匹配。李盛輝等[16]使用多線程技術采集多目視覺圖像，并用改進SIFT算法進行特征點提取與匹配，檢測運動障礙目標。張凱等[17]用改進型SIFT算法進行圖像特征匹配，實現了溫室環境下紅掌圖像的拼接。SIFT算法在提取匹配點的過程中，存在匹配時間長、誤匹配率高的缺點。本試驗以溫室環境中的草莓圖像為研究對象，對上述匹配算法進行改進和優化，可有效縮短匹配時間，提高匹配精度。

1 試驗儀器與工作原理

本研究采用平行式雙目視覺系統，圖像采集平臺采用一對松下WV-CP480/CH攝像頭、精工SSV0358鏡頭、大恒DH-CG300圖像采集卡，PC機配置為P4 2.4 GHz、內存2 G。采集的圖像尺寸為768×576像素。圖像分析軟件為MATLAB 7.0。圖像采集于杭州建德紅群草莓專業合作社立體種植的草莓大棚。左右攝像機采集的圖像如圖1所示。

立體視覺系統工作原理如圖2所示，由完全相同的兩個攝像機從不同位置拍攝同一景物，兩幅圖像位于同一平面上，兩個攝像機坐標系的坐標軸相互平行，且其x軸重合；兩攝像機在x軸方向上的間距為基線的距離2a，焦距為f。假設坐標系原點和左攝像機光心重合，場景點P（X，Y，Z）在左右圖像平面中的投影點分別為PL、PR。（ul，vl）、（ur，vr）表示點P在左右圖像上的像素坐標；（uol，vol）、（uor，vor）表示左右攝像機光心。由△OLPL和△OMP相似、△ORRPR和△ORNP相似可得目標P的深度信息Z如下。

Z=■ （1）

式（1）中，xl=ul-uol；xr=ur-uor。

則|xr-xl|表示投影點P在左右圖像中的水平視差。若yl=vl-vol，yr=vr-vor，則|yr-yl|表示投影點垂直視差。因此，各種場景點的深度恢復可以通過計算水平視差來實現。

2 匹配算法

2.1 SIFT提取圖像特征向量

SIFT算法可在尺度空間中尋找圖像的局部性特征，其計算過程可以分為4步：①檢測尺度空間極值點；②精確定位特征點；③特征點方向分配；④特征點描述子的生成。具體算法可參考文獻[18]。最終為每個特征點形成一個四維的SIFT特征向量，該向量分別涵蓋特征點的位置、向量的方向和長度信息。此SIFT特征向量已經去除了尺度變化、旋轉等幾何變形因素的影響，再繼續將特征向量的長度歸一化，則可以進一步去除光照變化的影響。圖1經過SIFT算法提取的特征向量如圖3所示。圖中箭頭方向的長度分別表示特征向量的方向和大小。

2.2 RANSAC算法剔除錯誤的匹配點

當左右兩幅圖像的SIFT特征點特征向量生成后，采用特征向量的歐氏距離尋找兩幅圖像之間的匹配點。根據極線幾何約束理論[19]，左右兩幅圖像特征點位置應只存在橫向的偏差，其縱向坐標不可能出現較大偏差，因此這里對左圖某個特征點，僅在其對應的右圖中與其縱坐標相差±10像素的范圍內搜尋，這樣縮小搜索范圍，匹配時間將極大縮短?？刹捎秒S機抽樣一致（random sampzing consensus，RANSAC）算法進一步降低特征點對之間的錯配率，RANSAC基本思想描述如下。

Step1：根據兩幅圖像的投影變換關系，即在圖3a與圖3b所有特征點的投影變換矩陣，如式（2）所示。

x′y′1=h11 h12 h13h21 h22 h23h31 h32 1xy1=H×A （2）

式（2）中，（x，y）（x，y）分別表示左右圖像的待匹配點坐標。

Step2：設初始最佳內點數Ni為0，重復N次隨機采樣。本試驗的矩陣H估計需要的匹配點為4對，根據4對匹配點計算出變換矩陣；計算每個匹配點經過矩陣變換后到對應匹配點的歐式距離D。

D=d（A′i，HAi）2 （3）

Step3：設定一距離閾值T，把滿足D

Step4：經過若干次隨機抽樣計算后（此時內點數量基本保持不變），選擇內點最多、誤差函數最小的變換矩陣參數為圖像間的投影變換矩陣，此時的內點即為左右圖像的匹配點。

3 試驗與分析

采用上述RANSAC-SIFT方法對采集好的圖像（圖1a、1b）進行匹配。在左圖中共提取2 168個特征點，在右圖中共提取2 232個特征點，通過傳統的歐氏距離方法可得匹配點298個，經過RANSAC和極線約束法進行優化處理后，獲得正確匹配點149個。圖4中“*”、“o”分別表示左右兩圖匹配點的位置，匹配結果如圖5及表1所示。

由圖5可以看出，大棚立體種植的草莓圖像大致由草莓目標、草莓花、草莓藤葉、栽培盆和大棚背景等5部分組成，傳統的匹配方法常基于目標單一形心進行匹配，這里對5部分分別進行多像素匹配，結果如表2所示。

由圖4、圖5和表1、表2可得：

1）本試驗是對圖像中各類目標整體進行匹配，較傳統匹配方法匹配精度提高50%，很好地提高了立體匹配效果；

2）本試驗算法的匹配時間為2.54 s，較傳統方法縮短4.95 s，匹配時間縮短66%，匹配實時性顯著提高；

3）草莓圖像中距離攝像機較近的草莓目標、草莓花誤匹配的像素相對較少，較遠的藤葉、栽培盆和大棚背景誤匹配像素較多，這可能是由于攝像機對于較遠背景的細節提取不夠所致。

4 小結

本試驗提出了一種基于RANSAC-SIFT算法的立體視覺匹配方法，該方法可有效提高匹配正確率和匹配的實時性。與單純基于目標形心匹配的方法相比較，由于該方法是基于圖像各類目標內所有像素進行立體匹配，所以匹配結果具有更好的一致性和魯棒性。在后續研究中，應結合圖像分割的方法，并充分利用圖像的色彩、紋理等信息，對不同目標分別進行匹配，以進一步提高精度和實時性。

參考文獻：

[1] 孫 俊， 蘆 兵，毛罕平.基于雙目識別技術的復雜背景中果實識別試驗[J].江蘇大學學報（工學版），2011，32（4）：423-427.

[2] YAMAMOTO S，KOBAYASHI K，KOHNO Y.Evaluation of a strawberry-harvesting robot in a field test[J]. Biosystems Engineering，2010，15（2）：160-171.

[3] 項 榮，應義斌，蔣煥煜，等.基于雙目立體視覺的番茄定位[J].農業工程學報，2012，28（5）：161-167.

[4] 彭 輝，吳鵬飛，翟瑞芳.基于視差圖像的重疊果實圖像分割算法[J].農業機械學報，2012，43（6）：167-173.

[5] 殷小舟，淮永建，黃冬輝.基于雙目立體視覺的花卉三維重建[J].揚州大學學報（農業與生命科學版），2012，33（3）：91-94.

[6] 趙春江，楊 亮，郭新宇，等.基于立體視覺的玉米植株三維骨架重建[J].農業機械學報，2010，41（4）：157-162.

[7] 王傳宇，趙 明，閻建河.基于雙目立體視覺的苗期玉米株形測量[J].農業機械學報，2012，43（6）：167-173.

[8] 袁 挺，李 偉，譚豫之，等.溫室環境下黃瓜采摘機器人信息獲取[J].農業機械學報，2009，40（10）：151-155.

[9] BARNARD S T. Stochastic stereo matching over scale[J]. International Journal of Computer Vision，2009，3（1）：17-32.

[10] ROY S， COX I J. A maximum-flow formulation of the N-camera stereo correspondence problem[A]. Sixth International Conference on Computer Vision[C]. Bombay，India，2011：492-499.

[11] KOLMOGOROV V， ZABIH R. Computing Visual Correspondence with occlusions using graph cuts[A]. Eighth International Conference on Computer Vision[C].Vancouver， Canada， 2012： 508-515.

[12] YANG Q X. Stereo matching with color-weighted correlation， hierarchical belief propagation and occlusion handling[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2009， 31（3）：492-504.

[13] CAI J. Integration of optical flow and dynamic programming for stereo matching[J]. Image Processing， IET， 2012， 6（3）：205-212.

[14] 趙欽君，趙東標，韋 虎.Harris-SIFT算法及其在雙目立體視覺中的應用[J].電子科技大學學報，2010，39（4）：546-550.

[15] 許 鋼，林園勝，江娟娟，等.改進型SIFT立體匹配算法研究[J].計算機工程與應用，2015，51（6）：134-138.

[16] 李盛輝，周 俊，姬長英，等.基于全景視覺的智能農業車輛運動障礙目標檢測[J].農業機械學報，2013，44（12）：239-244.

[17] 張 凱，耿長興，張二鵬，等.溫室環境下紅掌圖像拼接算法[J].農業機械學報，2013，44（4）：223-227.

[18] LOWE D G.Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision，2004， 60（2）：91-110.

[19] MARR D.Vision. A Computational Investigation into the Human Representation and Processing of Visual Information[M]. San Francisco： Freeman W H， 1982.