基于尺度不變特征轉換算法的棉花雙目視覺定位技術

朱镕杰，朱穎匯，王 玲，盧 偉，羅 慧，張志川

（南京農業大學工學院，南京 210031）

基于尺度不變特征轉換算法的棉花雙目視覺定位技術

朱镕杰，朱穎匯，王 玲※，盧 偉，羅 慧，張志川

（南京農業大學工學院，南京 210031）

為了給采棉機器人提供運動參數，設計了一套雙目視覺測距裝置以定位棉株。對獲取的左右棉株圖像進行經背景分割等預處理。求取其在8個尺度下的高斯圖，通過尺度不變特征轉換SIFT（scale-invariant feature transform）算法在相鄰高斯差分圖中提取出SIFT關鍵點；計算每個高斯圖中關鍵點鄰域內4×4個種子點的梯度模值，得到128維特征向量。分割右圖關鍵點構成的128維空間，得到二叉樹；利用最優節點優先BBF（best bin first）算法在二叉樹中尋找到172個與左圖對應的粗匹配點。由隨機采樣一致性RANSAC（random sample consensus）算法求出基礎矩陣F，恢復極線約束，剔除誤匹配，得到分布在11朵棉花上的151對精匹配。結合通過標定和F得到的相機內外參數，最終重建出棉花點云的三維坐標。結果表明，Z軸重建結果比較接近人工測量，平均誤差為0.039 3 m，能夠反映棉花間的相對位置。

機器人；圖像處理；視覺；棉花；SIFT特征；雙目視覺；二叉樹；RANSAC算法

朱镕杰，朱穎匯，王 玲，盧 偉，羅 慧，張志川.基于尺度不變特征轉換算法的棉花雙目視覺定位技術[J].農業工程學報，2016，32（6）：182-188.doi：10.11975/j.issn.1002-6819.2016.06.025 http://www.tcsae.org

Zhu Rongjie,Zhu Yinghui,Wang Ling,Lu Wei,Luo Hui,Zhang Zhichuan.Cotton positioning technique based on binocular vision with implementation of scale-invariant feature transform algorithm[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE）,2016,32(6):182－188.(in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2016.06.025 http://www.tcsae.org

0 引言

棉花是中國的主要經濟作物之一。美國、俄羅斯、埃及等產棉大國通常采用大規模機械化采收方式[1]。中國棉花常用的人工采摘方式勞動強度大、成本高，嚴重制約著棉花生產規模的進一步擴大[2]。為此，采用棉花采摘機器人代替人工勞作有望大幅度降低采摘成本并提高生產效率[3-5]，而雙目立體視覺系統正是采棉機器人的核心技術之一。

國內外對農業中的雙目視覺應用均有不同程度的研究。國外方面，Kassay[6]等利用雙目立體視覺系統采集到水果圖像后，采用霍夫變換進行圖像處理獲取水果的中心位置。Kondo[7]等基于番茄的顏色特征尋找和識別成熟的果實，采用立體視覺技術獲取番茄的位置信息。Takahashi[8-10]等根據蘋果在立體圖像對中的視差將給定范圍的三維空間分割成若干個等距離的區間，將2幅圖像合成一幅中心圖像，然后獲取蘋果的深度信息。國內方面，王玲[11]等利用激光傳感器采用了非接觸式的方法測量棉株表面的深度信息，但處理速度較慢且穩定性不高。彭輝[12]等結合加速魯棒特征SURF（speed-up robust features）算子和極線約束對柑橘立體圖像對進行匹配，在果實光線強弱不同時仍然能較好的進行匹配，但是SURF算子對匹配對象視角差異的容忍度仍有不足。

本文在分析了國內外對采摘機器人視覺系統的研究的基礎上，利用尺度不變特征轉換SIFT（scale-invariant feature transform）[13-14]算法對棉花的平移、旋轉、尺度縮放良好的抑制性提取棉花表面特征，采用基于最優節點優先BBF（best bin first）[15]算法的二叉樹搜索算法提高特征匹配的精度與效率，利用隨機采樣一致性RANSAC（random sample consensus）[16]算法估計基礎矩陣并去除誤匹配，并結合標定結果得到相機內部參數和外部運動參數進行匹配點的三維重建完成棉花定位，以此為采摘機器人運動軌跡的規劃提供參數。

1 棉花圖像采集與預處理

將鏡頭焦距為16mm的雙目相機、投影儀、1.8m×0.7m× 1.8 m角鋼架和PC機組建測距試驗裝置，相機固定在投影儀兩側，可隨意調整其俯仰角和偏轉角，以保證棉株處在相機的視野范圍內（圖1-a）。

在投影儀打光和不打光二種條件下連續拍攝二張棉株圖像（圖1-b，c）。利用打光圖像棉花與背景對比度強的特點對圖像進行二值化處理，以去除背景；結合不打光圖像獲取邊界清晰、紋理豐富的黑背景棉花圖像，進一步進行灰度拉伸、銳化等預處理，以增強棉花的灰度細節（圖1-d）。

圖1 圖像采集與預處理Fig.1 Image acquisition and pretreatment

2 基于SIFT算法的粗匹配

2.1 SIFT關鍵點檢測與特征提取

尺度不變特征轉換SIFT特征僅依賴于圖像的局部信息，具有平移、旋轉、縮放不變性，同時，對光照、投影、仿射的變化也具有一定的魯棒性。

首先，用不同尺度的二維高斯核函數（式1）與二維圖像卷積，實現棉花圖像的模糊濾波處理，獲取尺度k（k= 0～8）的高斯圖（式2）；進一步計算相鄰尺度高斯圖之間的差分圖（式3），獲得尺度k（k=1～8）的高斯差分圖。

其次，將尺度1～8的高斯差分圖堆積成一個三維尺度空間，檢測該空間中的數據點是否為其3×3×3立體鄰域內的局部極值點，局部極值點即為關鍵點（圖2-a），進一步基于曲面擬合來精確定位關鍵點的坐標，并用二階求導法消除邊緣處的噪聲響應。

最后，以關鍵點為中心，在其4×4鄰域窗口內采樣16個種子點，針對每一個種子點，在尺度1～8的高斯圖上分別計算其梯度模值和方向（式4-5），基于種子點的8個模值獲取關鍵點的16×8=128維SIFT特征（圖2-b）。

試驗結果表明，左、右圖分別檢測出1 529、1 493個關鍵點。

式中（x，y）表示圖像I上像素點的位置；σ為尺度空間因子。

圖2 SIFT特征向量Fig.2 SIFT feature vectors

2.2 二叉樹搜索

關鍵點匹配可以歸結為一個通過距離函數在高維空間上的相似性檢索問題，窮盡搜索雖能搜索到正確的匹配點，但耗時大；基于二叉樹搜索算法并結合最優節點優先BBF的嵌套搜索算法可有效解決該問題。以左圖的第14個關鍵點為例，在右圖中搜索其匹配點的方法如圖3所示。

圖3 二叉樹搜索Fig.3 Search of binary tree

首先，創建二叉樹。在128維上分別計算右圖1 493個關鍵點的特征值方差，最大方差所在維為第105維，該維特征排序后的中值56.270 6對應關鍵點366，以此為根節點，將小于或等于中值的關鍵點集合歸入根節點的左枝，否則歸入右枝；依此類推，分別劃分根節點的左枝和右枝，直至葉節點，從而創建了一個二叉樹（圖3-a）。同時按照尋找到的各節點劃分右圖棉花的二維圖像區域，這樣搜索匹配點時只需在由對應節點劃分的區域內尋找，而不必遍歷所有關鍵點，有效地縮小了匹配點的搜索范圍（圖3-b）。

其次，二叉樹搜索。從二叉樹根節點366開始，在第105維上，由于左圖關鍵點14的特征值25.707 8小于等于右圖根節點的特征值56.2706，即表1中L-R≤0，則搜索路徑指向根節點的左子節點，即關鍵點653，反之亦然。重復以上步驟，直至搜索路徑指向葉節點，即366、653、167、404、112、22、11、41、164、13（圖3-a），搜索過程中同時依次記錄途經節點的兄弟節點771、1 166、602、125、48、49、10、8、133。

再次，二叉樹嵌套搜索。獲取上述兄弟節點在二叉樹創建過程中產生的最大方差所在維及其特征值，并與左圖關鍵點14在對應維上的特征值進行比較，并將比較結果| L′-R′|進行升序排序（表1），生成BBF優先級序列兄弟節點10、602、8、771、1 166、125、49、48、133。依次從優先級序列中的兄弟節點出發，嵌套搜索二叉樹至葉節點（圖3-a），直至優先級序列為空或到達200次搜索限制，返回若干個葉節點。

最后，確定匹配點。在128維特征空間下用歐氏距離比較左圖關鍵點14與右圖二叉樹搜索到的所有葉節點的相似度，返回歐氏距離最小的相似點13和次相似點121，對應的相似度和次相似度分別為47.875 8和297.975 9（表2），定義相似度小于0.49×次相似度的相似點為匹配點，則相似點13為左圖關鍵點14的匹配點。

表1 二叉樹搜索過程Table 1 Search procedure of binary tree

試驗結果表明，針對左圖的1 529個關鍵點，在右圖二叉樹上總計搜索出172對粗匹配點（表2），將匹配點在原圖中用線連起來（圖4），對應于空間中的同一點。棉花在左右圖像中的對應位姿不盡相同，有些差異甚至很大，由于SIFT特征對旋轉、平移和仿射的高抑制性，關鍵點的匹配效果良好，SIFT算法適應棉花的形貌。

圖4 左右圖中棉花粗匹配點連線Fig.4 Connected lines of rough matches in left and right cotton images

3 基于極線幾何約束的精匹配

3.1 基礎矩陣估計原理

從不同角度對同一場景拍攝的影像I與I′的極線幾何關系如圖5所示，空間任一點X在平面I與I′上的投影點分別為m與m′，2相機的光心C與C′的連線與平面I與I′相交于極點e與e′，平面XCC′與圖像平面I與I′的交線lm與lm′分別為點X在平面I和I′上的極線。

圖5 極線幾何約束Fig.5 Epipolar geometry constraint

假設匹配點對m與m′的齊次坐標為u=（x，y，1）與u′＝（x′，y′，1），平面I上的極線lm用基礎矩陣F或矢量f（式6-7）描述，由匹配點對與極線共面可給出平面I的極線方程（式8），u′TF為極線的直線坐標，極線方程展開后可表示為一個矢量內積（式9），則基礎矩陣F可由在平面I與I′上的對應點u與u′求出。由n組匹配點對的集合可得到一個線性齊次方程組（式10），A的子空間的解即為矢量f。由于基礎矩陣具有7個自由度，故至少需要7個匹配點對，通常采用7點或8點算法來估計基礎矩陣[17]。

3．2 基于RANSAC算法的基礎矩陣優化

實際應用中，由于噪聲的影響，粗匹配點對可能存在誤匹配，其中的誤匹配點對姑且稱作外點對，因而有外點對參與的8點法對基礎矩陣的估計會產生誤差，從而使基礎矩陣的估計值惡化。為了解決這一問題，采用隨機采樣一致性RANSAC方法，通過重復地對特征集采樣，基于歐式距離來獲得內點對并剔除外點對，基于內點對的基礎矩陣估算可提高8點算法的魯棒性。具體步驟分二步：

首先，基于8點法求解基礎矩陣并估計參數。從172個粗匹配點對中任取8個匹配點對，對這些匹配點對坐標進行歸一化處理[18]，以提高結果的穩定性。將歸一化的8組匹配點坐標代入線性齊次方程組（式10），求解基礎矩陣F（表3）。將左圖的關鍵點坐標u＝（x，y，1）和基礎矩陣F代入平面I的極線方程（式8），以恢復右圖的極線，計算右圖的粗匹配點到該極線的距離distL，反之可獲取左圖的關鍵點到極線的距離distR，距離均小于1.5的粗匹配點對為內點對（表4），并估計所有內點對的誤差（式11）。

式中inlierCount表示內點對數。

表3 8點法的輸入與輸出Table 3 Inputs and outputs of 8 point algorithm

表4 判別內點對Table 4 Determination of inliers

然后，基于RANSAC法優化基礎矩陣。在采樣次數N足夠大的情況下，假設n=8組匹配點對組成的隨機樣本中，至少有一次沒有外點對的概率為P，默認值為0.99；在粗匹配點對中，出現外點對的概率為e，默認值為0.6；則初始N=7 024.6（式12）。在每一次重復采樣過程中，都要基于8點法求解基礎矩陣，估計內點對數及其誤差，以內點對數最多或誤差較小來優化F（表5）；同時，還要根據上一次的e自適應地決定新的N，這樣，隨著內點對數的不斷增加，e和N越來越小，從而使得重復采樣過程快速收斂，提高算法的運算速度。試驗結果表明，在第16次采樣過程中（表4，表5），內點對數增加到151時，由N<16終止重復采樣過程，從172組粗匹配點對中剔除了誤匹配。

表5 基于RANSAC法優化基礎矩陣Table 5 Refined fundamental matrix based on RANSAC

4 棉花的三維重建

4.1 相機內外參數的獲取

假設世界坐標系下的一個點（X，Y，Z）在圖像坐標系下的坐標為（u，v），根據針孔成像模型和圖像坐標系與世界坐標系之間的轉換關系[19-20]（式13）可知，必須標定相機的內參矩K和外參矩陣M，才能根據圖像坐標點轉換成世界坐標點。

式中λ為比例系數，相機的內參K包括u、v軸的歸一化焦距fu、fv，相機光心坐標（u0，v0）；相機的外參M包括相機之間的旋轉矩陣R和平移矩陣t。

首先，相機內參標定。張正友[21]和Tsai[22]的方法假設平面網格在世界坐標系中，通過線性模型計算攝像機內部參數的優化解，并基于最大似然法進行非線性求解，標定出考慮鏡頭畸變的目標函數，從而求出左右相機的內參矩陣（表6）。由于標定試驗中采用了DH-HV3151UC-ML型CMOS工業數字相機，其分辨率為2 048×1 536，單位像素尺寸為3.2 μm×3.2 μm，鏡頭焦距為16 mm。因而，理想情況下，相機的歸一化焦距fu=fv=16 000 μm/3.2 μm=5 000，相機的光心坐標u0=1 024、v0=768。由此可見，相機內參的實際標定結果與理論值有些許偏差，這可能是由相機制造工藝引起的。

然后，相機外參標定。在已知相機內參K的情況下，基礎矩陣F可由本質矩陣E求取（式14），使用歸一化坐標系時，基礎矩陣F的一種特殊形式就是本質矩陣[23]。本質矩陣最早由Longuet-Higgins在1981年由從運動到結構的求解中導出[24]，該矩陣是一個自由度為5、秩為2的3× 3矩陣，它的一個重要性質就是與內參無關，僅由相機的外參確定（式14），實際計算時用四元數表示法[25]（式15）通過本質矩陣E恢復出相機的旋轉矩陣R和平移矩陣t（表6）。

表6 相機內外參數標定Table 6 Calibration of camera intrinsic and extrinsic parameters

4.2 棉花的三維重建

采摘機器人工作時，隨著機器人在田間行走，固定在機械臂上空橫桿上的兩相機角度可調，需要不斷估計2個相機之間的外參。因而可將左相機光心作為世界坐標系的原點，調整左相機的俯仰角和偏轉角，使世界坐標系的Z軸垂直于地面，這樣左相機相對自身的旋轉、平移矩陣為單位陣I、零向量，右相機相對左相機的旋轉、平移矩陣為R、t，將151組精匹配點對的圖像坐標以及左右相機的內外參數代入方程組（式13）進行最小二乘法求解，得到151個空間點的三維坐標（圖6），由圖可知，11簇點云團代表了棉花的空間位置。

將預處理后的棉花灰度圖（圖1-d）二值化，并以其為模板獲取單朵棉花表面的點云，進而求取單朵棉花的三維質心坐標，將其Z軸坐標轉化為棉花到地面的距離（表7）。試驗結果表明，雙目視覺的Z軸測距結果比較接近人工測量，平均誤差為0.039 3 m，能夠反映棉花間的相對位置。

圖6 棉花點云三維坐標Fig.6 Scatter diagram of cotton point cloud

表7 棉花三維重建結果Table 7 Result of cotton 3D reconstruction

5 結論

1）設計試驗裝置時，采用投影儀打光和不打光結合的方式采集圖像，在保留了棉花表面豐富紋理的同時兼顧了邊界的清晰；相機角度的可調性要求不斷估計新的相機外參，能夠適應機器人田間行走的多樣性。

2）SIFT特征的旋轉，平移，縮放和仿射不變性能夠適應田間棉花的形貌。

3）結合BBF優先級序列的二叉樹搜索算法提高了粗匹配的運行效率，并且避免了高維特征搜索問題；基于RANSAC的基礎矩陣優化算法極大地降低了精匹配的計算開銷。

[1]王玲，姬長英．農業機器人采摘棉花的前景展望與技術分析[J]．棉花學報，2006，18(2)：124-128．Wang Ling,Ji Changying.Technical analysis and expectation for cotton harvesting based on agricultural robot[J].Cotton Science, 2006,18(2):124-128.(in Chinese with English abstract)

[2]王玲，姬長英，陳兵林，等．基于機器視覺技術的田間籽棉品級抽樣分級模型研究[J]．中國農業科學，2007，40(4)：704-711．Wang Ling,Ji Changying,Chen Binglin,et al．Researches of grading model of field sampling cotton based on machine vision technology[J].Scientia Agricultura Sinica,2007,40(4):704-711.(in Chinese with English abstract)

[3]韋皆頂，費樹岷，汪木蘭，等．采棉機器人的研究現狀及關鍵技術[J]．農機化研究，2007(7)：14-18．Wei Jieding,Fei Shumin,Wang Mulan,et al.Key techniques and research statue for cotton picking robot[J].Journal of Agricultural Mechanization Research,2007(7):14-18.(in Chinese with English abstract)

[4]Edan Y,Miles G E.Design of an agricultural robot for harvesting melons[J].Transactions of the ASAE,1993,36(2):593-603.

[5]Arima S,Kondo N.Cucumber harvesting robot and plant training system[J].Journal of Robotics and Mechatronics,1999,11(3): 208-212.

[6]Kassay L,Slaughter D.Robotic apple harvest[Z].St.Joseph. Mich:ASAE,1992,ASAE Paper No.922047.

[7]Kondo N,Nishitsuji Y,Ling P.Visual feedback guided robotic cherry tomato harvesting[J].Transactions of the ASAE,1996,39 (6):2331-2338.

[8]Takahashi T,Zhang S,Sun M,et al.New method of image processing for distance measurement by a passive stereo vision [Z].St.Joseph,Mich:ASAE,1998,ASAE Paper No.983031.

[9]Takahashi T,Zhang S,Fukuchi H,et al.Binocular stereo vision system for measuring distance of apples in orchard(Part 1)-Method due to composition of left and right images[J].Journal of the Japanese Society of Agricultural Machinery,2000,62(1): 89-99．

[10]Takahashi T,Zhang S,Fukuchi H,et al.Binocular stereo vision system for measuring distance of apples in orchard(Part 2)-Analysis of and solution to the correspondence problem[J]. Journal of the Japanese Society of Agricultural Machinery,2000, 62(3):94-102.

[11]王玲，劉思瑤，盧偉，等．面向采摘機器人的棉花激光定位算[J]．農業工程學報，2014，30(14)：42-48．Wang Ling,Liu Siyao,Lu Wei,et al.Laser detection method for cotton orientation in robotic cotton picking[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2014,30(14):42-48.(in Chinese with English abstract)

[12]彭輝，文友先，翟瑞芳，等．結合SURF算子和極線約束的柑橘立體圖像對匹配[J]．計算機工程與應用，2011，47(8)：157-160．Peng Hui,Wen Youxian,Zhai Ruifang,et al.Stereo matching for binocular citrus images using SURF operator and epipolar constraint[J].Computer Engineering and Applications,2011,47 (8):157-160.(in Chinese with English abstract)

[13]Lowe D G.Distinctive image features from scale-invariant key points[C].International Journal of Computer Vision,2004,60(2): pp91-110.

[14]Lowe D G.Object recognition from local scale invariant features [C].Proceeding of the Seventh International Conference on Computer.Vision.Washington,DC:IEEE Computer Society, 1999:1150.

[15]張開玉，梁鳳梅．基于改進SURF的圖像配準關鍵算法研究[J]．科學技術與工程，2013，13(10)：2875-2879．Zhang Kaiyu,Liang Fengmei.Research on the key algorithm for image matching based on improved SURF[J].Science Technology and Engineering,2013,13(10):2875-2879.(in Chinese with English abstract)

[16]Fischler M,Bolles R.Random sample consensus:A paradigm formodel fitting with application to image analysis and automated cartography[J].Communications of the ACM,1981(24):381-395.

[17]Richard I.Hartley.In defense of the 8-point algorithm[C],In Proceeding of International Conference on Computer Vision (ICCV),1995:1064-1070.

[18]Hartley，Richard．計算機視覺中的多視圖幾何[M]．安徽：安徽大學出版社，2002：193．

[19]馬頌德，張正友．計算機視覺-計算理論與算法基礎[M]．北京：科學出版社，1998：53～58．

[20]David A,Forsyth，Jean Ponce．計算機視覺-一種現代方法[M].北京：電子工業出版社，2004，54～55．

[21]Zhang Zhengyou.Flexible camera calibration by viewing a plane from unknown orientations[C],IEEE International Conference on Computer Vision,1999,1:666-673.

[22]Tsai R Y.An efficient and accurate camera calibration technique for 3D machine vision[C],CVPR,1986,364-374.

[23]Quanquan Gu,Jie Zhou.Belief propagation on Riemannian manifold for stereo matching[C].IEEE International Conference on Image Processing,2008,15:1788-1791.

[24]HughC.Longuet-Higgins.Acomputeralgorithm forreconstructing a scene from two projections[J].Nature,1981,293(5):133-135.

[25]Zhang Zhengyou.A new multistage approach to motion and structure estimation by gradually enforcing geometric constraints [C].Proceedings of the ACCV’98，Hong Kong,l998:567-574.

Cotton positioning technique based on binocular vision with implementation of scale-invariant feature transform algorithm

Zhu Rongjie,Zhu Yinghui,Wang Ling※,Lu Wei,Luo Hui,Zhang Zhichuan
(College of Engineering,Nanjing Agricultural University,Nanjing 210031,China)

Rapid development of mechanization in agriculture has made it possible to lower the manual labor hour and increase efficiency at the same time.In order to provide the mechanical arm of the cotton picking robot with the needed movement locus parameters,a cotton distance measuring device based on binocular vision with a full implementation of SIFT (scale-invariant feature transform)algorithm was introduced,which realized the positioning of all 11 pieces of cotton planted. Under indoor environment,the cotton images were captured with the control of projector flashlight and the unneeded backgrounds were segmented.Turn the RGB images into gray scale and enhance the gray value to make the cotton more obvious,and after sharpening the edges,the pretreatments of cotton images were finished.Blur the images through Gaussian filter with 8 different scales,calculate the DoG(difference of Gaussian)of Gaussian images and acquire the extrema of 26 neighboring pixels within neighboring scales,and thus SIFT key points were detected,all these key points were invariant to rotation,translation,zoom and affine,which was suitable for the match of cotton images.Calculate the gray gradient modulus value of the 4×4 seed points in 8 directions within the key point neighborhood,and the 128-dimensional SIFT descriptor of each key point was acquired.As to all the SIFT key points in the right image,select the dimension with the maximum variance,and calculate the median value of this dimension,find its corresponding key point and split the other key points according to the median value,repeat this step and the binary tree was built.As to every SIFT key point in the left image, search its potential matches(probably more than one)in the binary tree of the right image until its leaf node was found;save the brother nodes found along the path,establish priority sequence with BBF(best bin first)and expand from the brother nodes to their leaves,find the nearest and second nearest neighbors according to the similarity degree of the 128-dimensional key points between the potential matches until the sequence was empty or the algorithm exceeded its 200 times constraint. Thus 172 pairs of rough cotton matches of key points in 2 images were acquired,but there was still a possibility that there might be wrong matches among rough matches.In order to eliminate the wrong matches,estimate fundamental matrix with RANSAC(random sample consensus)algorithm and recover epipolar geometry constraint;during each sampling,use 8-point algorithm to compute an initial fundamental matrix,calculate the distance from every point to its corresponding epipolar line and count the ones within the threshold as inliers.Repeat this step and choose the fundamental matrix with the most inliers or the least error(in case there were more than one fundamental matrix with the same inlier number)as the final output fundamental matrix,and the corresponding inliers were called refined cotton matches.Using the RANSAC algorithm we got 151 pairs of refined cotton matches,and there were no wrong matches in the refined matches,which helped make the results of cotton three-dimensional(3D)reconstruction more accurate.Calibrate the camera to get its intrinsic matrix,and then get essential matrix according to fundamental matrix and intrinsic matrix through transformation.Split essential matrix and the camera′s external rotation matrix and translation vector were acquired.To this point,inputs needed for cotton 3D reconstruction were all ready,and they were 151 pairs of refined matches of cotton,intrinsic matrix,external rotation matrix and translation vector.Put these inputs into the equations and 2D cotton image coordinates could be transformed into 3D coordinates,and the 3D reconstruction of cotton point cloud on the plant was realized.At last the 3D coordinate values of every cotton were obtained and their centroid coordinate values were calculated.Result showed that all 11 pieces of cotton were all successfully 3D positioned,with an average error of 0.039 3m compared with manual measurement,which proves the calculated data are valid and this binocular vision system is reliable enough for practical application.

robots;image processing;vision;cotton;SIFT features;binocular vision;binary tree;RANSAC algorithm

10.11975/j.issn.1002-6819.2016.06.025

S24；TP242.6

A

1002-6819（2016）-06-0182-07

2015-12-01

2016-01-28

朱镕杰（1991－），男，江蘇南通人，主要從事雙目視覺技術研究。南京 南京農業大學工學院 210031。Email:zrj564366＠126．com

※通信作者：王 玲（1966－），女，江西南昌人，副教授，博士，碩士生導師，主要從事圖像處理與模式識別技術研究。南京 南京農業大學工學院 210031。Email:Lingw@njau.edu.cn