基于多層約束立體視覺的采棉機器人視覺系統研究

朱　莉，陳茗溪，徐勝勇，楊　勇，趙海濤，王怡田

(1.湖北工業大學 太陽能高效利用湖北省協同創新中心，武漢　430068；2.華中農業大學 工學院，武漢　430070)

?

基于多層約束立體視覺的采棉機器人視覺系統研究

朱莉1，陳茗溪2，徐勝勇2，楊勇2，趙海濤2，王怡田2

(1.湖北工業大學 太陽能高效利用湖北省協同創新中心，武漢430068；2.華中農業大學 工學院，武漢430070)

摘要：大田成熟棉花的識別和定位是采棉機器人作業的基本前提。為此，提出一種采棉機器人視覺系統解決方案。首先根據棉纖維顏色特點，將彩色棉田圖像分離為RGB 3個通道，分別進行預處理和閾值分割，最后合并為彩色圖像，繼而檢測大面積區域的輪廓并計算其質心點；在輪廓附近區域對預處理過的棉田圖像進行FAST角點檢測，使用SUFT特征描述并進行四層約束立體匹配，結合隱式定標參數可計算出特征點的空間坐標；最后，建立了一種考慮鏡頭縮放影響的輪廓面積/最小外接圓面積比值的成熟度估計模型。實驗結果表面：本方法可在準確識別和定位大田棉花的同時判斷棉花的成熟度。

關鍵詞：大田棉花；棉纖維檢測；立體視覺；成熟度分級

0引言

我國是世界上最大的棉花生產國、消費國和進口國，但至今棉花收獲仍主要依靠人工。勞動力的緊缺導致采棉成本的激增，也限制了棉花的種植規模。基于計算機視覺的采棉機器人結合了人工采摘與機械式采摘的優點，可以有效解決棉花采摘的效率與品質之間的問題[1]。準確地識別與定位作業目標是機器人自動化采摘作業的關鍵。

采棉機器人要實現自動采摘，第1步需要從大田中檢測出棉花。當前的棉花檢測方法大多基于顏色特征進行。自然光照下成熟期的棉花顏色與背景枝葉存在顯著差別，色彩差異是區分成熟棉花與背景的重要依據[2]。Guo等將棉花與雜物的彩色圖像劃分為3個通道，通過數據統計分析找到相應的閾值來實現棉花與雜物的分割與識別[3]。劉坤等利用R-B色差作為棉花圖像的彩色模型，采用形態學濾波圖像并利用邊界跟蹤方法獲取棉桃基本輪廓[4]。文獻[5]提出在YCbCr顏色空間下采用粒子群和K均值混合聚類算法檢測棉花。劉坤等提出基于 HSV 彩色空間中的S分量進行圖像分割，并進行了基于小波變換的優化，提高了棉花識別的精度和速度[6]。

我國廣泛種植的細絨棉最佳采收期是吐絮后的5～7天，采摘過早或過晚都會導致產量和品質的下降。機器人視覺系統需要判斷棉花的成熟度，以保證作業效率和采棉品質[7]。目前，對棉花成熟度分級主要依據二維圖像的顏色和形狀特征進行。如王勇等利用成熟期棉桃表面顏色特征，利用色差信息建立識別模型將成熟棉桃從背景中識別出[8]。韋皆頂等基于HSV模型依據面積特征對圖像信息未缺失的棉花圖像分割，并依據成熟棉花棉瓣的分散性和單朵棉花面積較大等特性判別棉花成熟度[9]。時顥等對OHTA顏色空間的棉花圖像進行分割并提取形狀特征，繼而使用粒子群優化算法(PSO)優化支持向量機(SVM)進行棉桃成熟度判斷[7]。

作業目標的空間定位是機器人作業的另一個關鍵環節。一種方法是采用視覺定位和物理測距結合的方式獲取目標深度信息[10]。如王玲使用紅外測距裝置和圖像處理技術結合棉花的農學生長特性測量單朵棉花的距離[11]。更快速而低成本的方法是使用立體視覺技術：魏澤鼎等構建了以CMOS圖像傳感器為基礎的雙目圖像采集系統，根據RAM中的行列數據求解果實的質心平面坐標并根據雙目立體視差法完成棉花果實的空間定位[12]；瞿端陽等組建了雙目立體視覺系統計算棉株的深度信息并進行校正，定位誤差均值為20.58 mm[13]。

因為棉田環境的復雜性，成熟棉花的快速、準確的識別和定位仍是采棉機器人視覺系統中的難題。普通的立體視覺方法平均定位誤差超過20mm[13]，不能滿足機器人的性能需求。為此，本文研究了一種成熟棉花識別與定位技術，用于檢測棉田中的棉纖維區域并計算區域質心作為備選采收點，再運用優化的立體視覺方法獲取采收點的空間坐標。同時，考慮鏡頭縮放的影響建立了基于面積特征的棉花成熟度判定模型，為負壓式采棉機器人的視覺系統研制提供了范例。

1棉花檢測與二維定位

成熟棉花顏色大體為奶白色，棉花成熟時，棉田背景顏色大體為灰色或者深綠色，兩者差異很大，可以依據顏色差異特征將棉花從棉田背景中識別出來。若直接將彩色棉田冠層圖像轉換為灰度圖像進行閾值分割，受大田光照形成的陰影影響，將導致大量的錯誤分割。

在RGB顏色空間中，RGB 3個顏色分量近似相等時構成白色。因此，將彩色圖像分離為RGB 3個通道之后分別進行處理，再進行融合可有效分離背景和前景。先對3個通道圖像進行中值濾波濾除隨機噪聲，并進行OTSU閾值分割得到包含棉花的大量區域。采用數學形態學開、閉運算結合的方式去除小塊的噪聲區域，最后合并3個顏色通道并提取其中的輪廓， 將周長較小的輪廓濾除，得到表征棉花的區域，進而計算輪廓的質心像素坐標，作為機器人作業的備選采收點。圖1為大田棉花檢測與二維定位的程序流程圖。

圖1　棉花檢測與二維定位的程序流程圖

2立體視覺三維定位

2.1隱式相機定標

攝像機標定用于獲取攝像機內外參數，是由二維圖像恢復三維空間信息的關鍵步驟之一。隱式相機標定參數是一個3×4的參數矩陣，表征了空間點對圖像點的投影關系。一次完整的定標操作包括4個步驟：定標準備、定標圖像采集、控制點信息獲取和定標參數計算。圖2所示為實驗平臺，可使用電動平移臺帶動圓形平面定標板做精確的、距離已知的平移，拍攝不同距離上的定標板圖像。在定標板圖像中檢測橢圓的圓心作為控制點的像素坐標；根據定標板制作時的定標圖案空間距離規則，在建立的世界坐標系中賦值世界坐標。建立考慮鏡頭畸變誤差的相機模型，則有

(1)

其中，式(1)是齊次坐標形式的方程，(u,v)是控制點的圖像坐標， (X,Y,Z)是控制點對應的空間坐標，M是待求的隱式定標參數矩陣，(δu,δv)是同時考慮徑向和切向誤差的鏡頭畸變誤差。

將控制點的圖像坐標和世界坐標代入式(1)，使用線性最小二乘計算初始定標矩陣；再根據反投影誤差，在畸變方程中計算初始鏡頭畸變系數；最后建立全局極大似然估計的目標函數，使用L-M算法估計最終的3×4隱式定標參數矩陣。

圖2　雙目相機標定實驗平臺

2.2自適應半徑FAST特征點檢測與描述

c∈(0,1)

(2)

其中，xi為特征點向量，xj為特征點的鄰域向量，c為參數閥值，DOG為Laplacian of Gaussian算子。 計算角點的SURF(Speeded Up Robust Features)描述子，用于后續的特征匹配。

2.3立體匹配與三維坐標計算

立體匹配算法通過建立合理的能量代價函數，增加一些約束、采用最優化理論的方法最小化能量代價函數來估計像素點視差值。在待匹配的兩個特征點集中，使用歐式距離度量的閾值Dth，當兩個目標描述子A和B的距離滿足dA-B∈[0,Dth]時匹配成功，進行了初次遴選；對于Dth_max>dA-B>Dth待定的特征點，將距離特征點的最近距離和次最近距離的比值RA/B作為參考量，則有

(3)

同時，設定閥值Rth_r，當RA/B≤Rth_r時A與B匹配成功，完成二次遴選。隨后采用隨機抽樣一致性算法剔除誤匹配點，再利用極線約束進一步提高匹配點對的精確度。對于64維SURF描述子向量，為加快匹配搜索速度，采用最優區間搜索(BBF)算法。完整的算法流程圖如圖3所示。

圖3　立體視覺算法程序流程圖

圖像上的一對匹配點p1和p2由空間點P(x,y,z)投影而成，空間點3個未知坐標構成了4個方程組成的超定方程組。在實現左右兩幅圖像上特征點正確匹配和相機內外參數矩陣以標定的基礎上，解這個超定方程組即可獲得特征點的三維信息。

3棉花成熟度判定

成熟度高的棉花的棉纖維膨脹、棉莢已經完全裂開甚至脫落，棉纖維被棉莢遮擋的面積較??；而未成熟的棉花正好相反，棉纖維大部分被棉莢包圍。因此，根據該特征判斷棉花的成熟度。當棉花傾角較小時，成熟棉花的輪廓接近于一個圓形，所以其輪廓的擬合橢圓參數中的擬合度可以表征棉花的傾角大小。部分文獻中使用棉花輪廓的面積來衡量棉花的成熟程度，由于沒有考慮到棉花距離相機的距離，因而是不準確的。

不同成熟度的棉花，棉莢遮擋棉纖維的程度不同。此時，將待檢棉花區域的面積記作Sc；待檢棉花區域輪廓的外接圓視作包圍棉花的棉莢，其面積記作Sp。棉花傾角較大時，外接圓面積與棉纖維區域棉莢的比值越大，棉花成熟度越高，此時判別規為

(4)

其中，Kp/c是成熟度系數，fc是待檢棉纖維區域輪廓的橢圓擬合度，FT是實驗測定的擬合度閥值。

式(4)過于簡略，必須考慮棉花距離相機平面的距離帶來的縮放影響。在立體視覺方法獲取的視差圖中，與棉花區域質心距離最近的像素點灰度值為Pcen，該灰度值表征了該點與相機距離的遠近。最終棉花成熟度判定規則為

(5)

4實驗與結果分析

4.1棉花識別與二維定位實驗

圖4為棉田圖像分割的結果。圖4左圖是彩色的棉田圖像灰度化之后直接進行OSTU閥值分割的結果，效果較差，檢測出了大量的非目標區域，導致多檢測出一個非目標質心；圖4中圖是GrabCut算法[14]的檢測結果，準確檢測出目標，同時噪聲區域最少；圖4右圖是本文的算法結果，檢測出完整的棉花，噪聲區域水平處于前兩者之間。GrabCut算法不是自動的圖像分割技術，需要人工選定矩形框，且時間運行時間較長。本文的算法在保證檢測精度的同時，具有運行速度上的優勢。

表1比較了本文方法提取的和人工提取的棉花質心坐標(在WINDOWS畫圖軟件中進行)，表中的單位均為像素。由表1可知：該方法具有較好的采摘精度，可以滿足采棉機器人的作業要求。

圖4　棉田圖像分割效果比較

編號計算坐標實際坐標誤差1(263,480)(270,491)11.42(107,384)(117,413)21.53(230,291)(240,308)19.7

4.2立體視覺實驗

雙目立體視覺系統需要1對相機，使用兩個同型號的CCD相機安裝在固定底座上，兩個光軸平行，調節攝像頭和焦距使得兩個攝像頭的視場范圍有較大的重疊。拍攝了一組定標板圖像和1對棉花圖像，圖像分辨率為2 592×1 944。

圖5展示了立體視覺實驗結果。

圖5　特征檢測與立體匹配

圖5左圖為FAST特征檢測和SURF描述的匹配結果，共檢測出591個特征點，目標圖像檢測到556個特征點與之匹配，用時2.3s，匹配區域為白色框圖內。棉花圖像中各像素點相對于攝像機的距離可以用深度圖來表示。使用常規的立體視覺方法[13]得到的深度圖如圖5右上所示；本文方法獲取的深度圖如圖5右下圖所示，效果有顯著的提升。

4.3棉花成熟度判定實驗

選取了成熟度依次降低的4朵棉花，編號依次為1～4，如圖6左圖所示。使用本文的算法檢測棉花的輪廓并計算最小外接圓，結果如圖6右圖所示。源圖像中的4朵棉花均準確地檢測出來，且最小外接圓的計算也非常準確。

圖6　棉花的外接圓計算

測試了成熟度識別方法的有效性，結果如表2所示，面積的單位為像素。若僅僅按照棉纖維區域的像素面積為基準，2號棉花成熟度最大，實際上1號棉花的成熟度最高。這種誤判是沒考慮距離相機遠近不同導致的投影面積縮放影響。本例中，完全成熟的1號棉花的成熟度系數最大，遠超過其他樣本；其他樣本的成熟度均未超過1，考慮到可能存在的測量誤差，可以將本文算法的成熟度判定系數設置為1或略大于1。

表2　棉花成熟度分級

5討論與結論

當前，面向采棉機器人的視覺系統相關技術研究并不充分，嚴重制約了采棉機器人技術的發展和應用。針對自然光照下的棉花三維信息獲取難度大、精度低的不足，本文提出了多層約束立體視覺方法，有效提升了采棉機器人視覺系統的定位精度、速度和易用性。同時，對于離散空間分布、大小和姿態各異的不同品種棉花，建立了融合圖像和空間信息的棉花成熟度特征描述和分級模型，有效提升了采棉機器人采棉品質和作業效率。

參考文獻：

[1]韋皆頂，費樹崛，汪木蘭，等.采棉機器人的研究現狀及關鍵技術[J].農機化研究, 2007(7):14-18.

[2]劉金帥，賴惠成，賈振紅.基于YCbCr顏色空間和Fisher判別分析的棉花圖像分割研究[J].作物學報,2011(7):1274-1279.

[3]Ying-Ying Guo, X-J W，Yu-Sheng Zhai.A novel method for identification of cotton contaminants based on machine vision[J].Optik,2014,125(6):1707-1710.

[4]劉坤，費樹岷，汪木蘭.基于改進隨機Hough變換的棉桃識別技術[J].農業機械學報,2010,41(8):160-165.

[5]時顥，賴惠成，覃錫忠.粒子群與K均值混合聚類的棉花圖像分割算法[J].計算機工程與應用,2013,49(21):226-229.

[6]劉坤，費樹岷，汪木蘭.采棉機器人中棉花圖像輪廓提取[J].制造業自動化,2012,34(7):5-7.

[7]時顥，賴惠成，汪烈軍，等.基于形狀特征的棉花成熟度判別方法[J].中國農機化學報,2014(4):77-81.

[8]王勇，沈明霞，姬長英.采摘期成熟棉花不同部位顏色識別分析[J].農業工程學報,2007，23(4):183-185.

[9]韋皆頂，費樹岷，汪木蘭，等.基于HSV彩色模型的自然場景下棉花圖像分割策略研究[J].棉花學報,2008(1):34-38.

[10]王玲，劉思瑤，盧偉，等.面向采摘機器人的棉花激光定位算法[J].農業工程學報,2014(14):42-48.

[11]王玲，鄒小昱，劉思瑤，等.棉花采摘機器人紅外測距技術研究[J].農業機械學報,2014(7):61-66.

[12]魏澤鼎，賈俊國，王占永.基于視覺傳感器的棉花果實定位方法[J].農機化研究,2012,34(6):66-68，112.

[13]瞿端陽，王維新，馬本學，等.基于機器視覺技術的棉株識別定位[J].中國棉花,2013，40(2):16-19.

[14]C Rother,V K,A Blake.GrabCut: Interactive foreground extraction using iterated graph cuts[J].ACM Transaction on Graphics,2004，23(3):309-314.

Visual System of Cotton-harvesting Robot Based on Multilayer Restraint Stereo Vision

Zhu Li1，Chen Mingxi2，Xu Shengyong2，Yang Yong2，Zhao Haitao2，Wang Yitian2

(1.Hubei Collaborative Innovation Center for High-efficiency Utillization of Salar Energy, Hubei University of Technology, Wuhan 430068, China；2.College of Engineering, Huazhong Agricultural University, Wuhan 430070,China)

Abstract：The mature cotton identification and positioning in the field are the basic premise for cotton-harvesting robot. A robot vision system solution was suggested by this manuscript. Firstly, cotton field image was separated into RGB channels according to the characteristics of cotton fiber.The divided image was pre-processed and threshold-operated respectively and three channels were merged into a color image. The contours in the image were determined and the centroid was calculated. In the neighboring area of the contour, the feature points were detected using FAST corner detection algorithm and described with SURF feature description, then four constraints feature matching was adopted. Combining with the implicit calibration parameters, the 3D coordinates value was calculated.A cotton maturity estimation model was established using the impact of the contour area / minimum area ratio of the circumscribed circle considering the influence of a zoom lens. Experimental results showed the proposed method may be identified and located the cotton in the field accurately and the maturity of cotton was confirmed at the same time.

Key words：cotton in the field; cotton fiber detection; stereo vision; maturity grading

文章編號：1003-188X(2016)07-0229-05

中圖分類號：S225;TP391.41

文獻標識碼：A

作者簡介：朱莉(1982-)，女，武漢人，講師，博士，(E-mail) julianabiding@126.com。通訊作者：徐勝勇(1980-)，男，湖北蘄春人，講師，博士，(E-mail)xsy@mail.hzau.edu.cn。

基金項目：湖北省自然科學基金面上項目(2014CFB589)；中央高?；究蒲袠I務費專項(2014QC004)；太陽能高效利用湖北省協同創新中心開放基金資助項目 (HBSKFMS2014032)

收稿日期：2015-05-18