基于雙目立體視覺的成熟棉花識別定位

沈曉晨　李霞　王維新

摘要：針對采棉機械手棉花識別定位難的問題，提出一種基于機器視覺的棉花識別與定位方法，搭建出雙目立體視覺系統，在此基礎上通過相機標定、圖像采集、圖像處理、特征提取等過程，計算得出棉株的深度信息以及其成熟棉花的三維信息，其深度平均誤差值為255 mm，單位坐標誤差均值為（28 mm，-14 mm，-135 mm）。結果表明，基于雙目立體視覺對棉株上的成熟棉花進行三維空間上的識別定位是可行的。

關鍵詞：棉花采摘機器人；雙目立體視覺；成熟棉花；圖像分割；識別定位；深度信息；三維信息

中圖分類號： S22591文獻標志碼：

文章編號：1002-1302（2017）16-0185-04

收稿日期：2016-03-31

基金項目：國家自然科學基金（編號：51405312）。

作者簡介：沈曉晨（1991—），男，湖北襄陽人，碩士研究生，主要從事圖像處理。E-mail：510134974@qqcom。

通信作者：李霞，博士，副教授，主要從事機械設計及其自動化研究。E-mail：lixia0415@163com。

棉花是我國重要的工業基礎及戰略物資，也是廣大棉農脫貧致富的重要作物，在農業生產中占有重要的經濟地位。新疆由于具備獨特的光熱資源，已成為全國最大的商品棉生產基地[1-3]。新疆棉花總產量、國內銷售量以及出口量連續多年位居全國之首，已經成為當地的支柱產業[4]。新疆與國外的棉花種植模式差別較大，棉花品種不同，且國產采棉機的采摘效率不太理想，而由于進口采棉機價格成本太高、零配件價格高、維修費用高、服務不及時等因素的影響，農民接受不了，難以推廣[5]，因此棉花采收一直是制約新疆棉花發展和經濟效益提高的重要因素之一。根據目前情況，亟需研究出機械化、智能化的棉花采摘機器人，新疆的棉花種植區域比較集中，具有農業機械化、智能化的發展優勢，因此充分利用先進技術和裝備并結合人工采摘和機械化采摘的優點，開發一種新型的棉花收獲智能機已成為當前的緊迫任務。其中視覺系統主要解決的是棉花自動識別與定位，也是機械化、智能化棉花采摘機器人的關鍵難題。

目前，在果蔬收獲機器人工作方面已有多國展開了研究，美國學者Schertz和Brown于1968年首次提出使用機器人來完成一些采摘作業的思想，Takahashi等依據蘋果在雙目立體視覺系統中左右圖像對中的視差，利用三維空間分割將2幅圖像合成1幅中心圖像[7-9]。Kondo等用4個光源以及3個攝像機組成了草莓采摘機器人[10]，雖然國內在農業采摘機器人領域開展研究比較晚，但發展速度快，目前已獲得很多研究成果。劉兆祥等根據蘋果樹的反射光譜特性，利用激光的反射差異和三角測量原理實現蘋果的識別與定位[11]。劉坤等為準確識別自然環境中被遮擋的棉花，提出了使用隨機Hough變換來識別棉花的方法[12]。趙杰文等選取HIS色彩空間的H通道對田間的番茄采用閾值分割的方法進行識別。徐惠榮等利用顏色信息差來進行識別柑橘，同時在順光、逆光的情況下進行了柑橘的識別研究[14]。在棉花圖像分割方面，王勇等分析了棉田環境中不同對象在幾種常用色彩空間下的顏色特征，提出了一種采用R-B色差模型的分割策略[15]。韋皆頂等選取HSV色彩空間中的S通道對棉花進行閾值分割[16]。

本研究基于機械視覺對成熟棉花進行識別定位，以期為實現成熟棉花的機械手采摘提供參考。

1材料與方法

11設備與材料

采用1對維視圖像的MV-VS 078FM/FC高速工業CCD攝像機作為實時計算機視覺系統的圖像采集設備，該攝像頭采用高速USB 20接口，焦距≥20 mm，視野角度≥50°，圖像輸出格式為RGB24（24位真彩色），動態捕獲存儲格式為AVI；計算機采用惠普臺式液晶電腦，其基本配置為220 GHz主頻，400 GB的內存，1 024 MB的顯卡，640 G硬盤，CPU為Intel（R）Core（TM）2DuoCPU T6670，電腦的操作系統為Window XP專業版32位SP3（DirectX90c）；數據處理采用Excel 2007，圖像處理軟件為Matlab 2015b。試驗所用的棉花棉株均來自于石河子大學惠遠種業試驗田，所有棉株均含有不少于3個成熟棉花，且具有普遍性。成熟棉株圖像采集于2013年10月。

12方法

在實驗室環境下，將采集的成熟棉花棉株置于栽盆中，在32 W熒光燈照射下，以栽盆為基準中心，間隔不同距離多次采集，由于采棉機械手最優采棉距離在550～650 mm之間，所以在此范圍內隨機從6個距離點采集成熟棉花圖像。每個距離點采集3組，共36幅圖像，并對采集的棉花圖像利用Matlab軟件編寫好的GUI進行圖像處理。

2雙目立體視覺

21雙目視覺原理

雙目立體視覺指的是仿照人類雙眼感知距離的方法，以實現機械視覺對三維信息的感知，通常基于三角測量的方法，利用2個或多個攝像頭對同一景物從不同位置形成圖像，從而通過視差恢復距離信息。雙目立體視覺模型一般可分為匯聚式立體視覺模型和平行式立體視覺模型。由于平行式立體視覺模型需要相機與其光軸絕對平行，而這在實驗室條件下很難實現，所以一般多采用匯聚式立體視覺模型進行立體視覺的運用。在該模型下空間內的任意一點P（X，Y，Z）過C1、C2攝像頭拍攝圖像的投影點像素坐標分別為P1（u1，v1）、P2（u2，v2），假設P1、P2的坐標點已知，則可以利用攝像頭的內部參數和外部參數反求出P點的世界坐標，即為P=M1-1P1和P=M2-1P2。M1、M2的計算公式分別為：

[JZ（]M1=[JB（[]ax1γ1uo100ay1vo100010[HL）]]；[JZ）][JY]（1）

[JZ（]M2=[JB（[][HL（4]ax2γ2uo200ay2vo200010[HL）]] [JB（[]RT01]。[JZ）][JY]（2）

式中：ax1、ay1、ax2、ay2分別為攝像頭C1、C2在x軸和y軸上的焦距；γ1、γ2分別為攝像頭C1、C2的不垂直因子；（uo1，vo1）、（uo2，vo2）分別為攝像頭C1、C2光軸像素坐標；R、T分別為旋轉矩陣和平移矩陣。

22相機標定

相機標定在于獲取精確的相機內部參數（焦距、失真系數、不垂直因子）以及外部參數（旋轉矩陣、平移矩陣）。本次標定試驗采用Jean-Yves Bouguet的 Camera Calibration Toolbox-Standard Version和 Stereo CameraCalibration Toolbox攝像機標定工具箱進行雙目攝像頭標定，先用左右2個CCD攝像機從不同位置采集10對標定板圖像；然后利用Camera Calibration Toolbox-Standard工具箱分別讀入左右CCD攝像機采集的標定板圖像（圖1）；最后采用交互式的角點區域提取方法，利用Matlab軟件對標定板圖像進行自動角點檢測，得到左/右攝像頭內部參數，并通過Camera Calibration Toolbox-Standard工具箱得到校正后的左/右攝像頭外部參數（表1）。

注：平移向量與旋轉向量皆為右攝像頭相對于左攝像頭的位置關系。

3圖像分割與特征點匹配

31棉花圖像分割

棉花的圖像分割作為識別定位的預先處理，其質量直接決定后序的識別定位效果，圖像分割是把圖像分成各具特性的區域并提取出所需目標的技術和過程，以便棉花采摘機器人的視覺識別系統根據對圖像的理解進行作業。圖像分割是圖像識別和分析的首要問題，因此圖像分割技術一直受到研究者們的高度重視，現已提出了上千種分割算法，目前分割方法主要有閾值分割方法、聚類分割法[17]、區域增長法[18]、基于邊緣檢測的圖像分割方法[19]和基于神經網絡的圖像分割方法[20]等。由于計算機的智能程度和速度還遠沒有達到人的水平，到現在為止圖像分割問題還不存在一個通用的方法，也不存在一個判斷分割是否成功的客觀標準。圖像分割的任務是把圖像中感興趣的目標區域提取出來，本研究中的圖像分割是把成熟棉花從其自然背景中提取并標記出來。利用成熟棉花果實與周圍環境顏色特征的差異性，主要采用基于Eckhorn的貓視覺皮層模型的圖像分割方法——基于脈沖耦合神經網絡（pulse coupled neural net），并顯示了其優越性。最初的分割數學方程描述如公式（3）所示：

3）式中：Fij表示第（i，j）個神經元的第n次輸入；β為連接系數；Sij表示外部輸入激勵信號，即點（i，j）對應像素的灰度值；M為連接矩陣的元素；Lij（n）為連接輸入；VL為連接幅度常數；Uij（n）為內部活動項；αθ為迭代衰減時間常數；θij（n）為動態闊值；Vθ為連接權放大系數；Yij（n）為神經元的輸出。但由于基于脈沖耦合神經網絡（PNCC）的圖像分割，圖像的層次性被極大地削弱了，且對圖像后續的處理造成了麻煩。因此，本研究通過其高β值對傳統的PNCC進行改進，改進后的脈沖耦合神經網絡（PNCC）的圖像分割數學方程描述如公式（4）所示：

式中：U（n）為內部活動項；θ（n）為動態闊值；D（n）表示第n次脈沖反饋輸入矩陣；L為線性連接通道輸出矩陣；Cij（n）表示非線性輸出矩陣；Yij為神經元的脈沖輸出矩陣。

基于PNCC[21]的多值分割法對R-B灰度圖進行分割試驗，圖像分割結果如圖2所示。通過大量的試驗可以看出，采用基于PNCC的多值分割法，圖像分割的分割率≥9168%，并且有效保留了圖像的層次性。

32成熟棉花目標的特征點匹配

立體匹配即在左圖像和右圖像中分別找出真實世界中的某一點在2個攝像機成像平面上的匹配投影點。主要方法是依據目標物體的顏色、幾何形狀等特征，從立體視覺系統左、右攝像機同時拍攝的一組圖像中通過某個特征從一副圖像的某點搜素另一幅圖像的匹配點。為了使匹配的過程達到一定的抗噪能力[22-23]，同時減少歧義性，提出了特征匹配。由于不受灰度的影響，所以抗干擾性較強，同時計算量小、速度快，滿足了相同的實時性。特征點的選取和匹配，是利用雙目立體視覺技術獲得目標物體三維信息的關鍵。成熟棉花在攝像機成像的投影近似一個標準的圓形，所以其在二維圖像的形心基本是在攝像機平面上投影所形成的標準圓形的圓心，因此左右圖像上的圓心是一對最佳的匹配點，同時也是棉花采摘過程中理想的采摘點，因此可以直接提取并用于三維信息的計算。利用左、右攝像機采集圖像中成熟棉花投影圓心的提取結果如圖3所示。

4成熟棉花定位

41棉株深度信息

對分割好的圖像進行進行特征點匹配，等距的3組6幅圖像的特征點坐標取均值，以減小偶然誤差，處理完成得到6組不同距離的成熟棉花特征點數據。現取每個特征點的1對左右匹配點P1、P2數據，利用相機標定得到的投影矩陣M1、M2，反求出特征點的世界坐標（X，Y，Z），Z即為棉株的深度信息。試驗數據見表2，計算出來的深度誤差值平均為 255 mm，可以滿足采棉機械手對不同棉株深度精確的要求。

42同一棉株不同位置成熟棉花的定位識別

由于棉株上存在多個棉桃，因而采棉機械手須要知曉棉株上對應成熟棉花的多個特征點的坐標，其精準度直接由機械視覺機構給定的匹配點空間坐標的誤差值決定。本研究對同一棉株不同位置的成熟棉花定位識別，任取一個等距的組，其特征點的計算坐標與實際坐標如表3所示，得到其平均坐標誤差值為（28 mm，-14 mm，-135 mm），表明滿足同一棉株不同位置的棉花識別定位的精確度要求。

5結論

在分析研究成熟棉花視覺系統設計要求的基礎上，建立了適合本研究所使用的雙目立體視覺系統，搭建了試驗平臺，

并對雙目相機攝像頭進行了標定，用標定好的相機對棉花圖像進行采集，提出了一種基于PNCC的多值分割法。在相機標定及目標識別的基礎上，利用基于形心特征匹配方法來實現果實目標的匹配，并利用雙目立體視覺原理對基于空間點三維信息的計算進行研究，對棉花特征點進行深度恢復，實現棉株空間的初步定位，并進一步對棉株上的成熟棉花進行坐標定位。結果表明，該定位方法具有很高的精確度，能夠滿足采棉機械手的定位要求。

因此，基于機器視覺對棉株上的成熟棉花進行三維空間上的識別定位是可行的，在后期的研究過程中，將采取更規范的試驗操作以減小其識別定位的偶然誤差、提高成熟棉花的識別定位精度，使得采棉機械手采棉作業的識別定位更加精準。

參考文獻：

新疆年鑒社 新疆年鑒2011[M] 北京：中國統計出版社，2011

新疆統計局 新疆統計年鑒2011[M] 新疆：新疆生產建設新疆年鑒社，2011

[3]李生軍 棉花收獲機械化[M] 新疆：新疆科學技術出版社，2008

[4]中華人民共和國農業部采棉機作業質量：NY/T 1133—2006[S] 2006

[5]耿端陽，張鐵中，羅輝，等 我國農業機械發展趨勢分析[J] 農業機械學報，2004，35（4）：208-210

[6]Kondo N，Nishitsuji Y，Ling P P，et al Visual feedback guided robotic cherry tomato harvesting[J] Transactions of the Asae，1996，39（6）：2331-2338

[7]Takahashi T，Zhang S，Sun M，et al New method of image processing for distance measurement by a passive stereo vision[C] An ASAE Meeting Presentation，1998

[8]Takahashi T，Zhang S H，Fukuchi H，et al Binocular stereo vision system for measuring distance of apples in orchard（Part 1）—Method due to composition of left and rightimages[J] Journal of the Japanese Society of Agricultural Machinery，2000，62（1）：89-99

[9]Takahashi T，Zhang S，Fukuchi H，et al Binocular stereo vision system for measuring distance of apples in orchard（Part 2）—Analysis of and solution to the correspondence problem[J] Journal of the Japanese Society of Agricultural Machinery，2000，62（3）：94-102

[10]Kondo N，Ninomiya K，Hayashi S，et al A new challenge of robot for harvesting strawberry grown on table top culture[C] ASAE Annual International Meeting，2005

[11]劉兆祥，劉剛，喬軍 蘋果采摘機器人三維視覺傳感器設計[J] 農業機械學報，2010，41（2）：171-175

[12]劉坤，費樹岷，汪木蘭，等 基于改進隨機Hough變換的棉桃識別技術[J] 農業機械學報，2010，41（8）：160-165

[13]趙杰文，劉木華，楊國彬 基于HIS顏色特征的田間成熟番茄識別技術[J] 農業機械學報，2004，35（5）：122-124，135

[14]徐惠榮，葉尊忠，應義斌 基于彩色信息的樹上柑橘識別研究[J] 農業工程學報，2005，21（5）：98-101

[15]王勇，沈明霞，姬長英 采摘期成熟棉花不同部位顏色識別分析[J] 農業工程學報，2007，23（4）：183-185

[16]韋皆頂，費樹岷，汪木蘭，等 基于HSV彩色模型的自然場景下棉花圖像分割策略研究[J] 棉花學報，2008，20（1）：34-38

[17]徐德，譚民，李原 機器人視覺測量與控制[M] 北京：國防工業出版社，2011：35-36

[18]宋村夫 基于雙目立體視覺的催淚彈智能化發射系統設計[D] 長沙：國防科學技術大學，2011

[19]王星，劉金義 基于HSI的彩色圖像二值化技術研究[J] 科學技術與工程，2011，11（19）：4609-4611

[20]楊轉 基于HSI顏色模型的雜草與 土壤背景分割方法研究[J] 河北農業大學學報，2011，34（4）：124-127

[21]趙小川 現代數字圖像處理技術提高及應用案例詳解[M] 北京：北京航空航天大學出版社，2012

[22]鄧姿 基于立體視覺的三維粒子圖像處理[D] 大連：大連理工大學，2006

[23]胡新宇 基于機器視覺的家蠶微粒子圖像識別方法的研究[D] 武漢：武漢理工大學，2011