采摘機器人視覺伺服策略研究—基于回歸數據挖掘的

宋家慧，孔令美

(1.廣西機電職業技術學院 計算機與信息工程系，南寧　530007；2.廣東技術師范學院 天河學院信息與傳媒學院，廣州　510540)

?

采摘機器人視覺伺服策略研究—基于回歸數據挖掘的

宋家慧1，孔令美2

(1.廣西機電職業技術學院 計算機與信息工程系，南寧530007；2.廣東技術師范學院 天河學院信息與傳媒學院，廣州510540)

摘要：為了實現采摘機器人的準確抓取控制、路徑識別和自主導航功能，提出了一種基于回歸數據挖掘計算模型的機器人視覺伺服控制系統。首先利用雙目相機獲取果實圖像，然后利用拉普拉斯變換和高斯濾波方法對圖片進行平滑和增強處理，并利用Canny算法對圖像邊緣進行檢測和分割處理，完成圖像的預處理。對圖像進行目標識別，提取圖像的特征，并采用回歸數據挖掘方法對濾波圖像進行檢驗，最終通過計算得到果實圖像的中心位置，將中心位置利用控制器反饋給控制中心，控制中心發出指令，控制末端執行器完成果實的采摘作業。對機器人視覺伺服系統進行了測試，結果表明：利用采摘機器人視覺伺服系統可以準確地計算果實的中心位置，實測位置和計算位置的吻合程度較高，視覺伺服系統的計算的穩定性較好。

關鍵詞：采摘機器人；回歸算法；數據挖掘；Canny算法；高斯濾波

0引言

視覺伺服策略是果蔬采摘機器人對果實識別和定位的一個重要問題。在果實采摘作業環境下，為了完成對果實的識別、抓取采摘和放置動作，需要利用視覺伺服系統獲取果實的位置信息。視覺系統首先在圖像背景中識別果實，然后得到目標果實的中心位置，利用執行末端抓取果實，割斷果柄，完成果實采摘作業。在特定的應用場合，機器人的作業對象和環境是預先設定的，可以通過編程來實現機器人的自動化作業；但在采摘作業環境下，目標物和作業場景是時刻變換的，這就需要借助機器視覺實現機器人的自主導航和機械手軌跡自動化控制。機器人視覺伺服系統的引入可以模仿人的視覺功能感知采摘環境，實現無接觸的位置測量，提高了機器人的智能化水平和自適應學習能力。

1視覺伺服系統和機械結構

采摘機器人視覺伺服系統的圖像采集相機安裝在機械手末端，機械手末端安裝有吸附結構，可以將果實吸附，視覺相機安裝在執行末端的果柄夾持位置，其機械結構如圖1所示。

1.視覺相機　2.果實　3.吸盤　4.手指

工作時，果實主要靠吸盤裝置進行吸附，吸附裝置使用伺服控制系統控制；當果柄切斷后，吸附裝置將果實放下。

圖2為果柄切割裝置的機械結構圖。果柄的切割利用電熱絲加熱切割，并利用吸盤吸附果實；當果柄切斷后，吸附裝置不再吸附果實，果實滑落到果箱內。采摘機器人伺服視覺系統和總體結構由6部分組成，包括雙目視覺相機、采摘末端執行器、人機交互系統、硬件系統、移動模塊和控制器，如圖3所示。

圖3中，控制器負責回歸數據挖掘的運算、控制信號的接收和發送，以及協調各部件的工作；視覺相機安裝在機械手末端，通過姿態的調整，對果實圖像進行全方位的采集?？刂破骶哂泄麑嵨恢米R別和定位功能，其結構原理設計如圖4所示。

1.固定架　2.電熱絲　3.切割墊板　4.夾持墊片　5.手指

1.移動平臺　2.傳感器　3.采摘機械臂

圖4　機器人系統控制器原理圖

圖4中，采摘機器人的視覺系統主要由路標識別相機和雙目視覺相機組成，利用機器人伺服視覺系統可以控制機器人的移動。綜合考慮機器人的作業環境、作業要求和作業成本，采用四輪行走式機器人結構，該機器人可以在壟間自主行走，實時進行圖像的采集和果實采摘作業。當一個果實采摘完畢后，利用圖像采集得到下一個果實的位置，利用不斷的循環，完成果實的采摘任務。移動平臺的伺服控制結構如圖5所示。

1.車底盤　2.同步帶輪　3.步進電機支架

圖5中，伺服控制系統主要使用步進電機實現移動距離和方向的精確控制，其控制精確度高、噪聲小、穩定性好。伺服控制系統的硬件主要由5部分組成，包括控制核心、圖像采集模塊、電機驅動模塊、人機交互模型和電源模塊，如圖6所示。

圖6　硬件控制核心系統結構

圖6中，采集模塊為CCD相機和圖像采集卡，采集卡將模擬信號轉換為數字信號，人機交互模塊由鍵盤構成，電機驅動使用專用的驅動芯片L298N和光藕。

2視覺伺服回歸數據挖掘計算模型

在采摘過程中，由機器視覺伺服系統獲取的圖像往往含有大量的噪聲和畸變，圖像的質量較差，使圖像的灰度不均勻，容易形成虛假的果實邊緣和輪廓，給圖像的分析帶來較大的困難，因此需要對圖像進行濾波操作。對于濾波效果的檢驗，使用回歸數據預測計算模型，可以有效地提高濾波的精度，提高果實圖像的識別準確度。

假設果實的圖像是由灰度均勻的許多小塊圖像組成，圖像在相鄰位置具有較高的空間相關性；而噪聲是獨立疊加在圖像上，其均值為0。因此，可以利用圖像像素領域各像素的平均值代替原來的灰度值，實現圖像的平滑處理。假設某像素灰度值中心為f(i,j)，像素組成的點集為P，像素個數為N，利用鄰域方法進行濾波后，像素的f(i,j)輸出為

(1)

利用領域像素的平均g(i,j)代替了原理的灰度值f(i,j)，該方法可以有效地抑制噪聲，但同時也會使圖像變得模糊。為了盡量降低模糊造成的果實圖像失真，使用超限鄰域平均法，其表達式為

g(i,j)=

(2)

其中，T為設定閾值，當像素平均值超過領域平均一定值后，才能將其作為噪聲處理，否則不處理。為了進一步提高濾波的效果，將圖像進行拉普拉斯變換，實現圖像的二階邊緣檢測。拉普拉斯變換通過尋找圖像二階微分過零點來檢測圖像邊緣，經過微分算子形成了一個單峰函數，對函數進行微分，峰值處的微分值為0，峰值兩側的符號相反。在實際濾波過程中，首先對圖像進行高斯濾波，然后對濾波后的圖像二階求導，求導按照式(3)，則有

▽2[G(x,y)·f·(x,y)]

(3)

其中，f(i,j)為原圖像；G(i,j)為高斯函數。由微分和卷積交換順序可得

▽2[G(x,y)·f(x,y)]=▽2G(x,y)·f(x,y)

(4)

其中，▽2G(x,y)為拉普拉斯高斯算子。

(5)

其中，σ為關于原點對稱函數，其主瓣寬度為

(6)

在采摘數字圖像處理過程中，邊緣檢測信息容易丟失，會產生雙像素的邊緣，噪聲也會被加強。因此，可以使用Canny邊緣檢測對算法進一步加強，在噪聲抑制和邊緣檢測直接取得良好的平衡，其步驟為：

1)使用高斯濾波器進行濾波，然后將圖像中的噪聲去掉。

(7)

其中，f為濾波后的圖像。為了將果實圖像提取出來，對圖像進行閾值分割，利用二值化方法將圖像灰度值分別設置為255和0。假設全局閾值分割的原始圖像為f(i,j)，其閾值為T，通過圖像分割后可以得到

(8)

強閾值范圍內的像素值置為1，范圍外的像素值置為0，其表達式為

(9)

利用逐步回歸分析法對圖像處理的效果進行檢驗，其具體步驟如下：

步驟6：通過上述步驟，查看濾波后像素值是否可以引入或者剔除，通過逐步回歸數據挖掘的方法不斷迭代計算，當像素值無變量可引入，也無變量可剔除，計算結束；將所有標準化的量值轉換為回歸系數，求出常數項，回歸數據挖掘計算結束。

3系統測試

機器人視覺伺服系統可以自動計算果實中心，計算依據為上文中設計的回歸數據挖掘計算模型。為了驗證伺服系統計算的可靠性，在采摘機器人上安裝了伺服視覺系統，其作業過程如圖7所示。

圖7　采摘機器人采摘過程圖

圖7中，在機械手上安裝了高清相機可以對成熟果實圖像進行采集，將采集得到的圖像首先進行圖像處理，通過一系列計算可得到果實中心的提取結果，如圖8所示。

圖8　果實特征提取結果

圖8中，首先利用圖像濾波進行平滑處理，利用邊緣檢測得到果實的特征曲線；然后可以得到圖像具體位置的坐標值，利用坐標值確定果實位置中心，對果實進行準確定位。

表1為視覺伺服系統對果實中心進行計算得到的果實位置的結果。將計算中心位置和實測位置進行對比可以發現：實測位置和計算位置的吻合程度比較高，從而驗證了視覺伺服系統果實中心計算的可靠性。

表1　視覺伺服系統果實中心計算

續表1

4結論

1)為了實現采摘機器人路徑識別和準確抓取果實的功能，提高果實的自主識別和自主導航能力，提出了一種基于回歸數據挖掘計算的機器人伺服控制系統。該系統利用鄰域濾波、拉普拉斯變化和高斯濾波對圖像進行去噪處理，利用Canny算法提取果實的邊緣圖像，對果實目標的中心位置進行準確的計算，并使用回歸數據挖掘算法對圖像像素值進行篩選，提高了機器人目標識別的準確性。

2)對采摘機器人的視覺伺服系統進行了測試，通過測試得到了果實的中心位置坐標。將計算得到的中心位置坐標和實際測量得到的位置坐標進行對比發現，實測位置和計算位置的吻合程度較高，從而驗證了伺服視覺系統計算的可靠性。

參考文獻：

[1]賀瑤,王文慶,薛飛.基于云計算的海量數據挖掘研究[J].計算機技術與發展,2013,23(2):69-72.

[2]丁巖,楊慶平,錢煜明.基于云計算的數據挖掘平臺架構及其關鍵技術研究[J].中興通訊技術, 2013,19(1): 53-60.

[3]李凱,常征.基于云計算的并行數據挖掘系統設計與實現[J].微計算機信息,2011, 27(6):121-123.

[4]孫廣路,齊浩亮.基于在線排序邏輯回歸的垃圾郵件過濾[J].清華大學學報,2013, 53(5):734-740.

[5]劉波濤.基于粗糙集的數據挖掘算法的研究[J].中國西部科技,2011,10(14):11-12.

[6]胡劍策,吳國平.改進的遺傳BP 神經網絡數據挖掘算法及應用[J].微型機與應用,2011(2):30.

[7]儲兵,吳陳,楊習貝.基于RBF 神經網絡與粗糙集的數據挖掘算法[J].計算機技術與發展,2013,23(7):87-91.

[8]國剛,王毅.應用BP神經網絡迭代進行手寫體字母數字識別[J].人工智能及識別技術,2008,4(6):1459-1460.

[9]黃斌,許舒人,蒲衛.基于MapReduce 的數據挖掘平臺設計與實現[J].計算機工程與設計,2013,34(2):495-501.

[10]俞慶生.基于云平臺的邏輯回歸模型構建算法的設計與實現[J].科技通報, 2013,29(6):137-139.

[11]張建勛,古志民,鄭超.云計算研究進展綜述[J].計算機應用研究, 2010, 27(2):429-433.

[12]袁挺,紀超,陳英,等.基于光譜成像技術的溫室黃瓜識別法[J].農業機械學報, 2011,42(S1):172-176.

[13]馮青春,袁挺.黃瓜采摘機器人遠近景組合閉環定位方法[J].農業機械學報,2011,42(2):154-157.

[14]王仲民,戈新良,唐智強.多傳感器信息融合技術研究現狀和發展趨勢[J].河北工業大學學報, 2003,32(2):30-35.

[15]張鐵中,楊麗,陳兵旗,等.農業機器人技術研究進展[J].中國科學,2010,40(S1):71-87.

[16]宋怡煥,饒秀勤.基于DT-CWT 和LS-SVM 的蘋果果梗/花萼和缺陷識別[J].農業工程學報,2012,28(9):114-118.

[17]魏承,趙陽,田浩.空間機器人抓取漂浮目標控制研究[J].航空學報,2010,31(3):632-637.

[18]王津京,趙德安,姬偉,等.采摘機器人基于支持向量機蘋果識別方法[J].農業機械學報,2009,40(1):148-151.

[19]方勇純.機器人視覺伺服研究綜述[J].智能系統學報,2008,3(2):109-114.

[20]周昕,王小玉.機器學習在數據挖掘中的作用[J]. 電腦學習, 2010(3):93-94.

[21]李洪欣,楊建中.基于兩參數的表冷器建模方法研究[J].建筑熱能通風空調,2009,28(6):15-17.

[22]孟慶山.水源熱泵機組變流量水系統節能優化探討[J].制冷與空調,2010,10(1):84-89.

[23]謝志勇,張鐵中,趙金英.基于 Hough 變換的成熟草莓識別技術[J].農業機械學報,2007,38(3):106-109.

[24]王東,趙宇,王秀紅.一種改進的DFT迭代的MIMO-OFDM系統信道估計算法[J].應用科技,2009, 3(3):19-22.

[25]徐文穎,張靜,董建萍.導頻信道估計中的插值算法[J].上海師范大學學報,2007,12(6):41-46.

[26]陳暉,陳曉光.基于直接判決導頻跟蹤的OFDM系統快時變信道估計[J].通信學報,2006,9(27):1-5.

[27]李文見,姬江濤.輪履復合式農業機器人越避障控制研究[J].河南科技大學學報:自然科學版,2007(8):57- 59.

Research on Picking Robot Visual Servo Strategy—Based on Regression Data Mining

Song Jiahui1, Kong Lingmei2

(1.Department of Computer and Information Engineering,Guangxi Technological College of Machinery and Electricity,Nanning 530007, China;2.Information and Media Academy, Tianhe College of Guangdong Polytechnic Normal University，Guangzhou 510540, China)

Abstract：In order to realize the accurate grasp control of picking robot, realize the function of path recognition and autonomous navigation, a robot visual servo control system is proposed based on the regression data mining model. The robot visual servo system first uses the binocular camera to obtain the fruit image, then uses the Laplasse transform and Gauss filtering method to smooth and enhance the image processing, the image edge detection using Canny algorithm to detect and segment processing, complete image preprocessing. Image recognition, the feature extraction of the image, and the use of regression data mining method to test the filtering image, the center position of the fruit image is obtained by calculating the center position of the fruit. The test results can be seen from the test results, the center position of the fruit can be accurately calculated by using the visual servo system of the picking robot. The calculated center position and the measured position are found to be in good agreement with the measured position and location.

Key words：picking robot; regression algorithm; data mining; canny algorithm; gauss filter

中圖分類號：S225；TP391.41

文獻標識碼：A

文章編號：1003-188X(2016)12-0081-05

作者簡介：宋家慧(1978-)，女，山東蒼山人，講師，碩士。通訊作者：孔令美(1976-)，女，山東齊河人，講師，碩士，(E-mail)sjh70klm@sina.cn。

基金項目：廣西高校科學技術研究項目(LX2014550)

收稿日期：2015-09-16