基于機器視覺的蔬果輔助采摘裝置系統設計與優化

曹琨，張姍姍

河南牧業經濟學院信息工程學院（鄭州 450044）

人工采摘是我國傳統采摘方法，存在效率低、成本高、安全風險大等問題[1]，采摘果實就直接識別抓取果實，必須先使機器人準確地識別蔬果和枝條障礙，才能兼顧采摘成功率、損傷率以及采摘時間三個目標。

楊文亮等[2]提出了一種基于氣壓驅動的球狀果實采摘機器人末端執行器，其主要采用氣壓驅動兩平移手指夾持果實，再利用氣壓驅動旋轉刀片繞一側手指切割果柄，并分析了利用氣壓驅動實現果實夾持與果柄切割的優點，樣機自制零件結構工藝性好，外購零件標準化程度高。遲穎[3]對果蔬采摘機械手進行了設計，以PLC控制器作為控制中心，對果蔬采摘器工作提供程序命令，控制其末端執行器，果蔬收集裝置及移動裝置等實現果蔬采摘全自動化。王欣等[4]提出了一種以Kinect V2設備作為機器人的視覺部分來摘取果蔬的系統。采用Kinect V2視覺設備獲得空間的深度圖像，由相機的成像模型原理獲得果蔬的三維坐標，將數據傳遞給NAO機器人進行逆運動學分析，并對機器人抵達目標物進行路徑規劃和可行性分析，根據機器人和果蔬的三維空間相對位置關系，選取最佳的行走路徑和采摘策略。

前人的研究同時無法兼顧采摘成功率、損傷率以及采摘時間三個目標。為此，借鑒前人研究，結合機器視覺技術，研究一種綜合性能更高的蔬果輔助采摘裝置系統，以期提高蔬果采摘效率和質量。

1 基于機器視覺的蔬果輔助采摘裝置系統設計

1.1 蔬果輔助采摘裝置系統整體框架設計

基于機器視覺的蔬果輔助采摘裝置系統主要分為三部分，即前端機器視覺系統、中央控制系統和末端執行系統，如圖1所示。

圖1 蔬果輔助采摘裝置系統整體框架圖

1) 前端機器視覺系統，主要工作是采集蔬果圖像和路障圖像，從而識別蔬果目標以及進行避障處理。

2) 中央控制系統，主要任務是控制和協調整個系統的運行，包括工控機、伺服電機、驅動器以及控制電路等。

3) 末端執行系統，主要負責執行命令，執行設備具體包括移動平臺和采摘手兩個部分。移動平臺按照規劃路徑進行移動，達到指定地點后，采摘手根據采集到的圖像識別果蔬目標，完成采摘行為[5]。

1.2 系統硬件設計

1.2.1 前端機器視覺識別設備

機器視覺識別設備主要包括照明、鏡頭、相機、圖像采集卡、視覺處理單元、圖像分析單元、通訊、輸入/輸出等[6]。其中，鏡頭、相機是其中重要的圖像攝取裝置。系統中的鏡頭選擇日本Computer公司生產M0814-MP2。

為保證圖像的清晰度，系統中的攝像機選擇大恒公司的1394數字攝像機DH-HV1310FC/FM。該攝像機屬于1/1.8英寸逐行掃描CMOS，分辨率達到1 280×1 024萬像素，采集方式有連續采集、外觸發采集、軟觸發采集等多種方式，支持MONO8格式圖像輸出，支持10位緊湊格式輸出，支持任意AOI設置，支持多種開發工具，提供免費的SDK和豐富的二次開發實例[7]。

1.2.2 中央控制設備

中央控制設備中，主要有工控機、伺服電機、驅動器[8]。

1) 工控機。工控機是一種加固的增強型個人計算機，具有重要的計算機屬性和特征，起到中央控制的作用。系統中的工控機為DTB-1022-J1900，其特點是：Intel J1900芯片組；最大支持8 G內存；HDMI+VGA雙顯；1個Mini PCle插槽；8路GPIO；2個千兆網口；8個串口（2個485串口）；6個USB口（1個USB 3.0）；PS/2接口；12 V電源輸入。

2) 伺服電機。系統中選擇的伺服電機為輝盛Towerpro-MG995[9]，其特點是：速度，4.8 V@0.20 sec/60°和6.0 V@0.19 sec/60°；扭力，4.8 V@13 kg/cm和6.0V@15 kg/cm；電壓4.8～7.2 V；空載工作電流120 mA；堵轉工作電流1 450 mA；響應脈寬時間≤5 s；角度偏差，回中誤差0°，左右各45°，誤差≤3°；齒輪，5級金屬齒輪組。

3) 驅動器。系統中選擇的驅動器為VTS-400，具有良好控制面板設計、強大的電機適配能力、能夠兼容多種規格編碼器；豐富的擴展功能、豐富的通訊接口、豐富的多功能卡以及豐富的保護功能[10]。

1.2.3 末端執行設備

1) 移動平臺。蔬果輔助采摘裝置的移動需要依托移動平臺來執行。目前主要有履帶式和輪式兩種，兩種移動平臺各有特點，如表1所示[11]。

表1 兩種移動平臺特點

2) 采摘機械臂。采摘機械臂主要負責將末端機械手移動至果實相應的采摘點，主要由腰關節、肩關節、肘關節和腕關節組成，具有動作靈活、工作空間大等優點[12]。系統中所使用的采摘機械臂型號和參數如表2所示。

表2 采摘機械臂型號和參數

3) 末端采摘機械手。末端采摘機械手是系統最末端的部分，主要由夾持機構、切割裝置以及傳感器組成，負責完成采摘動作13]。系統中的末端采摘機械手采用德國SCHUNK公司生產的EVG JJ HUB100，其特點是：長行程50 mm，靈活搬運目標物體；抓取力控制范圍在24～57 N之間；預定位能力，縮短工作行程，減少周期時間；帶外部電子感應元件；型材導軌，精確搬運各種目標物體。

1.3 系統軟件設計

在VC++6.0中開發完成，首先利用前端機器視覺識別設備中的相機和攝像頭進行圖像采集，之后利用圖像采集卡將其轉換成一定格式的圖像數據流，傳輸到視覺處理單元，對圖像進行處理，然后將處理好的圖像在圖像分析單元中進行目標識別，最后根據結果指揮末端設備進行采摘操作[14]。

1) 攝像機標定子程序。攝像機標定的作用是求解相機內參數和外參數，以校正鏡頭畸變、確定相機的方位，是保證采摘成功的一道保障[15]。

建立標定需要的三個層次的坐標系統。世界坐標（xw,yw,zw）與攝像機坐標（x,y,z）之間的轉換。

式中：T是世界坐標系原點在攝像機坐標系中的坐標；R是正交旋轉矩陣。R滿足約束條件：

正交旋轉矩陣實際上只含有3個獨立變量Rx、Ry、Rz，再加上tx、ty、tz總共六個參數，它們決定了攝像機光軸在世界坐標系中的坐標，因此，這6個參數稱為攝像機的外部參數。

圖像坐標系與攝像機坐標系變換關系。攝像機坐標系中的一點在圖像物理坐標系（X,Y）中像點P坐標為：

其次坐標表示為：

將公式（4）圖像物理坐標系（u,v）進一步轉化為圖像坐系：

式中：u0、v0是圖像中心（光軸與圖像平面的交點）坐標；dx、dy分別為一個像素在X與Y方向上的物理尺寸；sx、sy分別為X與Y方向上的采樣頻率。

因此，可得物點p與圖像像素坐標系中像點pf的變換關系：

式中：fx、fy分別為X與Y方向的等效焦距；fx、fy、u0、v04個參數為攝像機的內部參數[16]。

世界坐標系與圖像坐標系變換關系。

轉化為齊次坐標為：

式中：M成為投影矩陣，是相機內參矩陣和相機外參矩陣的乘積。公式（8）是針孔模型或者中心投影的數學表達式。在攝像機內部參數確定的條件下，利用若干個已知的物點和相應的像點坐標，可以求解出攝像機的內部和外部參數[17]。

2) 圖像識別與定位子程序。

輸入采集蔬果圖像。轉換圖像的顏色空間。對圖像進行閾值分割。膨脹和腐蝕操作，利用腐蝕可以消除小顆粒噪聲形成的孤立噪點。

式中：B為簡單的集合形狀；I為要處理的目標圖片經過灰度變換產生的圖像；腐蝕運算為Θ。

膨脹可以使區域內的孔結構消失，常用于消除內部空洞。

式中：⊕為膨脹運算。

Canny目標蔬果圖像邊緣檢測。隨機Hough圓檢測，分離出敏感的圖像特征。立體匹配。獲取蔬果目標三維坐標[18]。

3) 導航子程序。

攝像機初始化。采集導航路面圖像。選取RGB顏色空間，提取2G-R-B色差分量。RGB模型可以建立在空間直角坐標系里，將R作為y軸，G作為x軸，B作為z軸，RGB顏色空間可以表示為空間中的一個封閉正方體，變邊長為0～255。Otsu算法對圖像進行閾值分割。形態學開運算、閉運算去除噪聲。圖像周圍加黑色邊框。區域標記保留最大連通區域。計算圖像中路面中心點族坐標，繪制路面中心線。

改進Rough變換，結合最小二乘法，檢測導航中心線。計算橫向偏差和航行偏差。換算成移動平臺行進速度。主控制器向移動平臺發送電機轉速信號。是否達到目的地，若到達，完成此次導航；若沒有到達，則需要回到步驟2，重新進行導航，指導準確待待采摘地點[19]。

4) 抓取子程序。首先啟動線程，給伺服電機上電，然后控制末端采摘機械手靠近要采摘的蔬果，指導上面的觸覺傳感器感應到已經碰觸到目標物的信號，這時機械手開始發力，抓取目標物，切割完成后，收縮推桿到初始位置，打開機械手，使蔬果實放入到指定的收集框內，最后復位末端機械手，結束整個線程[20-21]。

2 系統采摘性能測試與分析

為測試此次基于機器視覺的蔬果輔助采摘裝置系統是否能夠同時兼顧采摘成功率、損傷率以及采摘時間三個目標，進行蔬果采摘測試分析。

2.1 采摘裝置樣機

按照正文蔬果輔助采摘裝置系統設計方案，得到的蔬果輔助采摘裝置實物如圖2所示。

2.2 實驗環境與參數設置

為全面測試該系統的采摘質量，采摘蔬果參數設置如表3所示[22]。

圖2 蔬果采摘裝置樣機

表3 采摘蔬果參數設置

2.3 攝像機標定

按照正文方法，進行攝像機標定，標定結果如表4所示。

表4 攝像機標定結果

2.4 設計目標設定

系統設計目標設定如表5所示。

表5 目標設定

2.5 結果分析

1) 準確識別率。結果如表6所示。

表6 準確識別率

2) 定位誤差。從10種采摘蔬果中各選一種，測定其定位誤差，結果如表7所示。

表7 定位誤差

從表6和表7中可以看出，該系統完全達到了準確識別率和定位誤差目標，解決了由于識別率不高或識別后定位精度不高導致后續采摘質量不高的問題。

從圖3可以看出，在枝條末尾部分有分叉現象，即擬合曲線與實際的位置曲線距離有變大趨勢。由于蔬果的生長特性，越靠近蔬果枝條末端，蔬果生長狀況越差，果實變小，果梗變短。實際試驗中采用平均長度的方式進行擬合時，在靠近枝條末端時藍色曲線會在紅色曲線下端，即蔬果上移的距離大于實際距離。在靠近枝條根部時情況相反。

圖3 現場數據三維效果圖

3) 綜合得分。從表8可以看出，單目標采摘成功率、采摘損傷率、單個目標平均采摘時間不僅達到了目標，而且超額完成。綜合采摘性能得分為9.23分，證明了該系統在采摘性能上的優秀性，完全兼顧了采摘成功率、損傷率以及采摘時間三個目標。

表8 綜合得分

3 結語

結合機器視覺技術，在前人研究經驗的基礎上，進行了蔬果輔助采摘裝置系統設計與優化研究。該系統初步具備自主采摘能力，但是由于蔬果采摘測試未在實際環境中進行，因此得到的測試結果具有一定的局限性，今后可以深入研究復雜環境下蔬果采摘，提高采摘裝置系統的通用性與智能性。