基于視覺識別的自動采摘裝置

周傳鑫 徐昊成 杜鵬飛 梁楷奇 韓 放

（河南科技大學機電工程學院，河南洛陽 471003）

在果樹種植業中，對水果的采摘質量要求較高。據不完全數據統計，各品類水果采摘期間，采摘的勞動力成本約占整個水果種植成本中的50%左右，水果的采摘質量容易受到果農的操作影響，最終影響成品的經濟效益和市場價格。

水果采摘裝置的專利在國家專利備案中很多種，包括電動式、機械式、氣動式等。根據采摘方向又分為定向采摘和全方向采摘。但是，完成商業轉化的專利數量偏少且價格昂貴。

完全依靠人力采摘的工作效率低、勞動強度大，高枝作業還具有一定危險性。因此，實現水果采摘機械化、智能化、經濟化具有重要的現實意義。

1 系統總體設計

1.1 視覺相機的選擇和使用

視覺相機的主控選用STM32F411 MCU，視覺識別模塊選用了OpenCV，并集成OV7725攝像頭芯片。視覺識別相機選用面陣CCD工業3D相機，作為工業級圖像采集裝置，配置300萬的ccd攝像頭。

人工檢測雖然可以實現普通的水果表面檢查，但對于有快速采摘要求的果品時，大面積的采摘作業將會導致人工采摘面臨疲勞作業，降低勞動效率，增加作業時間。

基于視覺識別的水果采摘裝置，優勢在于集成裝置的電子控制不會因工作時間過長而疲勞，并且可以根據不良品的多維度邊界特征，在系統中引入新的算法，提高檢測速度和檢測質量。文章提出的自動采摘裝置所具有的信息打印功能，在檢測到表面瑕疵后，自動識別當前瑕疵的圖像、大小等信息，并反饋至移動端，在手動控制設備進行采摘操作的同時，還可控制采摘質量，提高優產率[1-2]。

視覺相機如圖1所示。

圖1 視覺相機

1.2 視覺相機五大硬件檢測要求

（1）照明方式：前向照明。此方式可使光源和攝像機位于被測物的同側，照明裝置安裝方便且便于拆卸，還可有效減小設備總體積。

（2）工業鏡頭的選型依據：

視場角=所需分辨率×亞像素×相機尺寸/零件測量公差比

鏡頭選擇需要注意目標高度、影像高度、焦距、影像至目標的距離、放大倍數、中心點/節點以及畸變。

（3）面陣CCD。

（4）攝像頭接口：圖像為黑白雙色傳輸；接口選擇通用的PCI或AGP兼容捕獲卡，可以將圖像迅速傳送到計算機存儲器，進行圖像識別處理。

（5）視覺處理器：系統處理器與視覺處理器整合于一體。

1.3 剪枝結構的設計和方案敲定

剪枝結構的設計方案有兩種。第一種為電子控制。優點在于通過電控的方式操作控制桿在直線上完成抓取動作。控制手柄可以通過藍牙信號傳輸控制前端機械手爪的運動。因控制桿具有一定硬度，不易受枝杈影響，所以不需要考慮結構長度是否會影響到手爪的運動效果。但電子控制缺點也較為明顯，即低電量狀態下無法使用，需要攜帶足夠的備用電池，并且在有電磁干擾的環境中可能會影響信號的傳輸。第二種為機械手爪設計。優點在于通過尼龍繩連接手爪和控制手柄，結構簡單且較為穩定。缺點在于結構設計會導致機械手爪的長度受限。綜合以上兩種方案，剪枝結構最終選擇第一種。

采用42步進電機控制兩個刀片對水果枝條進行剪切，對兩片刀身同一端進行固定，呈“剪刀狀”。剪枝結構的電控設計如圖2所示。深色刀片固定在步進電機，而淺色刀片則固定在電機軸上，與電機軸共同運動，從而實現剪切水果枝條的效果。

圖2 剪枝結構的電控設計

1.4 水果下落的緩沖管道設計

管道外部包圍材料使用柔性紗網型材料，在足夠長的紗網型管道設置3～4節緩沖區，緩沖區帶有柔性橡膠，選擇彈性系數較為合適的合成橡膠使水果能夠安全平穩地落到分類果筐中[3]。

1.5 分類果筐設計

水果的品類和大小通過視覺相機識別，分類果筐將根據數據庫中設定的參數值對比相機識別后提供的數據。單片機將會控制分類果筐，打開相應的果筐欄，水果沿著斜坡滾下，掉落至閥門開啟的果筐欄，提高了水果分類效率，并且視覺相機可根據圖像判斷水果是否有腐爛、表面瑕疵等情況，將判定結果為“差”的水果篩選出去。

2 智能控制系統設計

2.1 單片機主控選型

主控選用Arduino 的Mega 2560 單片機。Arduino Mega 2560 的微控制器是ATmega 2560，IO口54（15個IO口可以作為PWM輸出），模擬輸入端口16個，uart串口4個，運行頻率達到16 MHz。燒錄程序時可以使用USB接口，使用ICSP頭進行數據傳輸。與其他開發板相比，Arduino所處的開發環境簡單，資料齊全，開源性強，采用Arduino能夠有效地提高設計人員的編程速度。

分類果筐結構與系統運行流程分別如圖3、圖4所示。

圖3 分類果筐結構

圖4 系統運行流程

2.2 視覺識別邏輯

（1）算法（預處理算法、檢測算法）：圖像采集完成后，系統優先對圖像進行預處理操作，保證圖像的對比度清晰，方便后續圖像處理。算法處理方面，選用圖像變換和圖像增強兩種算法，以檢測水果的表面質量和尺寸大小。

（2）使用常用的視覺檢測軟件庫：OpenCV。其功能算法相對較多，代碼開源，可商用，但開發周期較長，部分特殊算法還需技術人員單獨設計實現。OpenCV是基于（開源）發行的跨平臺計算機視覺庫，能夠流暢運行在各操作系統中。OpenCV的核心量級輕且高效，由C語言及C++語言編寫，能夠實現圖像處理和計算機視覺方面的多種通用算法。OpenCV的主要接口也是C++語言。數據庫含有大量的Python、Java 和E語言接口。

2.3 藍牙模塊設計

藍牙模塊選用SKB501（BLE5.0），該模塊基于nRF52840方案實現，具有性能良好、功耗低、接收靈敏度高、傳輸距離遠等特點，且產品可滿足快速編輯需求，能夠更好地服務用戶需要。

nRF52840 SoC以nRF52系列SoC的架構為基本框架，支持單芯片方案無法實現的復雜低功耗藍牙和其他低功耗無線應用。與4.2版本的低功耗藍牙方案相比，nRF52840能夠提供4倍覆蓋范圍以及2倍傳輸速率的低功耗藍牙無線連接性能，nRF52840全面支持5.0 傳輸，并且還集成了Thread、802.15.4、ANT和專有2.4GHz無線通信技術，全速USB 3.0控制器，涵蓋4 種SPI 接口的大量新外設（類似EasyDMA等）。該模塊可廣泛應用于高級信號傳輸設備以及IoT物聯網設備。使用該模塊能夠更好地滿足通信方面的要求，提高通信速度。

3 結語

基于視覺識別的水果采摘裝置的應用，有利于提高果品采摘質量，降低果農工作強度。通過藍牙模塊控制的剪枝裝置能夠實現無線控制，使機械手臂能夠自由伸縮的同時，兼具穩定性和可控性，適合采摘多種高枝水果。