基于機器視覺的水果分揀系統

盧勇威

（廣西職業技術學院，廣西南寧530226）

新產品開發

基于機器視覺的水果分揀系統

盧勇威

（廣西職業技術學院，廣西南寧530226）

為了解決人為分揀水果質量低、效率差等問題，提出了基于機器視覺的水果智能分揀方法。通過高速相機對傳送線上的水果圖像進行采集，并采用圖像處理等算法獲得水果的形狀、顏色等特征量，得出水果的等級。然后由PLC控制并聯機器人動作對水果進行分級。

水果分揀；圖像處理；PLC；并聯機器人；分級

目前，國內對水果品質的檢測大部分還是傳統的人工檢測，這種人工檢測是通過人為的感官對水果的質量好壞進行判斷。這種檢測方法判斷出來的水果質量良莠不齊，而且效率低下。隨著社會的發展，人工成本的提高，對水果分揀智能化提出了更高的要求[1]。因此實現水果分揀智能化在高速發展的農業現代化進程中顯得尤為重要。

傳統工業機器人已經可以代替人工對大部分的產品進行搬運。但基于示教或離線編程的工業機器人，對運動產品的擺放和工作的環境都有嚴格的要求，而且這種方法并不能對產品的質量進行識別。工業機器人要在生產線中進行分揀抓取，就需要在工業機器人基礎上構建機器視覺系統，使得機器人具有相似于人眼的功能。擁有視覺系統的機器人通過高速相機和圖像處理算法[2]，即可分辨出水果的好壞等級以及水果在流水線中的精確位置。

1 水果分揀系統的組成及原理

本文以并聯機器人為主體，對基于機器視覺的水果分揀系統研究，如圖1所示。水果分揀系統主要由相機、圖像采集卡、工控電腦、PLC、傳送帶和并聯機器人組成。其中相機和PLC均使用以太網傳輸與工控電腦相連，PLC再通過以太網與并聯機器人通訊從而控制機器人動作[3]。系統的軟件由自主設計的分揀控制平臺及MOTOCOM動態鏈接庫構成。

圖1 水果分揀系統結構示意圖

系統的工作原理為：水果在傳送線1上不斷地進入分揀區域，在對射傳感器感應到水果后，計算機對連續高速地拍照的相機進行控制，然后高速相機將采集到的圖像上傳到計算機進行分析運算，通過分析分揀目標的運動軌跡、識別水果的等級差異、變換水果的坐標等信息，從而實現工業機器人分揀動作。1號機器人負責把形狀大的水果放在傳送線2，2號機器人負責把形狀小的水果放在傳送線3，其中程序將顏色不同的水果定為劣質品，機器人將不會撿取該水果，劣質水果會在傳送線1上送進廢品箱，如圖2所示。

圖2 水果分揀系統控制流程圖

2 基于視覺系統的水果等級辨別

2.1 機器視覺軟件設計

本項目以VC開發為工具，并聯機器人的機器視覺軟件是在對Sherlock軟件進行二次開發上形成，軟件框圖如圖3所示。采用VC自主開發的程序主要完成數據轉換與存儲、人機界面、輸入輸出、視覺算法等功能，嵌入的Sherlock軟件主要完成圖像增強、圖像選擇、邊緣提取[4]、測量分析等功能，如圖3所示。

圖3 機器視覺軟件框圖

以識別柑橘為例，機器視覺軟件開發的步驟如下：

（1）首先，構建MFC的工程項目，并在工程中添加DLL文件，組建VC工程和Sherlock的連接：#import“C：SherlockinIpeEngCtrl.dll”.

（2）將IpeDspCtrl控件添加到工程對話框中，并添加相應變量m_Display.IpeDspCtrl控件是Sherlock開發的VC、VB二次開發工具，界面友好，主要用于VC、VB編程環境接收Sherlock所采集的圖像。

（3）為保證機器視覺軟件的實時運行，建立后臺運行的與Sherlock相鏈接的類m_Engine：

m_Engine.CreateInstance（CLSID_Engine）；

m_Engine-＞EngInitialize（）；//后臺運行Sherlock；

m_pEvents=new CEngEventSink（this）；

m_pEvents-＞AddRef（）.

（4）在工程對話框中鏈接Sherlock所采集的圖像：

I_ENG_ERROR nRet=m_Engine-＞Inv-Load（“Simple0.ivs”）；

m_Display.ConnectEngine（m_Engine-＞GetEngineObj（））；

m_Display.ConnectImgWindow（“imgA”）；//載入Sherlock采集圖像Simple0.ivs.

（5）對Sherlock所采集圖像，在工程對話框中進行分析處理，如視覺算法、特征提取、數據傳輸、數據轉換、數據儲存等，實現運動視頻的定位、自動分級與追蹤。

（6）完成機器視覺處理之后，退出后臺運行的Sherlock：

m_Engine-＞InvModeSet（I_EXE_MODE_HALT）；//退出線程

m_Engine-＞EngTerminate（）；//退出Sherlock.

2.2 相機標定

本系統使用的相機是美國的Cognex相機，型號為7402C.該型號的相機分辨率為1 280*1 024，視覺傳感器的類型是CMOS傳感器。通過以太網接口將相機與計算機連接，即可實現數據的傳輸。在視覺系統的開發過程中，相機的標定是該系統的關鍵步驟，其目的是建立起二維坐標系和三維世界坐標系之間的關系。可以依據高速相機標定的結果，目標在機器人坐標系中的位置可從目標在圖像中的位置運算出來。相機標定方法使用的是直接線性法（DLT）[5]，在該方法的基礎上同時考慮成像過程中的非線性因素，再通過最小二乘法計算出相機模型的參數。利用Matlab實現了直接線性法標定后，再用實驗對標定結果進行了確認。該標定結果使得分揀系統可以較精確的定位場景中的目標，為后續的目標跟蹤及機器人抓取提供了基礎。

2.3 圖像處理

在相機實際收集的水果圖像的過程中，由于受到相關因素的影響，在水果圖像中會存在噪聲，導致圖像質量低，分級效果差。所以在視覺系統的研究中要進行圖像的預處理去噪。本系統的圖像去噪使用了均值濾波器處理的方法。均值濾波器用濾波掩膜確定的鄰域內像素的平均灰度值[6]，并將其代替圖像中的每個像素點的灰度值，從而達到消除噪聲的效果。

2.4 等級辨別

該水果分揀系統所使用的水果是柑橘，對水果等級劃分針對了水果的表面顏色與大小這一項目進行研究，而水果的缺陷，整齊度等指標不在這次的研究范圍內。水果等級劃分的定義中，將大而紅的水果定為一等品，將小而紅的水果定為二等品，將綠色的水果定為劣等品。圖像采集界面如圖4所示。

圖4 圖像采集界面

2.4.1 水果大小特征

判斷水果的大小，這里涉及到面積的運算，使用的方法是把讀取圖像的像素轉化為面積。首先是作幾何標定，利用標定后的結果來換算出水果的面積大小。面積單位為mm2.

步驟如下：

（1）將被測水果置于分揀區域內，對準相機鏡頭，調好焦距，設鏡頭到被測物上方的高度為H.

（2）在分揀區內放一片已知長度為a寬度為b的黑色長方形片狀物，使該片狀物距離鏡頭的高度為H，用軟件抓拍下該片狀物保存好。已知面積為S=a*b.

（3）計算出圖像中長方形的黑色像素個數記為N1.

（4）可計算單位標定面積為N1/S1個像素/mm2.

設要求提取水果的果身面積像素為N，水果的實際面積就是S=N*S1/N1.通過面積的大小即可判斷水果的大小。

2.4.2 水果顏色特征

顏色特征一直是判斷水果好壞的重要特征。目前顏色的圖像處理技術較常用的有RGB（紅、綠、藍）模型和HSI（飽和度、色調、亮度）模型[7]，其中HSI比較符合人們描述以及解釋顏色的方式，用HSI模型的色度圖像當成水果顏色的特征參數，所以將相機拍到的RGB圖像轉化為HSI圖像分析。利用函數庫Open CV，提取感興趣通道就可以實現R、G、B和H、S、I通道的提取合成操作。

3 PLC與并聯機器人的控制

本系統的PLC使用的是西門子型號為S7-1500的PLC.CPU位指令處理時間最短可達1 ns，集成具有不同IP地址的標準以太網口用來和計算機和并聯機器人進行數據傳輸。機器人使用的是ABB的并聯機器人，型號為IRB 360-3/1130.其最大運動直徑為1 130 mm，負載能力為3 kg，重復定位精度可達到0.4 mm.

機器人在對水果位置標定后，將位置信息通過以太網傳送給PLC，所用的通訊協議為Modbus TCP協議。PLC在得到計算機處理過后的水果信息后，將水果位置與等級進行處理。然后分別將指令發送給1號機器人與2號機器人，機器人收到指令后自行選擇程序進行動作。

4 結束語

本文主要闡述機器視覺在水果分揀應用中所使用的算法和方式，使用直接線性法對攝像機進行標定、用均值濾波器處理圖像的噪聲、用幾何標定的方法確定水果的大小和HSI模型確定水果的顏色。構建本系統的研究思路在成功的聯機實驗中得證實，同時也表明了相關理論對實際應用的指導意義。

[1]焦恩璋，杜榮.工業機器人分揀技術的實現[J].組合機床與自動化加工技術，2010（02）：84-87.

[2]唐健.基于機器視覺的機器人分揀技術研究[D].南京：南京林業大學，2011.

[3]黃永林，應義斌.用于水果實時分級系統的同步跟蹤自動控制裝置[J].農業工程學報，2002（04）：163-166.

[4]饒秀勤.基于機器視覺的水果品質實時檢測與分級生產線的關鍵技術研究[D].杭州：浙江大學，2007.

[5]王宇新.基于特征分布的圖像識別方法研究與應用[D].大連：大連理工大學，2012.

[6]劉振宇，趙彬，鄒風山.機器視覺技術在工件分揀中的應用[J].計算機應用與軟件，2012（11）：87-91.

[7]王迥波.基于圖像識別的運動目標檢測與跟蹤系統[D].大連：大連理工大學，2009.

Fruit Sorting System Based on Machine Vision

LU Yong-wei
（Guangxi Polytechnic，Nanning Guangxi 530226，China）

In order to solve the fruit sorting with low quality and poor efficiency，this paper presents a method for intelligent sorting fruit based machine vision.We used high-speed camera collect image from transmission line. And use of image processing algorithms to obtain fruit shape，color and other characteristics amount so that we can inferred the level of the fruit.And then control the parallel operation of fruit grading by the PLC.

fruit sorting；image processing；PLC；parallel robot；classification

TP242

A

1672-545X（2017）03-0163-03

2016-12-05

《基于現代農業智能技術的高職機電類專業和實訓基地建設的研究與實踐》（編號：桂教職成（2015）22號，重點-1）

盧勇威（1971-），男，廣西南寧人，研究生，副教授，研究方向為智能控制技術。