基于機器視覺核桃大小分級系統的軟件設計

劉 航， 郭俊先， 王 勇， 周 軍， 郭 政， 蔡 建

(1.新疆農業大學機械交通學院，新疆烏魯木齊 830052； 2.新疆維吾爾自治區農牧業機械產品質量監督管理站，新疆烏魯木齊 830000)

核桃原產于中亞，別稱胡桃、羌桃、合桃，是胡桃科核桃屬多年生落葉喬木，有“木本油料王”之稱。作為世界上重要的堅果樹種之一，核桃在我國的種植歷史悠久，我國核桃栽培面積和總產量均居世界第一[1-2]。但核桃的分級技術還很落后，基本依靠果農或者機械式分級，效率低、誤差大，同時也造成了一定的勞動力和果品浪費。當前利用機器視覺技術對農產品和工業產品進行檢測和分級是國內一大熱點。顧勇等通過VC++和Matlab的混合編程設計了一種由圖像獲取系統、圖像處理系統和圖像識別系統組成的機器視覺啤酒瓶檢測系統[3]。李苗等在Windows XP環境下采用Visual C++6.0開發出工具，完成了基于機器視覺的方便面分類檢測系統中圖像采集模塊、圖像處理模塊、學習模塊及其他模塊的設計[4]。為實現馬鈴薯的實時檢測和分級，鄧立苗等提出了根據形狀、綠皮和缺陷的外觀檢測以及分級方法，并基于Visual C++集成開發環境實現了對馬鈴薯外觀品質的實時檢測和分級[5]。本研究通過對大恒水星系列面陣CCD相機MER-030-120UC進行二次開發，并利用OpenCV圖像處理軟件編寫圖像處理程序，構建以VS 2010為開發平臺的核桃大小分級系統軟件。

1 核桃大小分級機系統簡介

1.1 系統組成

基于機器視覺的核桃大小分級機系統如圖1所示，主要由動力系統、核桃輸送系統、圖像采集與視覺檢測系統、分級控制與執行部件四大部分組成。其中動力系統包括1.1 kW交流調速電機、減速機、變頻器、電氣控制柜、鏈輪與傳動軸等；核桃輸送系統主要由仿形托輥、固定軸、鏈條等組成；圖像采集與視覺檢測系統由大恒水星系列面陣CCD相機MER-030-120UC彩色相機、日本Computer公司生產的CBC-0814MP 8 mm定焦鏡頭、高亮度LED條形光源、光電接近開關、計算機以及基于OpenCV2.4.9開發的圖像處理程序組成；分級控制與執行部分由PLC控制器、繼電器、三極管、電磁閥以及提供空氣動力的空氣壓縮機組成。

1.2 系統工作流程

核桃大小分級系統流程如圖2所示，當放置在仿形托輥上的核桃通過圖像采集區域時，光電接近開關發送圖像采集命令，相機接收圖像采集命令開始采集核桃的RGB圖像，然后傳送至計算機，通過計算機上編寫好的圖像處理軟件對采集到的核桃圖像進行處理，并將圖像處理后得到的核桃大小等級信息發送給PLC控制器，控制器將分級信號發送到分級執行機構，通過電磁閥的動作將對應等級的核桃吹落至相應的收集盒中，從而完成核桃大小分級的過程。

2 相機的二次開發

通過相機生產廠商提供的軟件開發工具包(SDK)，用戶可以通過接口庫直接調用相應的庫函數來實現圖像采集和相機參數設置等功能。

2.1 MER-030-120UC相機主要接口

相機的主要接口函數包含2個方面，即主功能接口和圖像處理函數接口。主功能接口包括打開相機、采集圖像、控制相機等接口，圖像處理接口主要包括Bayer數據轉換接口。表1展示了2個主要接口中的包含文件與靜、動態鏈接庫。

表1 相機主要接口文件

2.2 圖像采集與相機控制

2.2.1 配置編程環境 本套軟件的編制是基于Windows 7.0操作系統中的編程開發工具Microsoft Visual Studio 2010。在VS 2010編程工具中創建基于名稱為Walnut_Judge的MFC對話框應用程序，然后點擊菜單欄中工程屬性命令，在彈出的屬性頁面中將GxIAPI.h和DxImageProc.h文件所在目錄路徑添加到附加包含目錄中，將GxIAPI.lib和DxImageProc.lib這2個文件添加到鏈接器的常規附加庫目錄，在鏈接器輸入下拉列表的附加依賴項中填寫GxIAPI.lib和DxImageProc.lib這2個文件，從而完成編程環境的配置。

2.2.2 圖像采集的具體實現 根據相機生產廠商提供的開發工具包，對相機的控制操作主要包括獲取設備基本信息、相機的開啟與關閉控制、觸發模式設置、采集速度設置、白平衡和圖像保存設置等方面。相機的采集流程如圖2所示。

通過相應的UI界面初始化函數InitUI()將軟件上的控件初始化，同時在新建的MFC界面中完成圖像顯示、圖像處理函數的初始化。本軟件中對相機的控制主要包括對設備開啟與關閉的控制、觸發模式控制、相機基本參數設置、白平衡以及圖像保存等部分。

圖像采集與相機控制過程的主要實現代碼如下：

GX_STATUS WalnutJudgeDlg：：InitDevice()

void WalnutJudgeDlg：：DrawImg()

void WalnutJudgeDlg：：InitUI()

WalnutJudgeDlg：：OnFrameCallbackFun(GX_FRAME_CALLBACK_PARAM* pFrame)

{WalnutJudgeDlg*pDlg = (WalnutJudgeDlg*)(pFrame->pUserParam)；

if (pFrame->status==0)

DxRaw8toRGB24()；

pDlg->DrawImg()；

pDlg->MatImageProcess(nHeight，nWidth，pDlg->m_pBufferRGB)；

pDlg->ShowMatImage()；

pDlg->SaveImage()；

}

程序運行結果如圖3所示。

3 圖像處理具體實現

目前對類似于核桃這種圓形或者長圓形農產品的研究比較豐富[6-12]。在學習早期研究者處理方法的基礎上，通過對相機采集的核桃RGB圖像進行中值濾波、閾值分割、形態學處理、圖像填充、繪制輪廓、查找最小外接矩形等方式完成對核桃外部輪廓的繪制，成功提取核桃果體面積上像素點個數與橫徑尺寸特征。

將OpenCV2.4.9的靜態鏈接庫加入到VS 2010開發工具中，在程序WalnutGradar頭文件中加入OpenCV圖像處理的頭文件，即可進行圖像處理程序編寫。

圖像處理的主要流程包括以下6個部分：(1)相機原始RAW圖像轉化為MAT類型數據。(2)圖像灰度轉化并進行中值濾波降噪處理。(3)選擇合適的閾值上下限進行自適應閾值處理提取圖像邊界輪廓。(4)進行形態學腐蝕膨脹處理，去除邊界圖像內的孔洞。(5)利用填充函數對二值圖像內的孔洞進行填充。(6)尋找核桃二值圖像內的輪廓邊界并繪制，通過確定輪廓點坐標位置，繪制最小外接矩形。

根據以上算法流程，編寫程序關鍵代碼如下：

2018年，既是改革開放40周年，又是卡博特來華30周年。朱戟對此由衷地表示：“卡博特非常榮幸成為中國改革開放這一里程碑式篇章中的親歷者、參與者和受益者。所有卡博特海內外的員工，都對中國及上海這40年的成就嘆為觀止，由衷地欽佩。卡博特也對能在這40年中對中國的發展作出微薄的貢獻，深感榮幸與驕傲。”

WalnutJudgeDlg：：MatImageProcess(VxUint32 Height，VxUint32 Width，BYTE *pBuffer)

{

m_MatImage=Mat(Height，Width，CV_8UC3，pBuffer)；

Mat m_GrayImage，element；

cvtColor(m_MatImage，m_GrayImage，COLOR_BGR2GRAY)；

blur(m_GrayImage，m_GrayImage，Size(3，3))；

adaptiveThreshold(m_GrayImage，m_GrayImage，maxValue，adaptivMetheod，theresholdType，blockSize，C)；；

element=getStructuringElement(MORPH_ELLIPSE，Size(40，40))；

erode(outImage，outImage，element)；

dilate(outImage，outImage，element)；

findContours(outImage，contours，g_vHierarchy，CV_RETR_LIST，CV_CHAIN_APPROX_NONE)；

drawContours(resultImage，contours，-1，Scalar(255)，2)；ShowMatImage()；

}

從圖2相機采集工作流程圖可看出，圖像處理程序位于回調函數OnFrameCallbackeFun中。因此，可以通過將圖像處理的函數寫入回調函數中來完成采集圖像的處理過程。圖像處理界面顯示結果如圖4所示。

4 系統核桃大小分級測試試驗

4.1 試驗樣本與實測數據

本試驗所用樣本來自新疆阿克蘇地區，試驗核桃品種為新新二號核桃。按照核桃質量等級標準GB/T 20398—2006 《核桃堅果質量等級》[13]并結合新新二號核桃的實際情況，將新新二號核桃按照質量和橫徑分為一等品(質量≥12 g，橫徑≥33.0 mm)、二等品(10 g≤質量<12 g，橫徑≥31.5 mm)、三等品(8 g≤質量<10 g，橫徑≥30.5 mm)。人工選取3個等級，每個等級50個新新二號核桃。由于核桃輪廓所在面的表面積計算比較困難，所以選擇用核桃輪廓區域的像素數作為核桃大小評判的指標之一[14]。通過對相機的標定，計算核桃各等級對應的矩形短邊D，同時設定核桃輪廓面積像素數M的閾值，建立如表2所示的核桃大小分級評判標準。

表2 核桃大小分級閾值

表3顯示的是利用核桃大小分級軟件測得的150個核桃的大小特征(面積像素數M、矩形短邊D)以及實測質量與橫徑數據。

4.2 分級結果分析

通過核桃大小分級軟件對150個核桃分級結果和人工檢測分級結果進行對比，結果如表4所示。

表3 核桃實測數據和圖像處理計算值對比

從表4可以看出，人工分級和通過本視覺系統軟件識別的一致性較高，總分級準確率為88%。通過本視覺系統軟件對核桃進行等級識別時，一等品和二等品核桃識別率較高，但對三等品核桃分級準確率比較低。通過分析發現，在對核桃進行分級時，有些達到一等品或者二等品評判條件的核桃，由于其內部缺陷(如生蟲、霉變、果仁萎縮)導致其質量降低后被人工判定為三等品核桃，從而致使本視覺軟件無法對其進行準確判定。

表4 核桃大小分級結果

5 結論

通過VS2010編程開發工具將大恒水星系列相機MER-030-120UC的二次開發和OpenCV圖像處理程序相結合，完成了基于機器視覺的核桃大小分級系統軟件設計。試驗驗證該分級系統所設計的軟件對核桃大小的分級準確率為88%，可以為后期進一步完善基于機器視覺的核桃大小分級提供支撐。

[1]馮連芬，呂芳德，張亞萍，等. 我國核桃育種及其栽培技術研究進展[J]. 經濟林研究，2006，24(2)：69-73.

[2]王 冰，裴新民，李忠新，等. 我國核桃初加工現狀及發展前景的分析研究[J]. 中國農機化學報，2010(5)：43-49.

[3]顧 勇，何明昕. 基于機器視覺的啤酒瓶檢測系統研究[J]. 計算機工程與設計，2012，33(1)：248-252.

[4]李 苗，康戈文，張中越，等. 基于機器視覺的方便面分類檢測系統設計[J]. 可編程控制器與工廠自動化，2013(3)：78-83.

[5]鄧立苗，杜宏偉，徐 艷，等. 基于機器視覺的馬鈴薯智能分選方法與實現[J]. 中國農機化學報，2015，36(5)：145-150.

[6]李景彬，鄧向武，坎 雜，等. 基于機器視覺的干制紅棗大小分級方法研究[J]. 農機化研究，2014(2)：55-58.

[7]王巧華，文友先. 基于BP神經網絡的雞蛋大小分級方法研究[J]. 湖北農業科學，2005(1)：97-99.

[8]施 健，何建國，張 冬，等. 基于計算機視覺鮮棗大小分級系統研究[J]. 食品與機械，2013，29(5)：134-137.

[9]安愛琴，余澤通，王宏強. 基于機器視覺的蘋果大小自動分級方法[J]. 農機化研究，2008(4)：163-166.

[10]展 慧，李小昱，王 為，等. 基于機器視覺的板栗分級檢測方法[J]. 農業工程學報，2010，26(4)：327-331.

[11]Kemps C J，Bamelis F R，de Ketelaere B，et al. Non-destructive freshness assessment of shell eggs using FT-NIR spectroscopy[J]. Journal of the Science of Food and Agriculture，2006，86(9)：1399-1406.

[12]周 平，趙春江，王紀華，等. 基于機器視覺的雞蛋體積與表面積計算方法[J]. 農業機械學報，2010，41(5)：168-172.

[13]王文德，王 貴，張軍寬，等. 核桃堅果質量等級 GB/T 20398—2006[S]. 北京：中國標準出版社，2006.

[14]莫亞子，段佳歡，沈 斌，等. 基于面積的獼猴桃大小分級檢測算法[J]. 電子世界，2014(10)：257-258.