基于機器視覺的半干棗病害和裂紋識別研究

李運志，Qiang Zhang，陳弘毅，黨曉輝，李新崗，胡耀華

(1.西北農林科技大學 a.機械與電子工程學院；b.林學院，陜西 楊凌　712100；2.加拿大曼尼托巴大學 生物系統工程系,溫尼伯　R3T 5V6；3.陜西圣華農業科技股份有限公司，西安　710000)

?

基于機器視覺的半干棗病害和裂紋識別研究

李運志1a，Qiang Zhang2，陳弘毅1a，黨曉輝3，李新崗1b，胡耀華1a

(1.西北農林科技大學 a.機械與電子工程學院；b.林學院，陜西 楊凌712100；2.加拿大曼尼托巴大學 生物系統工程系,溫尼伯R3T 5V6；3.陜西圣華農業科技股份有限公司，西安710000)

摘要：研究提出了一種基于機器視覺的病害和裂紋的識別方法。在H分量圖中，依據半干棗在病害和非病害區域色調值差異提取病害區域，以提取的病害區域與棗表面積的比作為閾值確定較高的病害面積識別精度，可正確識別的感興趣病害面積為16.87mm2，占棗投影面積的3.3%。為進一步提高在該病害面積識別精度的正確率，依據已確定的病害面積比閾值，將病害面積比值二值化，結合紅棗區域顏色特征值H的均值和均方差，用SVM方法建立棗病害的識別模型，訓練集和測試集的識別正確率分別為95.77%和95.79%。在I分量圖中，對紅棗區域進行Otsu’s閾值分割、圖像局部屬性統計和形態學處理，提取裂紋二值圖像，依據裂紋圖像不變距方法建立裂紋識別模型，訓練集和測試集的識別正確率分別為94.90%和94.55%。

關鍵詞：棗；機器視覺；病害；裂紋；缺陷；支持向量機

0引言

據《中國林業統計年鑒》，2013年全國年產紅棗4.315 6×109kg，占世界棗種植面積和產量的98%以上[1]。為提高紅棗產品質量和附加值，減少因不能及時、有效的商品化處理帶來的損失，應進一步對其黑斑、霉變、裂紋等表面缺陷，以及非正常果形、顏色的紅棗進行分級鑒定。目前，主要依靠人工分級，工作量大、生產效率低、分級成本高[2]。因此，迫切需要尋找高效、快速的紅棗缺陷檢測手段。

基于機器視覺對紅棗的分級檢測中，國外主要對椰棗形狀、裂紋及硬度方面進行了研究[3-6]。國內，楊福增等采用基于小波變換的多尺度邊緣檢測和數學心態學相結合的方法檢測紅棗十字裂溝[7]。趙杰文提取H分量的均值和均方差作為紅棗的顏色特征值,利用支持向量機識別缺陷紅棗[8]。肖愛玲等統計病害棗圖像各彩色分量的灰度值、灰度變化范圍及標準差，對彩色分量進行篩選，采用自適應閾值法和圖像形態學方法，分割出病蟲害區域[9]。這些研究的分級效果較好，但對病害區域的分級精度未進行進一步討論，而裂紋則嚴重影響到紅棗的外觀商品性和品質，所以對裂紋紅棗的檢測剔除非常重要。

本研究根據新疆紅棗加工企業對半干棗病害、裂紋的分級自動、快速、準確的需求，研究完熟后的半干棗病害、裂紋的分級鑒別技術，主要研究目標為：1)在HIS顏色空間中，統計紅棗正常部分的H值范圍，并提取非正常的病害區域，結合H分量的均值和均方差建立紅棗病害的識別模型；2)在紅棗I分量圖中，針對紅棗區域閾值提取裂紋區域，對裂紋部分參數量化建立紅棗裂紋的識別模型。

1材料與圖像采集系統

1.1　實驗材料

本研究以新疆紅棗的主導品種的駿棗和灰棗為材料。實驗材料為清洗后、烘干前由人工分揀的半干駿棗和灰棗，真空包裝后從新疆棗區運回實驗室，選擇病害棗163個、裂紋棗148個、正常棗352個作為樣品進行圖像采集。

1.2　圖像采集系統

圖像采集系統由相機、計算機、光源及暗箱等組成，如圖1所示。采用維視圖像的FT-RD200漫反射圓頂光源，布于相機鏡頭正下方；暗箱各壁面涂以銀白色漆，底面用經磨砂過的白色打印紙覆蓋；相機采用維視圖像的MV-EM200C工業相機，配以AFT-1214MP工業鏡頭，像素為1 600×1 200，視場為86.7mm×65mm，幀率為40fps，直接以GigE千兆以太網口與計算機相連。

圖1　紅棗圖像采集系統

2棗病害、裂紋提取及識別方法

2.1　圖像預處理

圖像預處理過程如圖2所示。對獲取的原圖像進行灰度化，用Otsu’s閾值分割法對棗圖像進行分割，find函數尋找棗邊界[10]，去除原始圖像邊界得到棗合適輪廓圖；采用中值濾波(10×10算子)的方法對紅棗圖像進行濾波操作；隨后用分割出紅棗模版乘以紅棗I分量圖，并僅在紅棗區域內進行Otsu’s閾值，得到紅棗外圈光環和其它褶皺反光點并依據圖像局部屬性標記紅棗外圈光環；由第1次紅棗分割圖減去紅棗外圈光環得最后紅棗分割圖，極大程度上消除了因為光照、果形、底板反射光等因素造成的紅棗外圈光環的影響。

圖2　 圖像預處理

2.2　紅棗病害區域及識別參數提取

受黑斑病、炭疽病、縮果病等感染的紅棗果肉松軟，果皮變褐色、霉變、無光澤，易破裂剝落[11-14]。鑒于病害的顏色特征，本文在HSI顏色空間中，通過實驗統計出非病害棗的H值范圍來提取出病害區域，然后計算病害區域面積與最后分割紅棗面積的比值；提取紅棗區域H的均值和均方差作為紅棗的顏色特征值；用提取病害區域面積比值、H均值和均方差作為病害棗的識別參數。

從視覺角度而言，顏色包含了HSI(又稱HSL)顏色模型中的3個要素：色相(Hue)、飽和度( Saturation )和亮度(Intensity)。色相是一種顏色區別于另一種顏色的要素,如通常所說的紅、綠、藍、黃等；飽和度就是顏色純度；亮度即光的強度。為了用HSI顏色模型檢測紅棗顏色，需將攝像機獲取圖像的R、G、B成分轉換為HSI值[15]。

依據HSI顏色模型，非病害紅棗的色度覆蓋在300°～0°或0°～60°這個大范圍區間[15]。為進一步準確確定非病害紅棗的色度范圍，隨機選取20個非病害紅棗圖像，每張圖選取20個大小約為20×20像素的色塊，算得每個色塊的H均值，提取的單個紅棗的20個色塊，由400個H均值統計得非病害紅棗色度范圍，如圖3所示。依據這個范圍逐行掃描紅棗H分量圖，提取紅棗病害區域，圖4顯示了3個病害棗的提取病害區域效果；然后，計算病害區域面積與最后分割紅棗面積的比值，并提取紅棗區域的H分量的均值和均方差。

圖3　非病害棗樣本塊H均值統計

圖4　病害區域提取

2.3　紅棗病害的識別

病害區域面積與最后分割紅棗面積的比值是判斷病害有無和嚴重等級的重要參數。隨機選擇120個病害棗和353個非病害棗作為訓練樣本，統計病害面積比如圖5所示；然后，找出病害和非病害棗的病害面積比的閾值，再用測試集驗證閾值的識別效果。從病害區域提取效果看，雖然在預處理中，第1次紅棗分割圖減去紅棗外圈光環得最后紅棗分割圖，極大程度上消除了因為光照、果形、底板反射光等因素造成的紅棗外圈光環的影響；但部分裂紋、光滑、褶皺等非病害棗的病害區域提取區域仍是極細的光環或是細小噪點，需要確定適當的病害區域面積與最后分割紅棗面積的比值來確定是否病害及病害程度。同樣，病害面積比也反映著病害程度，依據已確定病害面積比閾值正確識別出病害棗，并進一步逐個對樣本由人工提取感興趣的病害面積，以避免部分病害提取區域的極細光環或細小噪點對結果的影響，求取其真實面積，查看病害的分級精度。為進一步提高由病害面積比閾值確定的分級精度的準確率，將病害面積比值依據病害面積比閾值二值化，并提取紅棗區域H的均值和均方差作為紅棗的顏色特征值，將該3個值作為病害識別模型的輸入量。又因為以紅棗色調平均值與色調均方差作為特征值采用普通的線性方法是無法識別正常棗和病害棗[8]，因此需要用非線性模式識別方法來判斷棗顏色是否為正常,從而判斷是否為病害棗。支持向量機能很好地解決非線性識別的問題[ 16-17]，本研究采用臺灣大學林智仁教授等開發的SVM模式識別與回歸的軟件包LIBSVM，在MatLab2010環境下來識別由病害面積比閾值確定的分級精度下的病害棗[10]。

圖5　120個病害和353個非病害棗的缺陷面積比值統計

2.4　紅棗裂紋區域及識別參數提取

棗裂紋位置和形狀大多為沿棗縱徑方向的細長形或環繞棗兩端的環形。從顏色上來看，裂紋位置處的紅色比正常部位較深；從I分量圖上看，裂紋位置處亮度值低于正常部位。因此，可通過I分量圖像的閾值分割，將裂紋提取出來，再從提取的裂紋的形態特征獲取裂紋的識別參數，如圖6所示。

首先將經過上述預處理后的紅棗RGB圖像轉換成HIS圖像并獲取I分量圖；在I分量圖中僅對紅棗區域進行Otsu’s閾值分割，獲得裂紋分割圖像，如圖6(c)所示。由于受紅棗裂紋自身及棗表面光滑程度影響，部分棗的閾值分割圖像中的裂紋有斷裂和其它噪點，經過對裂紋寬度的數據分析，絕大多裂紋的寬度是10～20像素寬。先以半徑為10的圓形結構元素對裂紋分割圖像進行閉運算，既能連接裂紋斷裂處，又避免把閾值分割圖像的噪點連通起來；再計算裂紋分割圖像中各單連通區域的局部屬性，以單連通區域的長度值最大者為裂紋特征，提取裂紋二值圖。圖5顯示了3個裂紋棗和2個正常褶皺棗的裂紋提取效果。圖像旋轉不變性對于圖像識別很重要，因此采取了不變矩(Invariant Moments)來描述裂紋的形狀特征。不變矩是一種高度濃縮的圖像特征，具有平移、灰度、尺度、旋轉不變形[18-19]。

圖6　裂紋區域提取

1副M×N的數字圖像f(i,j)，其p+q階中心矩upq的表達式為

(1)

(2)

為消除圖像比例變化帶來的影響，定義規格化中心矩為

(3)

利用二階和三階規格化中心矩導出7個不變矩組，它們在圖像平移、旋轉和比例變化時保持不變[18]。

2.5　紅棗裂紋的識別

觀察圖5中提取的裂紋特征，可以將其分為3大類：對于裂紋棗，提取的裂紋多為細長形，中間可能有小的間斷；對于褶皺較小或光滑棗，提取的裂紋多為零星幾個小點，數目較少，或者什么都提取不到；對于褶皺較厲害棗，提取的裂紋多為分布集中的多個較短細長形。

文中采用了裂紋二值圖像的不變距來描述裂紋圖像形狀特征，具有平移、旋轉和縮放的不變性。先由裂紋二值圖像獲得7個不變矩組，因為7個不變矩組作為特征值采用普通的線性方法無法識別裂紋棗、褶皺和光滑棗，因此需要用非線性模式識別方法來判斷是否為裂紋棗。本研究采用臺灣大學林智仁教授等開發的SVM模式識別與回歸的軟件包LIBSVM在MatLab2010環境下來識別裂紋棗。

3實驗結果與分析

本實驗采用上述方法先對棗病害進行識別檢測，將163個病害樣本分為訓練集120個，測試集43個；將148個裂紋樣本和352個正常樣本歸為非病害樣本，并分成訓練集353個(裂紋106個，正常247個)及測試集147個(裂紋42個，正常105個)。首先，獲取訓練集樣本的病害面積比，當從病害區域提取圖中算得的病害面積比大于設定的閾值時，判定為病害果；若小于設定的閾值時，則判定為非病害果。如圖5測試集的120個病害和353個非病害棗的缺陷面積比值統計所示：當病害面積比閾值為0.08±0.01范圍內時，對病害棗和非病害棗的正確識別率都在80%以上。取閾值為0.08時，訓練集的正確率為 92.6 %，測試集的正確率為91.58 %，如表1所示。同時，在該閾值下，人工逐個提取樣本病害棗的感興趣病害區域，統計感興趣病害區域像素點，得最小感興趣區域面積。如圖7所示，得到圖4第2個病害棗投影面積像素點為174 005像素，統計感興趣病害區域像素點為5 751像素。由圖像采集系統的相機的像素和視場可以得出：每個像素點所占面積為0.002 934mm2，則在該閾值下，病害面積識別精度為 16.87mm2，占棗投影面積的3.3%，滿足甚至高于流水線分揀精度要求。而當閾值在0.08～0.09之間時，對非病害棗的識別正確率會有提高，但此時人工提取的感興趣病害區域面積變大，降低了病害面積識別精度；當閾值在0.07～0.08之間時，對非病害棗的識別正確率會有變小，降低了病害分級準確率。為進一步提高閾值為0.08分級精度下的分級準確率，將病害面積比值依據病害面積比閾值二值化，并提取紅棗區域H的均值和均方差作為紅棗的顏色特征值，作為支持向量分類模型輸入量。支持向量機核函數為多項式函數，錯誤懲罰參數c=0.16，多項式核函數最高次項數d=3，核函數參數g=3，訓練集的回判準確率為95.77 %，預測集的預測準確率為95.79 %，其結果如表1所示。對棗裂紋進行識別檢測時，將148個裂紋樣本分為訓練集106個，測試集42個；將352個正常樣本分為訓練集247個，測試集105個。基于裂紋不變矩的識別方法將裂紋二值圖的7個不變矩組作為支持向量機分類模型輸入量。支持向量機的核函數為sigmoid函數，錯誤懲罰參數c=0.8,核函數參數g=30,訓練集的回判準確率為94.90%，預測集的預測準確率為94.55%，如表2所示。

圖7　感興趣病害區域提取圖

由表1可知：基于缺陷面積比閾值的分級方法測試集中，對已確定的分級精度下的病害棗的識別率可達100%，而對非病害棗的識別率只有89.12%。其主要誤差來源于部分非病害棗邊緣部位凹陷、果形異常、顏色輕微褐紅，在光照下形成反光引起色調的變化，導致誤以為缺陷區域提取出來。而基于支持向量機識別模型，在已確定病害面積比閾值的分級精度下，提取紅棗區域H的均值和均方差作為紅棗的顏色特征值，從色調的整體趨勢和離散程度增強病害和非病害的識別效果。最終實驗結果也表明：增加了紅棗區域H的均值和均方差兩個參量，測試集中病害棗的識別率為97.67%，非病害棗的識別率也達到95.24%，而最終測試集190個紅棗的檢測正確率達到了95.79%，表明該分級方法不僅保證了較高的分級精度也保證了較高的分級準確率。

由表2可以看出：基于裂紋不變距的分級方法的測試集中，非裂紋棗的識別率為96.19%，高于裂紋棗的識別率90.47%。其誤差主要由于采集樣本圖像時部分棗的裂紋在邊緣，因光照原因提取的裂紋不全。這也是后續數據處理的關鍵，今后可以從光源和機械傳到方面對圖像采集步驟改進。

表1　紅棗病害的識別結果

表2　紅棗裂紋的識別結果

4結論

1)對紅棗圖像中值濾波后，I分量圖像中在紅棗區域里兩次自動閾值，分離出紅棗外圈光環，很大程度上消除了光照、果形及底板反射光等因素對紅棗圖像的影響。

2)在H分量圖中，依據病害和正常區域色調值差異提取病害區域，以較高的病害分級精度，結合紅棗區域顏色特征值H的均值和均方差，用支持向量機識別模型檢測棗的病害，正確率達95.79 %。

3)在I分量圖中，對紅棗區域進行Otsu’s閾值分割、圖像局部屬性統計和形態學處理，提取裂紋二值圖像，選取裂紋二值圖像7個不變矩組為特征參數，分級正確率為94.55%。

4)基于機器視覺的半干棗病害和裂紋識別方法可行，可進一步用在半干棗外部品質的在線檢測，將病害和裂紋棗剔除，可減少病害霉變的持續，提高紅棗烘干的合格率和品級。

參考文獻：

[1]李明利.紅棗業:深加工成就大未來[J]. 農產品加工,2014(6):60-61.

[2]張惠,賈首星,鄭炫,等. 紅棗各階段分級設備應用現狀[J]. 江蘇農業科學,2014,42(2):341-343.

[3]Lee D J, Schoenberger R, Archibald J, et al. Development of a machine vision system for automatic date grading using digital reflective near-infrared imaging [J].Journal of Food Engineering,2008,86(3):388-398.

[4]Ohali Y A. Computer vision based date fruit grading system: Design and implementation [J]. Journal of King Saud University - Computer and Information Sciences, 2011, 23(1): 29-36.

[5]Al-Rahbi S, Manickavasagan A, Al-Yahyai R., et al. Detecting Surface Cracks on Dates Using Color Imaging Technique [J]. Food Science and Technology Research, 2013 , 19(5): 795-804.

[6]Manickavasagan A, Al-Mezeini N K, Al-Shekaili H N. RGB color imaging technique for grading of dates [J].Scientia Horticulturae, 2014, 175(15): 87-94.

[7]楊福增,王崢,韓文霆,等.基于小波變換的紅棗裂溝的多尺度邊緣檢測[J].農業工程學報, 2005, 21(6):92-95.

[8]趙杰文,劉少鵬,鄒小波,等. 基于支持向量機的缺陷紅棗機器視覺識別[J].農業機械學報, 2008,39(3):113-115,147.

[9]肖愛玲,黃新成. 基于彩色分量的駿棗病蟲害檢測方法[J]. 農機化研究,2014,36(2):142-146.

[10]張錚.精通Matlab數字圖像處理與識別[M].北京：人民郵電出版社，2013：197-219.

[11]王蘭,馮宏祖,熊仁次,等. 新疆紅棗病蟲害發生現狀及對策[J]. 中國植保導刊, 2014 (6):73-75.

[12]孫兆軍. 棗黑腐病的發病癥狀及防治措施[J]. 煙臺果樹,2009(1):54-55.

[13]趙素風. 棗縮果病發病規律及防治研究進展[J]. 內蒙古林業調查設計,2010(6):94-96.

[14]王金紅，姜秀華，侯軍銘，等.棗炭疽病的發生規律與防治技術[J].河北林業科技,2009(3):122-123.

[15]趙海波，周向紅. 基于計算機視覺的番茄催熟與正常熟識別[J].農業工程學報，2011，27(2)：355-359.

[16]丁世飛,齊丙娟,譚紅艷. 支持向量機理論與算法研究綜述[J].電子科技大學學報,2011,40(1):2-10.

[17]王小川.Matlab神經網絡43個案例分析[M].北京：北京航空航天大學出版社，2013：102-179.

[18]趙小川.MatLab圖像處理—能力提高與應用案例[M].北京：北京航空航天大學出版社，2014：1-17.

[19]孔彥龍,高曉陽,李紅玲,等. 基于機器視覺的馬鈴薯質量和形狀分選方法[J].農業工程學報, 2012, 28(17):143-148.

Detection of Diseases and Cracks of Semi-dried Dates Based on Machine Vision

Li Yunzhi1a, Qiang Zhang2, Chen Hongyi1a, Dang Xiaohui3, Li Xingang1b, Hu Yaohua1a

(1.Northwest A&F University a.College of Mechanical and Electronic Engineering； b.College of Forestry,Yangling 712100,China; 2.Department of Biosystems Engineering, University of Manitoba, Winnipeg R3T 5V6, Canada; 3.Xi’an Senwas Agricultural Science & Technology corporation, Xi’an 71000,China)

Abstract：Diseases and cracks are the common defects of red dates and they severely reduce the quality of red dates. The objective of this study was to determine the effectiveness of a computer vision system with RGB color camera in detecting the diseases and surface cracks in red dates. Firstly, on the basis of the difference in the tone value between the diseased and non-diseased areas in the H diagram, diseased area was extracted, and the extracted disease area to total surface area ratio was used as the threshold to achieve a high precision in identifying the diseased area. The test results of 163 diseased red dates and 500 non-diseased dates showed that more than 16.87mm2diseased area could be correctly identified, accounting for 3.3% of the projected area of a red date. The rates of correct recognition for the training set and the test set were 92.60% and 91.58%, respectively. To further improve the accuracy, the extracted diseased area to the surface area ratio was converted to the binary format. Combining with the mean and variance of color features of the red dates, an SVM (support vector machine) model was developed to detect red date diseases. The correct detection rate was 95.77 % for the training data set and 95.79 % for the test data set. In the I diagram, Otsu’s threshold method was firstused to segment the regions on date surface, and then statistical and morphological methods were used to segment the crack regions and generate binary images. Using the invariant of cracks in the crack binary images, a crack recognition model was established. The adequacy of the model was tested on a data set of 500 samples, including 148 cracked dates and 352 non- cracked dates. For training data set, the detection rate was 94.9%. For the test data set, the detection rate was 94.55%. The results showed that it was feasible to use the machine vision for disease and crack identification of semi-dried dates. The method could potentially be used for on-line detection of external quality of semi-dried dates.

Key words：red date; machine vision; disease; crack; defect; support vector machine

中圖分類號：S126;TP391.41

文獻標識碼：A

文章編號：1003-188X(2016)08-0120-06

作者簡介：李運志(1991-)，男，湖北黃岡人，碩士研究生，(E-mail)qiaozhi1991@163.com。通訊作者：胡耀華(1973-)，女，江西奉新人，教授，(E-mail)huyaohua@nwsuaf.edu.cn。

基金項目：國家“十二五”科技支撐計劃項目(2013BAD20B03)；西安圣華農業科技股份有限公司合作項目(2014)；陜西省科技統籌項目(2013KTZB02-03)；陜西省科技統籌創新工程項目[(2013KT(G01-12)]

收稿日期：2015-07-20