基于機(jī)器視覺(jué)與支持向量機(jī)的核桃外部缺陷判別分析方法

劉 軍，郭俊先,*，帕提古麗·司拉木，史建新，張學(xué)軍，黃 華

（1.新疆農(nóng)業(yè)大學(xué)機(jī)械交通學(xué)院，新疆 烏魯木齊 830052；2.新疆阿克蘇市農(nóng)牧機(jī)械管理局，新疆 阿克蘇 843000）

基于機(jī)器視覺(jué)與支持向量機(jī)的核桃外部缺陷判別分析方法

劉 軍1，郭俊先1,*，帕提古麗·司拉木2，史建新1，張學(xué)軍1，黃 華1

（1.新疆農(nóng)業(yè)大學(xué)機(jī)械交通學(xué)院，新疆 烏魯木齊 830052；2.新疆阿克蘇市農(nóng)牧機(jī)械管理局，新疆 阿克蘇 843000）

使用3CCD高精度面陣相機(jī)采集新疆多個(gè)品種核桃RGB圖像，設(shè)計(jì)一種自適應(yīng)雙閾值的Otsu法，快速、準(zhǔn)確地分割出缺陷區(qū)域；基于分割區(qū)域的幾何、紋理等20 個(gè)初始特征，轉(zhuǎn)換為新的9 維特征向量集；以該特征集為輸入，建立基于貝葉斯、BP神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)的15 個(gè)識(shí)別模型，對(duì)比評(píng)價(jià)其適應(yīng)性，以及裂縫、碎殼、黑斑3 類(lèi)核桃外部缺陷的識(shí)別性能與時(shí)間。結(jié)果表明，基于徑向基的支持向量機(jī)識(shí)別模型效果最好，對(duì)3 類(lèi)缺陷的驗(yàn)證集平均識(shí)別率分別為93.06%、88.31%、89.27%，對(duì)缺陷的總識(shí)別率為90.21%，平均識(shí)別時(shí)間為10－4s級(jí)。研究成果能夠用于今后核桃缺陷的在線(xiàn)檢測(cè)與分級(jí)，同時(shí)也為堅(jiān)果等其他作物品質(zhì)的在線(xiàn)檢測(cè)識(shí)別提供一定參考。

核桃；機(jī)器視覺(jué)；外部缺陷；支持向量機(jī)；識(shí)別

核桃營(yíng)養(yǎng)豐富，在生長(zhǎng)、采收、運(yùn)輸和貯存過(guò)程中，由于自然和人為的因素容易造成核桃的外部缺陷。根據(jù)標(biāo)準(zhǔn)GB/T 20398—2006《核桃堅(jiān)果質(zhì)量等級(jí)》，核桃的外部缺陷主要表現(xiàn)為核桃殼的破損（裂縫、碎殼）、蟲(chóng)孔、黑斑（殘留青皮或單寧氧化、病蟲(chóng)害造成的黑斑）等特征[1]。一方面，破損與蟲(chóng)孔缺陷使核桃仁直接暴露于外部環(huán)境，不僅容易氧化變質(zhì)，而且在水洗等加工過(guò)程中還易受到不干凈水等的污染；黑斑不僅影響核桃的外觀品相及等級(jí)，還容易因吸濕而霉變。另一方面，我國(guó)核桃品種繁多，品種間核桃果顏色、紋理、形狀、殼厚等的不同，其易產(chǎn)生的缺陷類(lèi)型、形狀以及缺陷與果面正常區(qū)域的差異性不同。所有這些因素不僅為核桃儲(chǔ)存、加工質(zhì)量控制與食品安全構(gòu)成威脅，還對(duì)缺陷果的識(shí)別造成一定困難。因此，在核桃的生產(chǎn)和加工過(guò)程中，如何快速而準(zhǔn)確地對(duì)這些缺陷進(jìn)行識(shí)別并處理，將從源頭上解決部分問(wèn)題，并為核桃產(chǎn)業(yè)的自動(dòng)化、智能化與集成化提供部分技術(shù)支持。

機(jī)器視覺(jué)技術(shù)是用機(jī)器代替人眼，結(jié)合圖像處理、模式識(shí)別算法，在堅(jiān)果快速實(shí)時(shí)在線(xiàn)自動(dòng)檢測(cè)系統(tǒng)的應(yīng)用已經(jīng)有了長(zhǎng)足的進(jìn)展。可見(jiàn)光波段圖像的堅(jiān)果外部特征或瑕疵的定性、定量判斷效果明顯，一些研究成果轉(zhuǎn)化為檢出設(shè)備。另一些研究用機(jī)器視 覺(jué)技術(shù)針對(duì)核桃等堅(jiān)果的性狀、缺陷檢測(cè)與分級(jí)展開(kāi)。其中，Ercisli[2]、Chen Linnan[3]等用機(jī)器視覺(jué)技術(shù)先后對(duì)土耳其10 個(gè)品種、我國(guó)35 個(gè)品種的核桃，結(jié)合其果長(zhǎng)、果寬、殼厚、縫合線(xiàn)、紋理等特性，用簡(jiǎn)單序列重復(fù)（simple sequence repeats，SSR）標(biāo)記等方法總結(jié)各品種的性狀特征，為我國(guó)與土耳其核桃品種的標(biāo)準(zhǔn)化種植、識(shí)別、分級(jí)、加工與品種間遺傳特性的研究提供基礎(chǔ)性參考；展慧等[15]基于機(jī)器視覺(jué)結(jié)合企業(yè)現(xiàn)行標(biāo)準(zhǔn)，為提取的山核桃長(zhǎng)軸、最大橫涇、面積分別賦予25%、35%、40%的權(quán)值，給出了山核桃分級(jí)方法，該法單果平均處理時(shí)間為0.83 s，適合于山核桃在線(xiàn)分級(jí)。以上研究，根據(jù)不同品種核桃的幾何、紋理等特征，提出了正常核桃果的處理辦法，對(duì)于缺陷核桃果的判別分析需要進(jìn)一步研究。此外，等目前已利用機(jī)器視覺(jué)技術(shù)對(duì)阿月渾子、板栗、澳洲堅(jiān)果、榛子等堅(jiān)果的外部缺陷與分級(jí)進(jìn)行了研究[4-20]；研究者[21-26]分別采用X射線(xiàn)、太赫茲光譜、近紅外光譜、電子鼻、高光譜等技術(shù)，識(shí)別檢測(cè)核桃空仁、蟲(chóng)害、機(jī)械損傷，板栗霉變，桃果冷害等缺陷特征，對(duì)堅(jiān)果在線(xiàn)無(wú)損檢測(cè)技術(shù)的發(fā)展提供研究依據(jù)。

綜上，針對(duì)核桃等堅(jiān)果的缺陷檢測(cè)已展開(kāi)大量研究，并取得相應(yīng)成果。而在核桃深加工之前，在滿(mǎn)足工業(yè)在線(xiàn)檢測(cè)對(duì)單位處理時(shí)間與識(shí)別精度指標(biāo)的前提下，如何實(shí)現(xiàn)核桃正常果與缺陷果的判別分析，作為核桃食品工業(yè)化加工的基礎(chǔ)研究問(wèn)題被提出來(lái)；其次，用機(jī)器視覺(jué)技術(shù)檢測(cè)核桃外部缺陷，相對(duì)于其他無(wú)損檢測(cè)技術(shù)具有成本控制、快速、高效等優(yōu)點(diǎn)。本實(shí)驗(yàn)擬基于機(jī)器視覺(jué)技術(shù)，通過(guò)高精度3CCD（charge-coupled device）面陣相機(jī)采集正常與缺陷核桃6 個(gè)方向的RGB圖像，設(shè)計(jì)一種自適應(yīng)雙閾值圖像分割方法分割核桃的缺陷區(qū)域，提取原始20 個(gè)特征信息，轉(zhuǎn)換為9維最優(yōu)特征空間，并作為識(shí)別模型的輸入集，對(duì)比貝葉斯、BP（back pr opagation）神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)3 種識(shí)別模型對(duì)核桃外部缺陷的識(shí)別效果，最終選擇出識(shí)別率高、穩(wěn)定性好、識(shí)別處理速度快的模型，以適應(yīng)于今后核桃果的快速在線(xiàn)檢測(cè)與分級(jí)。

1 材料與方法

1.1 材料

核桃樣本按照GB/T 20398—2006規(guī)定貯存[1]，研究主要針對(duì)常見(jiàn)的破損與黑斑缺陷。其中，破損缺陷被進(jìn)一步劃分為破裂（即裂縫，包括I型、L型、T型與十字型裂縫）與破碎（碎殼、T型碎殼），而黑斑缺陷主要為側(cè)面、側(cè)面尾部、尾部3 個(gè)部位的青皮殘留，各核桃外部缺陷如圖1所示。

圖1 各核桃外部缺陷圖像Fig.1 External defects of walnuts

核桃樣本采用市售一年新核桃，包括產(chǎn)自新疆阿克蘇的新新2號(hào)、溫185號(hào)和產(chǎn)自新疆喀什的新豐8號(hào)共600 個(gè)樣本。其中新新2號(hào)裂縫與碎殼特 征樣本各150 個(gè)（黑斑為伴隨特征，且部分樣本含多種缺陷），溫185號(hào)與新豐8號(hào)正常樣本各150 個(gè)。

1.2 儀器與設(shè)備

像采集系統(tǒng)，結(jié)構(gòu)如圖2所示。主要包括AT-200CL 3CCD面陣相機(jī)（有效像元：1 236×1 628，像元尺寸：4.4 μm×4.4 μm，CCD：1/1.8″ITCCD×3-ICX274AL，幀頻：20，工作溫度：－5～50 ℃） 丹麥JAI公司；LM35CLS 3CCD彩色面陣相機(jī)專(zhuān)用鏡頭（焦距：35 mm，成像尺寸：?30，光圈范圍：F2.8～F22，變形率：0.06%） 日本Kowa公司；數(shù)字Camera Link系列X64-Xcelera-CL PX4 Dual圖像采集卡（像素時(shí)鐘：最大85 MHz，像素位深：8、10、12、14、16，總線(xiàn)：PCIe×4，幀存：128 MB）、科視自動(dòng)化公司HRL-180SW LED低角度環(huán)形光源、光源控制器、計(jì)算機(jī)（Lenovo Think Centre M6100t計(jì)算機(jī)Pentium，英特爾雙核E5500/2.80 GHz） 德國(guó)Dalsa公司。

圖2 圖像采集系統(tǒng)Fig.2 Image acquisition system

1.3 方法

1.3.1 圖像采集方法

核桃表面顏色多為棕色或淺棕色，為獲取高信噪比核桃RGB圖像，突出核桃表面正常區(qū)域、缺陷區(qū)域、背景之間的差異，預(yù)實(shí)驗(yàn)確定白色卡紙作為采集背景。實(shí)驗(yàn)對(duì)單個(gè)核桃樣本采集了6 幅RGB圖像，分別為側(cè)面以核桃縫合線(xiàn)所在平面水平放置為基準(zhǔn)面，以90°為間隔的4幅圖像，和極面以橫徑垂直于水平面，果梗朝上和花萼朝上2 幅圖像。采集圖像類(lèi)型為24 位Tif格式RGB圖像，分辨率1 200×1 600 pixels，空間分辨率約0.265 mm/pixel。

1.3.2 圖像預(yù)處理和分析

圖像的預(yù)處理是為了去除或抑制噪聲，以達(dá)到凸顯特征信息的目的。在研究中，通過(guò)對(duì)比中心分別為－4、－8、－12、－16的二階拉普拉斯算子對(duì)RGB圖像銳化處理效果，如圖3所示。

圖3 4 種拉普拉斯算子銳化效果對(duì)比圖Fig.3 Comparison of 4 types of Laplace operators to sharpen image

由圖3可見(jiàn)，中心為－8的算子銳化效果較明顯，不僅能讓特征邊界等細(xì)節(jié)更加明顯，讓黑斑特征一定程度的“退化”，從而區(qū)別于破損特征，而且銳化產(chǎn)生的疊加噪點(diǎn)相對(duì)較弱，其表達(dá)式為：

式中：f（x,y）為輸入RGB圖像；g（x,y）為增強(qiáng)后RGB圖像。將增強(qiáng)后的核桃RGB圖像分別映射到HSI、HSV、YUV（YCbCr）等顏色空間，對(duì)比提取的各顏色分量，采用YUV顏色空間的Y分量噪聲弱化明顯，目標(biāo)區(qū)域突出，如圖4所示。

圖4 HSI、HSV、YUV顏色空間各分量效果對(duì)比圖Fig.4 Comparison of components of color-space HSI, HSV and YUV

最后采用3×3掩膜對(duì)Y分量中值濾波進(jìn)一步去噪，整個(gè)預(yù)處理流程如圖5所示。

圖5 圖像預(yù)處理流程Fig.5 Flow chart of image preprocessing

1.3.3 模式識(shí)別方法與分析

模式識(shí)別是所有無(wú)損檢測(cè)技術(shù)的核心部分，為了找到分類(lèi)準(zhǔn)確度、效率滿(mǎn)足在線(xiàn)要求的缺陷識(shí)別分類(lèi)器，根據(jù)缺陷本身與分類(lèi)器的具體特點(diǎn)，擬采用以下3 大類(lèi)模式識(shí)別方法。

1）貝葉斯決策是一種建立在概率統(tǒng)計(jì)理論基礎(chǔ)上的模式識(shí)別方法，即在知道需要識(shí)別的類(lèi)的先驗(yàn)概率和類(lèi)的類(lèi)條件概率密度的基礎(chǔ)上，通過(guò)計(jì)算特征向量的后驗(yàn)概率，判斷其所屬類(lèi)別[21]。基于其對(duì)缺陷特征屬性正態(tài)分布的敏感性與線(xiàn)性決策的高效性，在被應(yīng)用于工業(yè)產(chǎn)品的缺陷檢測(cè)與分類(lèi)。

2）支持向量機(jī)建立在統(tǒng)計(jì)學(xué)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上，其對(duì)于樣本量、高維數(shù)、非線(xiàn)性和局部極小值點(diǎn)的不敏感性成為了解決核桃外部缺陷識(shí)別問(wèn)題的前提[21]?；A(chǔ)的支持向量機(jī)分類(lèi)器是針對(duì)兩類(lèi)（正樣本X＋與負(fù)樣本X－）且樣本線(xiàn)性可分問(wèn)題而設(shè)計(jì)的，其核心思想是對(duì)線(xiàn)性可分樣本集構(gòu)造一個(gè)超平面作為決策面將兩類(lèi)樣本分開(kāi)。

而對(duì)線(xiàn)性不可分的樣本集，支持向量機(jī)采用核函數(shù)（包括線(xiàn)型、二次型、多項(xiàng)式、徑向基等），對(duì)特征向量進(jìn)行運(yùn)算，將特征空間轉(zhuǎn)換到某個(gè)更高維的空間，并確定最優(yōu)決策平面，從而將非線(xiàn)性決策轉(zhuǎn)化成最基本的線(xiàn)性決策。

3）BP神經(jīng)網(wǎng)絡(luò)是一種3 層或3 層以上，“有導(dǎo)師”的模式識(shí)別算法，其采用誤差逆?zhèn)鞑サ姆绞綄W(xué)習(xí)，精度高、穩(wěn)定性好，能夠很好地解決非線(xiàn)性分類(lèi)的問(wèn)題。其學(xué)習(xí)機(jī)制為當(dāng)訓(xùn)練缺陷特征向量輸入網(wǎng)絡(luò)后，其神經(jīng)元將首先從輸入層到輸出層由左到右激活，并賦予每個(gè)神經(jīng)元激活值，然后對(duì)比正確輸出結(jié)果計(jì)算輸出誤差，并按減少輸出誤差的原則，從輸出層經(jīng)隱含層到輸入層依次修正各神經(jīng)元的連接權(quán)，以這樣的方式不斷地優(yōu)化各神經(jīng)元的傳遞參數(shù)直到輸出誤差達(dá)到要求或迭代次數(shù)達(dá)到上限，即停止學(xué)習(xí)[21]。

針對(duì)核桃缺陷中的I型裂縫、T型結(jié)構(gòu)裂縫（L型、T型、十字型）、碎殼、T型結(jié)構(gòu)碎殼、側(cè)面黑斑、側(cè)面尾部黑斑、尾部黑斑7類(lèi)，以及第8類(lèi)其他缺陷（不在前7 種范圍之內(nèi)的），將樣本近似1∶1的比例隨機(jī)劃分為訓(xùn)練集與測(cè)試集，分別建立基于貝葉斯、支持向量機(jī)、BP神經(jīng)網(wǎng)絡(luò)的不同類(lèi)型的核桃外部缺陷識(shí)別模型。以識(shí)別模型的測(cè)試誤差、測(cè)試時(shí)間、具體缺陷識(shí)別性能、訓(xùn)練誤差、訓(xùn)練時(shí)間、穩(wěn)定性等指標(biāo)，優(yōu)選適應(yīng)核桃在線(xiàn)檢測(cè)的最優(yōu)模型。

2 結(jié)果與分析

2.1 圖像分割

如圖6所示，核桃RGB圖像預(yù)處理得到的圖像灰度直方圖為雙峰，即前景峰與背景峰，且缺陷特征灰度范圍分布于目標(biāo)峰的左側(cè)，并與前景峰存在一定重疊，但在缺陷灰度分布與目標(biāo)灰度分布之間的過(guò)渡區(qū)域內(nèi)，灰度變化平緩。

圖6 預(yù)處理后圖像（a）及其灰度直方圖（b）Fig.6 Preprocessed image and its grey level

因此，設(shè)計(jì)了一種自適應(yīng)雙閾值的方法，分別對(duì)應(yīng)于缺陷區(qū)域與目標(biāo)非缺陷區(qū)域分割閾值T1，以及目標(biāo)與背景區(qū)域分割閾值T2。該法的核心思想是對(duì)各灰度級(jí)向量求一階差分，求圖像各灰度級(jí)向量的離散一階差分如式（2）所示：

式中：di（i=0,1,2...L...254）表示第i灰度級(jí)的灰度向量（即第i灰度級(jí)的像素?cái)?shù)）。

由于各灰度級(jí)向量在前景峰與背景峰范圍內(nèi)變化最為明顯，因此差分后的直方圖中同樣會(huì)出現(xiàn)“前景峰”與“背景峰”，從“前景峰”的峰頂開(kāi)始向低階灰度級(jí)方向?qū)ふ摇捌骄彙钡倪^(guò)渡位置作為T(mén)1，即差分最接近于零的灰度級(jí)。T1的自適應(yīng)過(guò)程分為確定步長(zhǎng)起始點(diǎn)與在有限個(gè)步長(zhǎng)內(nèi)統(tǒng)計(jì)過(guò)渡點(diǎn)兩步，第一步確定步長(zhǎng)起始點(diǎn)Z0，即從“前景峰”的峰頂向低灰度級(jí)方向，在每α個(gè)連續(xù)的差分向量（Zi）中若存在不小于β個(gè)連續(xù)向量小于γ，則第一個(gè)小于β的差分向量即為Z0，在本研究中通過(guò)正交試驗(yàn)確定α、β、γ分別取5、3、80；第二步在b個(gè)步長(zhǎng)內(nèi)統(tǒng)計(jì)過(guò)渡點(diǎn)的個(gè)數(shù)K1、K2，K1和K2分別滿(mǎn)足Zi≤μ和Zi≤μ/2，在各步長(zhǎng)內(nèi)若K1、K2滿(mǎn)足判別條件P1、P2或進(jìn)行到第b個(gè)步長(zhǎng)，則返絕對(duì)值最小Zi的位置即T1，通過(guò)正交試驗(yàn)確定b、μ分別為3、10，每個(gè)步長(zhǎng)取10 個(gè)差分向量，其自適應(yīng)流程如圖7所示。同時(shí)采用最大類(lèi)間方差法（即Otsu）求得圖像的全局閾值作為目標(biāo)閾值T2對(duì)各類(lèi)缺陷核桃樣本圖像的自適應(yīng)雙閾值分割結(jié)果如圖8所示。

圖7 缺陷閾值T1自適應(yīng)流程圖Fig.7 Flow chat of adaptive threshold T1

圖8 自適應(yīng)雙閾值法對(duì)各類(lèi)缺陷樣本的分割圖像Fig.8 Segmentation of defective sample images based on self-adaptive double threshold method

統(tǒng)計(jì)600 個(gè)樣本的分割效果，核桃裂縫特征分割效果最好，碎殼與黑斑特征效果稍次，分別表現(xiàn)為對(duì)缺陷的邊緣分割不夠準(zhǔn)確以及容易產(chǎn)生較多的噪點(diǎn)。這主要存在兩方面原因：一方面，核桃殼的內(nèi)層存在容易與外層脫離的內(nèi)殼，而在人工構(gòu)造過(guò)程中殘留的內(nèi)殼、裸露的仁與核桃表面的顏色非常接近，易造成誤分割；另一方面，裸露的仁與黑斑的顏色存在個(gè)體差異，深淺不一，使得缺陷區(qū)域大致相同，但分割出的缺陷區(qū)域存在較大差異，而黑斑特征本身不連貫性等因素在分割后圖像中則容易表現(xiàn)為較多的離散噪點(diǎn)。該法在Matlab R2010b、Intel i3-3110M CPU 2×2.4 GHz處理下，平均分割時(shí)間為0.564 4 s，相較于國(guó)外類(lèi)似研究應(yīng)用滿(mǎn)足在線(xiàn)識(shí)別要求。

2.2 特征的選擇與提取

提取了600 個(gè)核桃樣本的2 127 個(gè)缺陷圖像，分割確定的T型破裂、I型破裂、T型破碎、碎殼、側(cè)面黑斑、側(cè)面尾部黑斑、尾部黑斑和第8類(lèi)缺陷樣本量分別為192、885、166、276、175、221、352和26 872。

缺陷特征的選擇與提取，直接影響識(shí)別模型對(duì)缺陷的識(shí)別效果。依據(jù)兩類(lèi)典型缺陷的特點(diǎn)，提取了包含幾何、紋理、空間3 個(gè)屬性的20 個(gè)特征量。為了提高模型對(duì)缺陷的識(shí)別精度和效率，對(duì)初始特征空間進(jìn)行降維，通過(guò)交叉對(duì)比各特征屬性組合優(yōu)缺點(diǎn)，確定了以長(zhǎng)寬比、分散度、歐拉數(shù)、相同二階矩橢圓的偏心率、最小多邊形頂點(diǎn)數(shù)、面積/凸殼面積、3 個(gè)二階矩的9 維最優(yōu)特征空間。

2.3 3 種識(shí)別模型的建立

各類(lèi)型的缺陷等樣本按1∶1的比例隨機(jī)劃分為訓(xùn)練集與驗(yàn)證集，以對(duì)應(yīng)的9 維特征向量按劃分作為模型的輸入。模型的訓(xùn)練按照劃分隨機(jī)抽取10 次訓(xùn)練集，訓(xùn)練誤差取10 次訓(xùn)練的平均值；模型的驗(yàn)證以訓(xùn)練集與驗(yàn)證集交叉驗(yàn)證的方式，驗(yàn)證誤差取10 次驗(yàn)證的平均值。

2.3.1 基于貝葉斯決策核桃外部缺陷識(shí)別模型的建立

選擇最具有代表性的基于最小錯(cuò)誤率和最小風(fēng)險(xiǎn)的貝葉斯決策建立識(shí)別模型，其中最小錯(cuò)誤率和最小風(fēng)險(xiǎn)分別表示判斷特征所屬類(lèi)別的決策基準(zhǔn)，即分別將特征向量對(duì)各類(lèi)缺陷的后驗(yàn)概率中的最大值，和對(duì)特征向量對(duì)應(yīng)各類(lèi)缺陷的后驗(yàn)概率加權(quán)和（即決策風(fēng)險(xiǎn)）的最小值作為決策依據(jù)。

2.3.2 基于支持向量機(jī)核桃外部缺陷識(shí)別模型的建立

圖9 支持向量機(jī)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.9 Structural image of support vector machine network

對(duì)單位支持向量機(jī)（針對(duì)兩類(lèi)問(wèn)題）采用1～7（即待識(shí)別類(lèi)樣本做正樣本集，其他7類(lèi)樣本做負(fù)樣本集）的方式，設(shè)計(jì)8 個(gè)單位支持向量機(jī)分類(lèi)器，實(shí)現(xiàn)對(duì)8 類(lèi)樣本分 類(lèi)識(shí)別，設(shè)計(jì)的支持向量機(jī)網(wǎng)絡(luò)如圖9所示。

支持向量機(jī)用核函數(shù)取代了高維空間中的內(nèi)積運(yùn)算，將非線(xiàn)性決策轉(zhuǎn)換為線(xiàn)性決策。分別設(shè)計(jì)了線(xiàn)型、二次型、多項(xiàng)式、徑向基4種核函數(shù)類(lèi)型的支持向量機(jī)分類(lèi)器，建立模型。

2.3.3 基于BP神經(jīng)網(wǎng)絡(luò)核桃外部缺陷識(shí)別模型的建立

由于3層BP神經(jīng)網(wǎng)絡(luò)已經(jīng)能夠逼近任何有理函數(shù)，因此設(shè)計(jì)了9×25×4的網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)速率0.2，最大迭代次數(shù)20000的BP神經(jīng)網(wǎng)絡(luò)。根據(jù)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中參數(shù)調(diào)節(jié)機(jī)制的不同，設(shè)計(jì)了基于梯度下降、有動(dòng)量的梯度下降、自適應(yīng)lr梯度下降、有動(dòng)量加自適應(yīng)梯度下降、彈性梯度下降、Fletcher-Reeves共軛梯度、Polak-Ribiere共軛梯度、Powell-Beale共軛梯度、量化共軛梯度的BP神經(jīng)網(wǎng)絡(luò)模型。

2.3.4 模型識(shí)別結(jié)果與分析

基于貝葉斯、支持向量機(jī)、BP神經(jīng)網(wǎng)絡(luò)的3 類(lèi)15 個(gè)識(shí)別模型，對(duì)3 個(gè)類(lèi)型的核桃外部缺陷的平均驗(yàn)證誤差與平均識(shí)別時(shí)間，如圖10所示。

圖10 各模型對(duì)3種類(lèi)型缺陷的平均驗(yàn)證誤差與識(shí)別時(shí)間Fig.10 Mean test error and recognition time of models for three defects

結(jié)果顯示，3 類(lèi)模型對(duì)核桃的破裂（裂縫）缺陷識(shí)別效果最好，對(duì)破碎（碎殼）與黑斑特征識(shí)別效果相對(duì)較差；在穩(wěn)定性方面，2 種貝葉斯模型、除徑向基支持向量機(jī)外的3 種支持向量機(jī)模型與包含梯度下降機(jī)制的4 種BP神經(jīng)網(wǎng)絡(luò)模型，對(duì)缺陷識(shí)別的穩(wěn)定性不強(qiáng)，對(duì)特征空間的適應(yīng)性不夠好；在對(duì)單個(gè)缺陷的識(shí)別速度上，貝葉斯和支持向量機(jī)模型效率相對(duì)較好，平均分類(lèi)時(shí)間達(dá)到10－4s級(jí)，BP神經(jīng)網(wǎng)絡(luò)稍次，對(duì)單個(gè)缺陷的平均處理時(shí)間為10－2s級(jí)。

綜上，在建立的15 種缺陷識(shí)別模型中，基于徑向基的支持向量機(jī)模型與基于彈性梯度下降的BP神經(jīng)網(wǎng)絡(luò)模型對(duì)3 種核桃外部缺陷的平均識(shí)別率相對(duì)較高，對(duì)特征的適應(yīng)性較為穩(wěn)定，2 種模型對(duì)缺陷的識(shí)別性能基本相近，因此對(duì)2 種優(yōu)選模型做進(jìn)一步比較，指標(biāo)包括穩(wěn)定性、模型訓(xùn)練時(shí)間與訓(xùn)練精度。

表1 2 種優(yōu)選模型對(duì)3 大類(lèi)缺陷的平均識(shí)別率、模型總識(shí)別率與模型訓(xùn)練時(shí)間Table1 Average precision for 3 types of defects, overall accuracy, and training time of optimal models

如表1所示，2 種優(yōu)選模型對(duì)核桃3 類(lèi)外部缺陷的總平均識(shí)別率分別為90.38%與90.21%；訓(xùn)練時(shí)間分別為208 s與1083.1 s，存在較大差異，這主要是由于徑向基的支持向量機(jī)模型是在特征空間中進(jìn)行內(nèi)積運(yùn)算將低維非線(xiàn)性特征空間決策轉(zhuǎn)換到高維線(xiàn)性特征空間決策，而彈性梯度下降的BP神經(jīng)網(wǎng)絡(luò)模型是直接在低維非線(xiàn)性特征空間中進(jìn)行非線(xiàn)性決策所致。結(jié)果表明，2 種優(yōu)選模型對(duì)各類(lèi)缺陷的平均訓(xùn)練準(zhǔn)確度相當(dāng)，基于徑向基的支持向量機(jī)模型對(duì)特征的適應(yīng)性更強(qiáng)，模型表現(xiàn)得更加穩(wěn)定。

在對(duì)2 種優(yōu)選模型的比較中，2 種模型對(duì)核桃各類(lèi)型的外部缺陷與模型的總識(shí)別準(zhǔn)確度基本相同；對(duì)單一缺陷的平均決策時(shí)間分別為10－4s級(jí)與10－2s級(jí)；徑向基的支持向量機(jī)模型對(duì)特征的適應(yīng)性與穩(wěn)定性?xún)?yōu)于彈性梯度下降的BP神經(jīng)網(wǎng)絡(luò)模型；在模型的學(xué)習(xí)訓(xùn)練效率上，彈性梯度下降的BP神經(jīng)網(wǎng)絡(luò)模型具有優(yōu)勢(shì)。因此，本實(shí)驗(yàn)最終采用基于徑向基的支持向量機(jī)模型識(shí)別分類(lèi)核桃外部缺陷，鑒于其對(duì)特征的適應(yīng)性更強(qiáng)，對(duì)核桃外部缺陷的處理識(shí)別上更加高效，適合于核桃外部缺陷的在線(xiàn)識(shí)別與檢測(cè)。

其對(duì)600 個(gè)實(shí)驗(yàn)核桃樣本總驗(yàn)證準(zhǔn)確度為90.21%。對(duì)裂縫、碎殼、黑斑3 類(lèi)缺陷的訓(xùn)練集和驗(yàn)證集平均識(shí)別率分別為94.89%、91.92%、92.43%和93.06%、88.31%、89.27%。顯然，徑向基的支持向量機(jī)模型優(yōu)選模型對(duì)裂縫缺陷的識(shí)別率最高，對(duì)碎殼與黑斑識(shí)別率相對(duì)較差，均未達(dá)到90%，需要從以下幾個(gè)方面進(jìn)行改進(jìn)：采用更加有效的打光方式，如采用球頂光源；進(jìn)一步提取對(duì)碎殼與黑斑特征相對(duì)有效的特征屬性；采用多技術(shù)、多方法的多源信息融合的方式，如可見(jiàn)光機(jī)器視覺(jué)結(jié)合X射線(xiàn)成像技術(shù)。

3 結(jié) 論

綜上所述，采集實(shí)驗(yàn)核桃樣本的6×600幅RGB圖像，預(yù)處理后基于自適應(yīng)雙閾值的Otsu法分割，能夠正確分割出缺陷區(qū)域，其中對(duì)核桃裂縫特征分割效果最好，對(duì)碎殼與黑斑特征效果稍次。分割后圖像中共提取出20 個(gè)特征信息，轉(zhuǎn)換為9維特征組合（長(zhǎng)寬比、分散度、歐拉數(shù)、相同二階矩橢圓的偏心率、最小多邊形頂點(diǎn)數(shù)、面積/凸殼面積、3 個(gè)二階矩），實(shí)現(xiàn)特征空間降維。以9 維最優(yōu)特征組合為輸入，建立基于貝葉斯、BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)的15 個(gè)不同類(lèi)型核桃外部缺陷識(shí)別模型，對(duì)比平均處理時(shí)間總平均驗(yàn)證精度，以及對(duì)各類(lèi)型缺陷具體判別情況、穩(wěn)定性以及訓(xùn)練時(shí)間，徑向基的支持向量機(jī)模型更加符合在線(xiàn)分級(jí)要求，模型對(duì)缺陷的總識(shí)別率為90.21%。

總之，結(jié)合機(jī)器視覺(jué)技術(shù)與支持向量機(jī)方法，能夠準(zhǔn)確判別核桃外部主要缺陷，為今后核桃視覺(jué)無(wú)損快速檢測(cè)提供一定的參考依據(jù)。

[1] 王文德, 王貴, 張俊寬, 等. GB/T 20398—2006 核桃堅(jiān)果質(zhì)量等級(jí)[S].北京: 中國(guó)標(biāo)準(zhǔn)出版社, 2006.

[2] ERCISLI S, SAYINCI B, KARA M, et al. Determination of size and shape features of walnut (Juglansregia L.) cultivars using image processing[J]. Scientia Horticulturae, 2012, 133: 47-55.

[3] CHEN Linnan, MA Qingguo, CHEN Yongkun, et al. Identifi cation of major walnut cultivars grown in China based on nut phenotypes and SSR markers[J]. Scientia Horticulturae, 2014, 168: 240-248.

[4] GHAZANFARI A, IRUDAYARAJ J. Classifi cation of pistachio nuts using a string matching technique[J]. Transactions of the ASABE, 1996, 39(3): 1197-1202.

[5] GHAZANFARI A. Machine vision classification of pistachio nuts using pattern recognition and neural networks[D]. Saskatoon: University of Saskatchewan, 1996.

[6] GHAZANFARI A, IRUDAYARAJ J, KUSALIK A. Grading pistachio n uts using a neural networ k approach[J]. Transacti ons of the ASABE, 1996, 39(6): 2319-2 324.

[7] GHAZANFARI A, IRUDAYARAJ J, KUSALIK A, et al. Machine vision grading of pistachio nuts using fourier descriptors[J]. Journal of Agricultural Engineering Research, 1997, 68(3): 247-252.

[8] GHAZANFARI A, WULFSOHN D, IRUDAYARAJ J. Machine vision grading of pistachio nuts using gray-level histogram[J]. Canadian Agricultural Engineering, 1998, 40(1): 61-66.

[9] 郭曉偉. 基于機(jī)器視覺(jué)的開(kāi)心果閉殼與開(kāi)殼識(shí)別[J]. 計(jì)算機(jī)應(yīng)用, 2011, 31(2): 426-427; 434.

[10] 方建軍, 劉仕良, 張虎. 基于機(jī) 器視覺(jué)的板栗實(shí)時(shí)分級(jí)系統(tǒng)[J]. 輕工機(jī)械, 2004(3): 92-94.

[11] 方建軍, 張虎. 板栗長(zhǎng) 短徑的實(shí)時(shí)光學(xué)檢測(cè)算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2006, 37(5): 87-89; 95.

[12] 劉仕良. 基于機(jī)器視覺(jué)的板栗分級(jí)設(shè)備研究[D]. 北京: 北方工業(yè)大學(xué), 2005.

[13] 季雪嬌, 尹成名, 朱元波, 等. 板栗圖像的低層處理及邊緣檢測(cè)[J].農(nóng)產(chǎn)品加工: 學(xué)刊, 2008(1): 26-28.

[14] 蔣艷軍, 盧軍, 陳建軍. 板栗圖像的去噪及缺陷檢測(cè)研究[J]. 農(nóng)產(chǎn)品加工, 2008(9): 72-73.

[15] 展慧, 李小昱, 王為, 等. 基于機(jī)器視覺(jué)的板栗分級(jí)檢測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2010, 26(4): 327-331.

[16] 展慧, 李小昱, 王為, 等. 蟲(chóng)眼板栗的圖像識(shí)別方法研究[J]. 農(nóng)機(jī)化研究, 2010(8): 121-124.

[17] 展慧, 李小昱, 周竹, 等. 基于近紅外光譜和機(jī)器視覺(jué)融合技術(shù)的板栗缺陷檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2011, 27(2): 345-349.

[18] 薛忠, 鄧干然, 崔振德, 等. 基于機(jī)器視覺(jué)的澳洲堅(jiān)果分級(jí)研究[J].農(nóng)機(jī)化研究, 2010(5): 26-28.

[19] MENESATTI P, COSTA C, PAGLIA G, et al. Shape-based methodology for multivariate discrimination among Italian hazelnut cultivars[J]. Biosystems Engineering, 2008, 101(4): 417-424.

[20] FEDERICO P, MENESATTI P, CORRADO C, et al. Image analysis techniques for automated hazelnut peeling determination[J]. Food and Bioprocess Technology, 2010, 3(1): 155-159.

[21] MATHANKER S K, WECKLER P R, WANG N, et al. Local adaptive thresholding of pecan X-ray images: reverse water flow method[J]. Transactions of the ASABE, 2010, 53(3): 961-969.

[22] 周竹, 李小昱, 李培武, 等. 基于GA_LSSVM和近紅外傅里葉變換的霉變板栗識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2011, 27(3): 331-335.

[23] 朱娜, 潘磊慶, 鄔慧穎, 等. 基于電子鼻檢測(cè)‘霞暉5號(hào)’桃果實(shí)的冷害[J]. 食品科學(xué), 2014, 35(4): 95-100. doi: 10.7506/spkx1002-6630-201404020.

[24] 戚淑葉, 張振偉, 趙昆, 等. 太赫茲時(shí)域光譜無(wú)損檢測(cè)核桃品質(zhì)的研究[J]. 光譜學(xué)與光譜分析, 2012, 32(12): 3390-3393.

[25] 李斌, WANG N, 張偉立, 等. 基于太赫茲光譜技術(shù)的山核桃內(nèi)部蟲(chóng)害檢測(cè)初步研究[J]. 光譜學(xué)與光譜分析, 2014, 34(5): 1196-1200.

[26] 張嬙, 潘磊慶, 屠康. 利用半透射高光譜圖像檢測(cè)‘霞暉5號(hào)’水蜜桃冷害[J]. 食品科學(xué), 2015, 36(2): 160-167. doi: 10.7506/spkx1002-6630-201502031.

[27] 楊淑瑩. 模式識(shí)別與智能計(jì)算[M]. 北京: 電子工業(yè)出版社, 2008: 43-208.

Discrimination of Walnut External Defects Based on Machine Vision and Support Vector Machine

LIU Jun1, GUO Junxian1,*, PATIGULI · Silamu2, SHI Jianxin1, ZHANG Xuejun1, HUANG Hua1
(1. College of Machine and Traffi c, Xinjiang Agricultural University, ürümqi 830052, China; 2. Administration of Agriculture and Animal Husbandry Machinery of Aksu in Xinjiang, Aksu 843000, China)

In the present study, based on the RGB images acquired using a 3-CCD high-precision area array camera for several varieties of walnuts in Xinjiang, we designed a self-adaptive double-threshold Otsu method which can rapidly and accurately segment the defective regions and transform 20 initial features including geometry and texture and other features to a 9-demensional set of eigenvectors. Using the set of eigenvectors as input, 15 recognition models were established based on Bayesian network, BP neural network (BPNN) and support vector machine (SVM), and their adaptability as well as identifi cation performance and mean recognition time for 3 defects (crack, damage, and black spot) were compared. The results revealed that the SVM model based on radial basis function (RBF), showing a mean recognition time at the order of magnitude of 10-4s, provided the best results, giving average test recognition accuracy of 93.06% for crack, 88.31% for damage, and 89.27% for black spot and total recognition rate of 90.21% for the 3 external defects. These results can provide useful data for on-line determination and classifi cation of walnut detects and on-line quality identifi cation of other nuts.

walnuts; machine vision; external defects; support vector machine; recognition

TS255.6

A

1002-6630（2015）20-0211-07

10.7506/spkx1002-6630-201520041

2015-01-02

“十二五”國(guó)家科技支撐計(jì)劃項(xiàng)目（2011BAD27B02-05-02）；國(guó)家自然科學(xué)基金面上項(xiàng)目（61367001）；

新疆農(nóng)業(yè)工程裝備創(chuàng)新設(shè)計(jì)重點(diǎn)實(shí)驗(yàn)室資助項(xiàng)目

劉軍（1988—），男，碩士研究生，研究方向?yàn)檗r(nóng)產(chǎn)品無(wú)損快速檢測(cè)。E-mail：15026015978@163.com

*通信作者：郭俊先（1975—），男，副教授，博士，研究方向?yàn)檗r(nóng)產(chǎn)品無(wú)損快速檢測(cè)。E-mail： junxianguo@163.com