基于深度學(xué)習(xí)與圖像處理的哈密瓜表面缺陷檢測(cè)

李小占，馬本學(xué),2，喻國(guó)威，陳金成,3，李玉潔，李 聰

基于深度學(xué)習(xí)與圖像處理的哈密瓜表面缺陷檢測(cè)

李小占1，馬本學(xué)1,2※，喻國(guó)威1，陳金成1,3，李玉潔1，李 聰1

（1. 石河子大學(xué)機(jī)械電氣工程學(xué)院，石河子 832003； 2. 農(nóng)業(yè)農(nóng)村部西北農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室，石河子 832003； 3. 新疆農(nóng)墾科學(xué)院機(jī)械裝備研究所，石河子 832000）

針對(duì)傳統(tǒng)人工檢測(cè)哈密瓜表面缺陷效率低等問題，提出利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）對(duì)哈密瓜表面缺陷進(jìn)行快速檢測(cè)。對(duì)原始圖像進(jìn)行主成分分析（Principal Components Analysis，PCA）、奇異值分解（Singular Value Decomposition, SVD）和二值化等預(yù)處理操作，通過數(shù)據(jù)擴(kuò)充得到正常、霉菌、曬傷和裂紋的哈密瓜圖像各2 500幅。構(gòu)建一種改進(jìn)的類似VGG卷積神經(jīng)網(wǎng)絡(luò)模型，將預(yù)處理后的圖像輸入模型，并使用隨機(jī)梯度下降（Stochastic Gradient Descent, SGD）優(yōu)化器進(jìn)行算法優(yōu)化，為探究CNN模型的特征提取原理，將改進(jìn)的類似VGG模型每層卷積的特征進(jìn)行可視化，最后利用開發(fā)的哈密瓜表面缺陷檢測(cè)軟件對(duì)模型進(jìn)行試驗(yàn)驗(yàn)證。研究結(jié)果表明：圖像預(yù)處理算法提高了模型的魯棒性和泛化能力，改進(jìn)的類似VGG模型優(yōu)于AlexNet和VGG-16模型，其訓(xùn)練集和測(cè)試集準(zhǔn)確率分別為100.00%和97.14%；對(duì)比預(yù)處理前后4類哈密瓜卷積特征可視化結(jié)果表明，隨著卷積層層數(shù)的增加，哈密瓜表面缺陷特征越來(lái)越明顯，圖像預(yù)處理后卷積層特征提取效果優(yōu)于原始圖像提取效果。軟件測(cè)試結(jié)果表明：靜態(tài)下哈密瓜缺陷檢測(cè)速率達(dá)到0.7 s/幅，識(shí)別準(zhǔn)確率達(dá)到93.50%。研究結(jié)果可為哈密瓜表面缺陷在線檢測(cè)技術(shù)提供理論依據(jù)和技術(shù)參考。

圖像處理；缺陷；無(wú)損檢測(cè)；卷積神經(jīng)網(wǎng)絡(luò)；可視化；哈密瓜

0 引 言

國(guó)家地理性標(biāo)志產(chǎn)品——新疆特色瓜果哈密瓜不僅味道鮮美，而且營(yíng)養(yǎng)價(jià)值也很豐富。隨著科學(xué)技術(shù)的發(fā)展，哈密瓜的種植面積和產(chǎn)量都在不斷增長(zhǎng)，2018年新疆甜瓜的產(chǎn)量已達(dá)201.45萬(wàn)t，播種面積達(dá)5.80萬(wàn)hm2[1]。現(xiàn)階段哈密瓜產(chǎn)后分級(jí)方式以人工為主，工作量大、效率低、主觀性強(qiáng)，哈密瓜品質(zhì)在線檢測(cè)裝置成為當(dāng)下的研究熱點(diǎn)。

瓜果表面缺陷是影響其品質(zhì)的重要因素之一，瓜果的缺陷區(qū)域與正常瓜果通常存在顏色差異，張明等[2]提出一種基于掩模及亮度校正算法的臍橙表面缺陷分割方法，試驗(yàn)結(jié)果表明基于HIS顏色空間模型法去除背景及基于多尺度高斯函數(shù)的圖像亮度不均校正算法對(duì)紐荷爾臍橙圖像背景分割和去除背景后的I分量圖像表面亮度校正均取的較好的效果，能夠準(zhǔn)確的識(shí)別出臍橙的缺陷區(qū)域。王銀敏等[3]提出一種基于背景分割與亮度校正的蘋果表面缺陷提取方法，先將RGB圖像轉(zhuǎn)換為HSV彩色模型，對(duì)飽和度分量進(jìn)行閾值分割與形態(tài)學(xué)處理，獲得蘋果背景分離模板，然后根據(jù)分離模板得到分量的背景分離圖，并對(duì)分離后的圖像進(jìn)行亮度校正，最后采用單閾值分割法提取缺陷區(qū)域，試驗(yàn)結(jié)果表明本方法可以在不再增加額外拍攝裝置的情況下取得較好的蘋果表面缺陷提取效果，但基于閾值分割的缺陷區(qū)域提取自適應(yīng)性不高。有些瓜果的缺陷區(qū)域與正常區(qū)域之間有明顯的邊緣，杜永忠等[4]提出一種基于Sobel與分?jǐn)?shù)階微分的邊緣檢測(cè)模型，可以將圣女果細(xì)小的缺陷清晰的檢測(cè)出來(lái)。由于哈密瓜表面存在網(wǎng)紋，以上算法不適用檢測(cè)哈密瓜表面缺陷，國(guó)內(nèi)外對(duì)其品質(zhì)檢測(cè)的研究也較少，對(duì)其缺陷檢測(cè)的研究更是屈指可數(shù)。王魏[5]利用機(jī)器視覺技術(shù)在Lab色彩空間下，采用K-means聚類算法對(duì)哈密瓜缺陷區(qū)域進(jìn)行分割，試驗(yàn)結(jié)果表明目標(biāo)分割區(qū)域有較好的完整性和較高的準(zhǔn)確率。

近年來(lái)，深度學(xué)習(xí)已逐漸應(yīng)用到圖像識(shí)別上，復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)訓(xùn)練模型不僅縮小了工作量，而且提高了檢測(cè)速度和準(zhǔn)確率[6]。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）[7-10]在水果檢測(cè)中已逐步興起，薛勇等[11]提出一種基于深度遷移學(xué)習(xí)的蘋果缺陷檢測(cè)方法，試驗(yàn)結(jié)果表明該方法比傳統(tǒng)的檢測(cè)算法具有更好的泛化能力和魯棒性。Ahmad等[12]采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）、人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks, ANN）、支持向量機(jī)（Support Vector Machine, SVM）、決策樹（Decision Tree，DT）等多種算法對(duì)檸檬進(jìn)行缺陷檢測(cè)，試驗(yàn)結(jié)果表明基于CNN的檸檬缺陷檢測(cè)準(zhǔn)確率為100%，高于其他模型。

因此，本研究針對(duì)哈密瓜外部缺陷檢測(cè)自動(dòng)化程度低問題，采用圖像處理與深度學(xué)習(xí)算法對(duì)哈密瓜外部缺陷進(jìn)行檢測(cè)分類，利用主成分分析（Principal Components Analysis, PCA）、奇異值分解（Singular Value Decomposition, SVD）和閾值分割等方式增強(qiáng)缺陷特征，采取3類卷積神經(jīng)網(wǎng)絡(luò)對(duì)原始數(shù)據(jù)和特征增強(qiáng)后的數(shù)據(jù)分別進(jìn)行訓(xùn)練，通過對(duì)比訓(xùn)練結(jié)果確定了哈密瓜外部缺陷最佳檢測(cè)模型。為深入了解卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)哈密瓜缺陷的過程，對(duì)每類哈密瓜表面缺陷進(jìn)行卷積特征可視化。研究結(jié)果為哈密瓜外部品質(zhì)在線無(wú)損檢測(cè)提供理論參考。

1 材料與方法

1.1 硬件設(shè)備

西州蜜17號(hào)哈密瓜樣本于2019年6月采購(gòu)于新疆兵團(tuán)農(nóng)六師103團(tuán)。圖像采集計(jì)算機(jī)參數(shù)為Windows10 64位系統(tǒng)，計(jì)算機(jī)內(nèi)存為16GB，搭載Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz處理器，NVIDIA GeForce RTX 2060顯卡。IDE為PyCharm 2019，配置Python3.6.6，采集裝置為USB免驅(qū)動(dòng)CMOS工業(yè)相機(jī)，5～50 mm工業(yè)變焦鏡頭，200萬(wàn)像素，光源為4個(gè)條形光源架于光源箱頂部。

1.2 樣本集制作

哈密瓜樣本分為正常、霉菌、曬傷和裂紋4類，如圖1所示。

利用相機(jī)在黑箱中獲取200幅正常哈密瓜圖像，由于霉菌、曬傷、裂紋3類哈密瓜樣本比較少，試驗(yàn)僅采集了霉菌、曬傷、裂紋的哈密瓜圖像各100幅。各類哈密瓜樣本數(shù)量不均、數(shù)量過少均會(huì)影響模型訓(xùn)練效果，可能出現(xiàn)模型過擬合，訓(xùn)練后的模型泛化能力差等問題，降低模型的使用能力。為了在有限的數(shù)據(jù)下得到更好的分類效果，往往需要使用數(shù)據(jù)增強(qiáng)的方式，通過對(duì)圖像的旋轉(zhuǎn)、加入噪聲、仿射變換等方式增加數(shù)據(jù)量。試驗(yàn)在Python環(huán)境下利用Imgaug數(shù)據(jù)增強(qiáng)庫(kù)結(jié)合OpenCV完成樣本的數(shù)據(jù)增強(qiáng)。Imgaug數(shù)據(jù)增強(qiáng)庫(kù)包含隨機(jī)翻轉(zhuǎn)、上下鏡像、高斯擾動(dòng)、灰度圖等幾十種變換，本研究主要采用隨機(jī)翻轉(zhuǎn)、鏡像、裁剪、高斯噪聲、灰度圖5種變換方式得到正常、霉菌、曬傷、裂紋圖像各2 500幅，并對(duì)其像素大小調(diào)整為100×100 pixel。

1.3 預(yù)處理

1.3.1 主成分分析

PCA[13-15]是通過計(jì)算原始數(shù)據(jù)的協(xié)方差矩陣將原始的數(shù)據(jù)構(gòu)造成方陣，隨后選擇其中貢獻(xiàn)值（方差、熵、特征值）較大的，以此來(lái)提取一個(gè)矩陣的主要特征，并以此實(shí)現(xiàn)降維。處理算法首先對(duì)哈密瓜圖像原始數(shù)據(jù)進(jìn)行去中心化，原始數(shù)據(jù)為100×100 pixel。

式中x表示個(gè)樣本和個(gè)評(píng)價(jià)指標(biāo)中第個(gè)樣本的第個(gè)指標(biāo)。

計(jì)算樣本的協(xié)方差矩陣：

計(jì)算新矩陣的特征值和特征向量，并對(duì)其從大到小進(jìn)行排序，選取其中較大的個(gè)特征值對(duì)應(yīng)的特征向量構(gòu)造新的矩陣1。

將數(shù)據(jù)轉(zhuǎn)換到個(gè)特征向量構(gòu)建的新空間中得到：

將降維后的數(shù)據(jù)還原為1，以此來(lái)檢測(cè)損失率。

1.3.2 奇異值分解

SVD[16-18]是機(jī)器學(xué)習(xí)中廣泛應(yīng)用的算法，SVD作為一種對(duì)噪聲和光照不敏感的代數(shù)特征，通過尋求目標(biāo)數(shù)據(jù)集在低維子空間中的緊致表示可以去除數(shù)據(jù)的冗余信息和噪聲光照干擾，實(shí)現(xiàn)哈密瓜識(shí)別的噪聲光照魯棒性。可以對(duì)任意行列的矩陣進(jìn)行數(shù)值分解，將原始數(shù)據(jù)轉(zhuǎn)化為方陣。

計(jì)算新矩陣的特征值和特征向量，并對(duì)其從大到小進(jìn)行排序得到特征值對(duì)角陣和特征向量陣，選取其中較大的個(gè)特征值對(duì)應(yīng)的特征向量構(gòu)造矩陣1，特征值構(gòu)成對(duì)角陣1。

逆向推導(dǎo)，利用

為一個(gè)×的矩陣，推導(dǎo)出：

將降維后的數(shù)據(jù)還原為1，以此來(lái)檢測(cè)損失率。

1.3.3 二值化

本研究采用3種二值化方式對(duì)原始哈密瓜圖像進(jìn)行處理，由于不同哈密瓜樣本二值化最佳分割閾值不同，因此本研究做閾值分割時(shí)添加了滑動(dòng)條，通過調(diào)節(jié)滑動(dòng)條尋找最佳分割閾值。

每幅圖像經(jīng)過預(yù)處理得到5幅特征圖（圖2），再利用數(shù)據(jù)增強(qiáng)庫(kù)對(duì)預(yù)處理后的圖像進(jìn)行數(shù)據(jù)擴(kuò)充，通過隨機(jī)翻轉(zhuǎn)、鏡像、裁剪和拉伸得到正常、霉菌、曬傷、裂紋特征圖各2 500幅。

1.4 改進(jìn)的類似VGG模型結(jié)構(gòu)

采用基于Keras深度學(xué)習(xí)框架，TensorFlow為后臺(tái)構(gòu)建一種改進(jìn)的類似VGG的小樣本識(shí)別CNN模型，主要包括輸入層、卷積層（Convolution Layer，C）、池化層（Pooling Layer，P）、Dropout層、全連接層（Fully-connected Layer，F(xiàn)）、Softmax分類器，卷積結(jié)構(gòu)如圖3所示。

1.4.1 卷積層和激活層

卷積核的大小是影響模型特征提取的重要因素，模型第一層卷積使用16個(gè)大小為3×3的濾波器，第二層卷積使用32個(gè)大小為3×3的濾波器，第三層卷積使用64個(gè)大小為3×3的濾波器，激活函數(shù)采用線性整流單元（Rectified Linear Units，ReLU）函數(shù)[19]。卷積層的計(jì)算公式為式（12）[20-21]，ReLU函數(shù)計(jì)算公式[22]為式（13）。

1.4.2 池化層

除了卷積層，CNN也經(jīng)常使用池化層來(lái)縮減模型的大小，提高計(jì)算速度，同時(shí)提高所提取特征的魯棒性。常用的池化類型包括平均池化、最大池化和隨機(jī)池化，池化計(jì)算公式[25]如式（14）所示。

1.4.3 Dropout層

如果模型參數(shù)過多，樣本數(shù)量又太少，深度學(xué)習(xí)模型訓(xùn)練過程中容易發(fā)生過擬合，過擬合現(xiàn)象具體表現(xiàn)在訓(xùn)練數(shù)據(jù)上損失值較小，預(yù)測(cè)準(zhǔn)確率較高；但是在測(cè)試數(shù)據(jù)上損失值比較大，預(yù)測(cè)準(zhǔn)確率較低。模型過擬合得到的模型幾乎不能用，Dropout[27-28]可以有效緩解過擬合的發(fā)生，原理為在一次循環(huán)中先隨機(jī)選擇神經(jīng)層中的一些單元并將其臨時(shí)隱藏，然后進(jìn)行該次循環(huán)中神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和優(yōu)化過程。在下一次循環(huán)中，又將隱藏另外一些神經(jīng)元，如此直至訓(xùn)練結(jié)束。可以比較有效的緩解過擬合的發(fā)生，在一定程度上達(dá)到正則化的效果。本模型采用Dropout參數(shù)為0.25，即在每次訓(xùn)練過程中隨機(jī)隱藏25%的神經(jīng)元，以達(dá)到緩解過擬合的效果。

1.4.4 網(wǎng)絡(luò)超參數(shù)設(shè)置

模型訓(xùn)練和測(cè)試均采用CPU處理器完成，模型引入“SGD”的梯度下降方式進(jìn)行算法優(yōu)化，SGD最大的缺點(diǎn)是下降速度慢，而且可能會(huì)在溝壑的兩邊持續(xù)震蕩，停留在一個(gè)局部最優(yōu)點(diǎn)，本模型使用Nesterov Momentum（牛頓動(dòng)量梯度下降）進(jìn)行參數(shù)更新，加快收斂速度，抑制梯度下降時(shí)上下震蕩。學(xué)習(xí)率衰減量為1e-6，Momentum參數(shù)更新動(dòng)量設(shè)為0.9，是否啟用Nesterov動(dòng)量設(shè)為True。訓(xùn)練的批次樣本數(shù)量設(shè)為100，為了尋找最優(yōu)模型，學(xué)習(xí)率分別設(shè)為0.000 1、0.001、0.01，迭代次數(shù)設(shè)為300、500和700分別進(jìn)行試驗(yàn)，本研究采用改進(jìn)的類似VGG的模型、VGG-16模型和AlexNet模型分別進(jìn)行試驗(yàn)，最終得到最佳訓(xùn)練模型。

1.5 可視化方法

圖像在輸入CNN向后傳播的過程中，每一層卷積都會(huì)產(chǎn)生卷積運(yùn)算后的三維數(shù)據(jù)塊，將這些三維數(shù)據(jù)塊整體稱作特征圖，而特征圖是由不同卷積核卷積運(yùn)算得到的二維數(shù)據(jù)堆疊在一起組成，有學(xué)者將其稱為特征面[29]或與前者統(tǒng)稱為特征圖。將這些二維數(shù)據(jù)及可視化處理后的結(jié)果統(tǒng)稱為激活映射圖與其區(qū)分，激活映射圖的計(jì)算公式[30]為：

2 結(jié)果與分析

2.1 模型結(jié)構(gòu)

試驗(yàn)采用一種改進(jìn)的類似VGG卷積神經(jīng)網(wǎng)絡(luò)，在類似VGG模型上增加了1層卷積層和1層池化層，輸出層設(shè)為4，表示分為4類，對(duì)比改進(jìn)的類似VGG、VGG-16和AlexNet 3種卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示。

表1 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

注：連線線連接不同卷積層的數(shù)量，比如16-32-64表示第一層16，第二層32，第三層64。

Note: The number of convolutional layers that are connected by a line, such as 16-32-64 represents the first layer 16, the second layer 32, and the third layer 64.

2.2 CNN模型訓(xùn)練與測(cè)試

試驗(yàn)對(duì)圖像預(yù)處理前和預(yù)處理后分別進(jìn)行訓(xùn)練，圖像預(yù)處理前后樣本集均為10 000幅，每個(gè)類別2 500幅，其中2 000幅用于制作訓(xùn)練集，500幅用于制作測(cè)試集。學(xué)習(xí)率是影響網(wǎng)絡(luò)模型的一個(gè)重要因素，學(xué)習(xí)率過小，會(huì)極大降低收斂速度，增加訓(xùn)練時(shí)間；學(xué)習(xí)率過大，可能導(dǎo)致參數(shù)在最優(yōu)解兩側(cè)來(lái)回振蕩，所以學(xué)習(xí)率對(duì)于算法性能的表現(xiàn)至關(guān)重要。對(duì)于學(xué)習(xí)率采用指數(shù)標(biāo)尺選取0.000 1、0.001和0.01幾組學(xué)習(xí)率做試驗(yàn)，每次試驗(yàn)迭代次數(shù)選擇300、500、700分別進(jìn)行，根據(jù)試驗(yàn)結(jié)果確定最佳學(xué)習(xí)率和迭代次數(shù)。

圖5、6、7是原始圖像在不同學(xué)習(xí)率下的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程和結(jié)果。

表2展示了3類卷積神經(jīng)網(wǎng)絡(luò)在不同學(xué)習(xí)率下，對(duì)于原始數(shù)據(jù)集進(jìn)行訓(xùn)練得到的訓(xùn)練集、測(cè)試集的準(zhǔn)確率和訓(xùn)練時(shí)長(zhǎng)，由訓(xùn)練結(jié)果可以看出，3種模型在學(xué)習(xí)率不同時(shí)訓(xùn)練結(jié)果也存在著差異，AlexNet模型在不同的學(xué)習(xí)率下模型均已收斂，在學(xué)習(xí)率為0.001時(shí)模型效果最佳，訓(xùn)練準(zhǔn)確率為99.69%，測(cè)試準(zhǔn)確率為96.52%，而改進(jìn)的類似VGG模型和VGG-16模型在學(xué)習(xí)率為0.01時(shí)模型準(zhǔn)確率提高后突然變低，然后趨于穩(wěn)定，造成這種現(xiàn)象的原因是學(xué)習(xí)速率太大，代價(jià)函數(shù)振蕩，導(dǎo)致無(wú)法擬合。VGG-16模型由于層數(shù)過深，在迭代次數(shù)為700時(shí)模型才收斂，訓(xùn)練時(shí)間也比AlexNet和改進(jìn)的類似VGG模型要長(zhǎng)。綜上所述，圖像預(yù)處理前AlexNet模型的訓(xùn)練效果最佳。

表2 預(yù)處理前不同學(xué)習(xí)率下不同模型的訓(xùn)練結(jié)果

圖8、9、10是預(yù)處理后圖像在不同學(xué)習(xí)率下CNN模型的訓(xùn)練過程和結(jié)果。

表3展示了3類卷積神經(jīng)網(wǎng)絡(luò)在不同學(xué)習(xí)率下，對(duì)于預(yù)處理后的數(shù)據(jù)集進(jìn)行訓(xùn)練得到的訓(xùn)練集、測(cè)試集的準(zhǔn)確率和訓(xùn)練時(shí)長(zhǎng)，可以看出基于改進(jìn)的類似VGG模型和VGG-16模型在學(xué)習(xí)率為0.000 1時(shí)準(zhǔn)確率特別低，這是一種典型的欠擬合現(xiàn)象，模型的學(xué)習(xí)能力不足，通過增加訓(xùn)練數(shù)據(jù)對(duì)此類問題用處不大，可以通過增加原始數(shù)據(jù)的特征，調(diào)整參數(shù)和超參數(shù)來(lái)解決此問題。從訓(xùn)練結(jié)果中可以看出3種模型訓(xùn)練準(zhǔn)確率均達(dá)到了100.00%，但改進(jìn)的類似VGG模型在學(xué)習(xí)率為0.001時(shí)的測(cè)試準(zhǔn)確率達(dá)到97.14%，高于其他2種模型。

表3 預(yù)處理后不同模型在不同學(xué)習(xí)率下的訓(xùn)練結(jié)果

對(duì)比數(shù)據(jù)預(yù)處理前和預(yù)處理后3種CNN模型的訓(xùn)練結(jié)果可以看出，AlexNet模型相對(duì)穩(wěn)定；VGG-16模型由于模型深度過深，容易產(chǎn)生過擬合和欠擬合等問題，調(diào)參比較困難，訓(xùn)練時(shí)間也比較長(zhǎng)；數(shù)據(jù)預(yù)處理前改進(jìn)的類似VGG模型出現(xiàn)了過擬合和欠擬合問題，數(shù)據(jù)預(yù)處理后在學(xué)習(xí)率為0.001時(shí)模型整體效果達(dá)到最佳。數(shù)據(jù)預(yù)處理前，AlexNet模型在學(xué)習(xí)率為0.001且迭代次數(shù)為500時(shí)模型效果最佳，訓(xùn)練準(zhǔn)確率為99.69%，測(cè)試準(zhǔn)確率為96.52%；數(shù)據(jù)預(yù)處理后改進(jìn)的類似VGG模型在學(xué)習(xí)率為0.001且迭代次數(shù)為500時(shí)訓(xùn)練效果最佳，訓(xùn)練準(zhǔn)確率為100.00%，測(cè)試準(zhǔn)確率為97.14%。綜上所述數(shù)據(jù)預(yù)處理后改進(jìn)的類似VGG模型對(duì)哈密瓜表面缺陷檢測(cè)效果最佳。

2.3 卷積層特征可視化

深度學(xué)習(xí)一直被稱為“黑盒子”，內(nèi)部算法不可見，但CNN卻能夠被可視化，通常，一幅圖像經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取特征后，隨著層次的深入，可視化結(jié)果會(huì)變得越來(lái)越模糊和抽象[31]。卷積層特征可視化可以幫助解釋每一層卷積層學(xué)習(xí)到的特征，以便更深入了解CNN提取哈密瓜缺陷特征的過程。試驗(yàn)對(duì)改進(jìn)的類似VGG模型進(jìn)行卷積層特征可視化，圖11為卷積神經(jīng)網(wǎng)絡(luò)提取的4類哈密瓜特征。圖12是包含霉菌的哈密瓜圖像卷積層特征可視化結(jié)果，從第一層到第三層卷積的過程中可以看出，模型學(xué)習(xí)的特征從整體到局部逐漸細(xì)化，從第三層融合后的整體圖可以看出哈密瓜缺陷特征已清晰可見。圖11是卷積神經(jīng)網(wǎng)絡(luò)提取的4類哈密瓜圖像預(yù)處理前后的特征，可以看出特征提取前后卷積神經(jīng)網(wǎng)絡(luò)提取的正常哈密瓜特征無(wú)明顯區(qū)別，包含霉菌、曬傷、裂紋的哈密瓜圖像特征提取后利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練提取的特征比特征提取前明顯，證明試驗(yàn)的預(yù)處理可以增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)提取哈密瓜缺陷特征的效果。

2.4 模型驗(yàn)證

為驗(yàn)證模型的實(shí)用性，開發(fā)了一款哈密瓜表面缺陷檢測(cè)軟件進(jìn)行試驗(yàn)驗(yàn)證，開發(fā)環(huán)境為Pycharm2019、PyQt5、python3.6.6。軟件包括前端展示界面和后臺(tái)處理兩部分，前端展示界面采用Qt進(jìn)行可視化布局，軟件采用了Button組件、QLabel組件、TextEdit組件和Label組件。具體流程如圖13所示，前端展示效果如圖14所示，后臺(tái)處理通過編寫Python語(yǔ)言調(diào)用OpenCV打開相機(jī)，調(diào)用Keras深度學(xué)習(xí)庫(kù)進(jìn)行哈密瓜表面缺陷的識(shí)別。

試驗(yàn)通過實(shí)時(shí)采集圖像進(jìn)行試驗(yàn)驗(yàn)證，正常、霉菌、曬傷和裂紋的哈密瓜樣本分別拍攝50張進(jìn)行檢測(cè)。經(jīng)測(cè)試，單張圖片檢測(cè)時(shí)長(zhǎng)約0.7 s，其中正確識(shí)別187幅，錯(cuò)誤識(shí)別13幅，綜合測(cè)試準(zhǔn)確率為93.50%，裂紋不明顯的哈密瓜和正常的哈密瓜表面圖像特征比較類似，因此測(cè)試準(zhǔn)確率比較低，測(cè)試結(jié)果如表4所示。

表4 哈密瓜表面缺陷檢測(cè)軟件模型驗(yàn)證

3 結(jié) 論

本研究以西州蜜17號(hào)哈密瓜為對(duì)象，采用圖像處理和深度學(xué)習(xí)相結(jié)合的方法對(duì)哈密瓜的正常、霉菌、曬傷和裂紋4類哈密瓜進(jìn)行檢測(cè)，主要結(jié)論如下：

1）采用基于Keras深度學(xué)習(xí)框架，TensorFlow為后臺(tái)構(gòu)建一種改進(jìn)的類似VGG模型，增加了1層卷積層和池化層，并用4分類代替類似VGG模型的10分類，檢測(cè)效果優(yōu)于AlexNet和VGG-16模型。

2）利用主成分分析、奇異值分解和二值化等預(yù)處理方法進(jìn)行特征預(yù)處理，然后采用數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集，增強(qiáng)模型的泛化能力。與原始數(shù)據(jù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)比試驗(yàn)顯示，數(shù)據(jù)預(yù)處理后的模型效果普遍高于數(shù)據(jù)預(yù)處理前模型訓(xùn)練效果，在學(xué)習(xí)率為0.001時(shí)基于改進(jìn)的類似VGG模型訓(xùn)練效果最佳，訓(xùn)練準(zhǔn)確率為100.00%，測(cè)試準(zhǔn)確率為97.14%。

3）基于改進(jìn)的類似VGG模型開發(fā)的哈密瓜表面缺陷檢測(cè)軟件，靜態(tài)圖像檢測(cè)速率為0.7 s/幅，200個(gè)哈密瓜測(cè)試樣本的識(shí)別準(zhǔn)確率達(dá)到93.5%，初步滿足哈密瓜表面缺陷在線檢測(cè)裝備的生產(chǎn)需求。

[1]新疆維吾爾自治區(qū)統(tǒng)計(jì)局編. 新疆統(tǒng)計(jì)年鑒2018[M]. 北京：中國(guó)統(tǒng)計(jì)出版社，2018.

[2]張明，李鵬，鄧烈，等. 基于掩模及亮度校正算法的臍橙表面缺陷分割[J]. 中國(guó)農(nóng)業(yè)科學(xué)，2019，52(2)：327-338.

Zhang Ming, Li Peng, Deng Lie, et al. Segmentation of navel orange surface defects based on mask and brightness correction algorithm[J].Scientia Agricultura Sinica, 2019, 52(2): 327-338. (in Chinese with English abstract)

[3]王銀敏，費(fèi)樹岷，真昕欣，等. 基于背景分離與亮度校正的蘋果表面缺陷提取[J]. 軟件導(dǎo)刊，2020，19(8)：234-238.

Wang Yinmin, Fei Shumin, Zhen Xinxin, et al. Apple surface defect extraction based on background separation and brightness correction[J]. Software Guide, 2020, 19(8): 234-238. (in Chinese with English abstract)

[4]杜永忠，平雪良，何佳唯. 圣女果表面缺陷檢測(cè)與分級(jí)系統(tǒng)研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44(S1)：194-199. Du Yongzhong, Ping Xueliang, He Jiawei. Surface defect detection and classification system for cherry tomatoes[J].Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(S1): 194-199. (in Chinese with English abstract)

[5]王魏. 哈密瓜外觀表皮缺陷分割及紋理分析研究[D]. 蘭州：甘肅農(nóng)業(yè)大學(xué)，2012. Wang Wei. A Study on Hami Melon Skin Defect Segmentation and Texture Analysis[D]. Lanzhou: Gansu Agricultural University, 2012. (in Chinese with English abstract)

[6]Naik S, Patel B. Machine vision based fruit classification and grading-A review[J]. International Journal of Computer Applications, 2017, 170(9): 27-34.

[7]Hu Zhentao, Zhou Lin, Jin Bing, et al. Applying improved convolutional neural network in image classification[J]. Mobile Networks and Applications, 2020, 25(1): 133-141.

[8]Leontev M I, Islenteva V, Sukhov S V. Non-iterative knowledge fusion in deep convolutional neural networks[J]. Neural Processing Letters, 2020, 51(1): 1-22.

[9]Zhou Dingxuan. Universality of deep convolutional neural networks[J]. Applied and Computational Harmonic Analysis, 2020, 48(2): 787-794.

[10]任守綱，賈馥瑋，顧興健，等. 反卷積引導(dǎo)的番茄葉部病害識(shí)別及病斑分割模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(12)：186-195.Ren Shougang, Jia Fuwei, Gu Xingjian, et al. Recognition and segmentation model of tomato leaf diseases based on deconvolution-guiding[J]. Transactions of the Chinese Society of Agricultural Engineering (Transaction of the CSAE), 2020, 36(12): 186-195. (in Chinese with English abstract)

[11]薛勇，王立揚(yáng)，張瑜，等. 基于GoogLeNet深度遷移學(xué)習(xí)的蘋果缺陷檢測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(7)：30-35. Xue Yong, Wang Liyang, Zhang Yu, et al. Defect detection method of apples based on GoogLeNet deep transfer learning[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(7): 30-35. (in Chinese with English abstract)

[12]Ahmad J, Mohammad M, Majid M, et al. Classification of sour lemons based on apparent defects using stochastic pooling mechanism in deep convolutional neural networks[J]. Scientia Horticulturae, 2020, 263: 109133.

[13]劉雙印，黃建德，徐龍琴，等. 基于PCA-SVR-ARMA的獅頭鵝養(yǎng)殖禽舍氣溫組合預(yù)測(cè)模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(11)：225-233. Liu Shuangyin, Huang Jiande, Xu Longqin, et al. Combined model for prediction of air temperature in poultry house for lion-head goose breeding based on PCA-SVR-ARMA[J].Transactions of the Chinese Society of Agricultural Engineering (Transaction of the CSAE), 2020, 36(11): 225-233. (in Chinese with English abstract)

[14]郭明軍，李偉光，楊期江，等. 基于SVD原理的PCA特征頻率提取算法及其應(yīng)用[J]. 華南理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2020，48(1)：1-9. Guo Mingjun, Li Weiguang, Yang Qijiang, et al.PCA feature frequency extraction algorithm based on SVD principle and its application[J].Journal of South China University of Technology: Natural Science Edition, 2020, 48(1): 1-9. (in Chinese with English abstract)

[15]吳順川，張晨曦，成子橋. 基于PCA-PNN原理的巖爆烈度分級(jí)預(yù)測(cè)方法[J]. 煤炭學(xué)報(bào)，2019，44(9)：2767-2776. Wu Shunchuan, Zhang Chenxi, Cheng Ziqiao. Prediction of intensity classification of rockburst based on PCA-PNN principle[J]. Journal of China Coal Society, 2019, 44(9): 2767-2776. (in Chinese with English abstract)

[16]朱婭妮，倪煊，姚曄. 結(jié)合奇異值臉和注意力深度學(xué)習(xí)的人臉識(shí)別[J]. 小型微型計(jì)算機(jī)系統(tǒng)，2020，41(8)：1763-1767.

Zhu Yani, Ni Xuan, Yao Ye. Face recognition based on SVDF and deep learning with attention[J].Journal of Chinese Computer Systems, 2020, 41(8): 1763-1767. (in Chinese with English abstract)

[17]徐偉，劉穎，朱婷鴿. 基于DCT和SVD的圖像哈希水印算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2020，41(1)：145-149. Xu Wei, Liu Ying, Zhu Tingge. Image hash watermarking algorithm based on DCT and SVD[J].Computer Engineering and Design, 2020, 41(1): 145-149. (in Chinese with English abstract)

[18]Wu Xiaoqiang, Li Jia, Jin Yongquan, et al. Modeling and analysis of tool wear prediction based on SVD and BiLSTM[J]. International Journal of Advanced Manufacturing Technology, 2020, 106(9): 4391-4399.

[19]陳綿書，于錄錄，蘇越，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的多標(biāo)簽圖像分類[J]. 吉林大學(xué)學(xué)報(bào)：工學(xué)版，2020，50(3)：1077-1084. Chen Mianshu, Yu Lulu, Su Yue, et al. Multi-label images classification based on convolutional neural network[J].Journal of Jilin University: Engineering and Technology Edition, 2020, 50(3): 1077-1084. (in Chinese with English abstract)

[20]王佳盛，陳燕，曾澤欽，等. 基于全卷積神經(jīng)網(wǎng)絡(luò)的荔枝表皮缺陷提取[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報(bào)，2018，39(6)：104-110.

Wang Jiasheng, Chen Yan, Zeng Zeqin, et al. Extraction of litchi fruit pericarp defect based on a fully convolutional neural network[J]. Journal of South China Agricultural University, 2018, 39(6): 104-110. (in Chinese with English abstract)

[21]向陽(yáng)，林潔雯，李亞軍，等. 芒果雙面成熟度在線檢測(cè)分級(jí)系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(10)：259-266.

Xiang Yang, Lin Jiewen, Li Yajun, et al. Mango double-sided maturity online detection and classification system[J]. Transactions of the Chinese Society of Agricultural Engineering (Transaction of the CSAE), 2019, 35(10): 259-266. (in Chinese with English abstract)

[22]Nasiri A, Taheri-Garavand A, Zhang Yudong, et al. Image based deep learning automated sorting of date fruit[J]. Postharvest Biology & Technology. 2019, 153: 133-141.

[23]Wang Gaihua, Lü Meng, Li Tao, et al. Convolutional neural network based on spatial pyramid for image classification[J]. Journal of Beijing Institute of Technology, 2018, 27(4): 630-636.

[24]王紅霞，周家奇，辜承昊，等. 用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的設(shè)計(jì)[J]. 浙江大學(xué)學(xué)報(bào)：工學(xué)版，2019，53(7)：1363-1373. Wang Hongxia, Zhou Jiaqi, Gu Chenghao, et al. Design of activation function in CNN for image classification[J].Journal of Zhejiang University: Engineering Science, 2019, 53(7): 1363-1373. (in Chinese with English abstract)

[25]肖進(jìn)勝，劉恩雨，朱力，等. 改進(jìn)的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法[J]. 光學(xué)學(xué)報(bào)，2017，37(3)：103-111. Xiao Jinsheng, Liu Enyu, Zhu Li, et al. Improved image super resolution algorithm based on convolutional neural network[J]. Acta Optica Sinica, 2017, 37(3): 103-111. (in Chinese with English abstract)

[26]曾窕俊，吳俊杭，馬本學(xué)，等. 基于幀間路徑搜索和E-CNN的紅棗定位與缺陷檢測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(2)：307-314. Zeng Yaojun, Wu Junhang, Ma Benxue, et al. Localization and defect detection of jujubes based on search of shortest path between frames and Ensemble-CNN model[J].Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(2): 307-314. (in Chinese with English abstract)

[27]陳英義，龔川洋，劉燁琦，等. 基于FTVGG16卷積神經(jīng)網(wǎng)絡(luò)的魚類識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(5)：223-231. Chen Yingyi, Gong Chuanyang, Liu Yeqi, et al. Fish identification method based on FTVGG16 convolutional neural network[J].Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(5): 223-231. (in Chinese with English abstract)

[28]Alex K, Ilya S, Hinton G.ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[29]周飛燕，林鵬，董軍. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào)，2017，40(6)：1229-1251. Zhou Feiyan, Lin Peng, Dong Jun.Review of convolutional neural network[J]. Chinese Journal of Computers, 2017, 40(6): 1229-1251. (in Chinese with English abstract)

[30]崔永杰，高宗斌，劉浩洲，等. 基于卷積層特征可視化的獼猴桃樹干特征提取[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(4)：181-190. Cui Yongjie, Gao Zongbin, Liu Haozhou, et al. Feature extraction of kiwi trunk based on convolution layer feature visualization[J].Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 181-190. (in Chinese with English abstract)

[31]李玉鑒，張婷. 深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)從入門到精通[M].北京：機(jī)械工業(yè)出版社，2018.

Surface defect detection of Hami melon using deep learning and image processing

Li Xiaozhan1, Ma Benxue1,2※, Yu Guowei1, Chen Jincheng1,3, Li Yujie1, Li Cong1

(1,,832003;2,,832003,;3,,832000,)

An improved Convolutional Neural Network (CNN) was proposed to solve the time-consuming and inefficient detection for the surface defect on the Hami melon in recent years. The Hami melons were purchased from 103 Regiment, 6th Agricultural Division, the Xinjiang Production and Construction Corps, China. A total of 200 images of normal Hami melons were taken by a camera in a black box. 100 images of Hami melons were collected with the various surface defects, such as mildew, sunburn and crack. Since it is difficult to collect samples with three defect types, the data enhancement technique was used to expand the dataset. A total of 10 000 sample images were obtained, and then divided into a training and test dataset, according to the proportion of 4:1. A VGG-like model was improved by adding a convolutional layer and a pooling layer at the beginning. As such, the improved VGG-like model included three convolutional layers, three max-pooling layers, a flatten layer, and two fully-connected layers. The softmax classifier was used in the last fully-connected layer. The Rectified Linear Unit (ReLU) function was chosen as the activation function. The Stochastic Gradient Descent (SGD) was chosen as the optimizer. The improved VGG-like model was used to identify four-class defect samples. The optimal hyperparameters in the CNN models were determined via the performance under the different learning rates and epochs. In all established CNN models, the test data showed that the AlexNet model outperformed other VGG-16 models, with the learning rate of 0.001 and the epochs of 500. Moreover, the AlexNet model can achieve the best performance with the accuracy of 99.69% and 96.62% in the training and test dataset, respectively. Three image processing techniques were compared to evaluate the preprocessing impact, including the Principal Components Analysis (PCA), Singular Value Decomposition (SVD), and binarization. The results indicated that the preprocessing provided a better detection performance on the various surface features of Hami melon in image preprocessing. The improved VGG-like model was the optimal to detect four-class defect on the Hami melon surface, indicating the learning rate of 0.001 and the epochs of 500. The prediction accuracy of improved VGG-like model in test set reached 97.14%. A visualization technique was used to analyze the features of convolutional layers, particularly on feature extraction in a CNN model. The visualization results showed that the defect features became more and more obvious with the increase of the convolutional layers. The defect features were the clearest in the captured images by the last convolutional layer. In addition, the convolutional features with the input as the preprocessing images were clearer than before. Finally, the improved VGG-like model was verified by the developed software on the plateform of PyQt5. The developed software functions included Open Camera, Read Image, Image Processing (Gray, PCA, SVD and Binarization), and Image Identification. The detection time of a single image was less than 0.7 s. In each type, 50 images were captured under the same environment. A total of 200 test images were collected. The test results showed that none of normal samples was predicted as defect samples. Only 8 crack Hami melons was incorrectly identified, due mainly to the unobvious feature. The average prediction accuracy of 200 samples was 93.5%. The improved VGG-like model with the preprocessing can be expected to apply for the detection of defects on the Hami melon surface, and other on-line nondestructive detection in the future.

image processing; defects; nondestructive detection; convolutional neural network; visualization; Hami melon

李小占，馬本學(xué)，喻國(guó)威，等. 基于深度學(xué)習(xí)與圖像處理的哈密瓜表面缺陷檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(1)：223-232.doi：10.11975/j.issn.1002-6819.2021.01.027 http://www.tcsae.org

Li Xiaozhan, Ma Benxue, Yu Guowei, et al. Surface defect detection of Hami melon using deep learning and image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(1): 223-232. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.01.027 http://www.tcsae.org

2020-09-15

2020-11-10

西部特果精選關(guān)鍵技術(shù)研發(fā)與集成示范（2015BAD19B03）

李小占，主要從事農(nóng)產(chǎn)品智能化檢測(cè)。Email：15136768525@163.com

馬本學(xué)，博士，教授，博士生導(dǎo)師，主要從事農(nóng)產(chǎn)品智能化檢測(cè)技術(shù)與裝備研究。Email：mbx_shz@163.com

10.11975/j.issn.1002-6819.2021.01.027

S652.1; TP391.4

A

1002-6819(2021)-01-0223-10