基于殘差網絡和圖像處理的干制哈密大棗外部品質檢測

馬本學 李 聰 李玉潔 喻國威 李小占 張原嘉

(1.石河子大學機械電氣工程學院， 石河子 832003； 2.農業農村部西北農業裝備重點實驗室， 石河子 832003)

0 引言

哈密大棗是新疆傳統名優特產之一，個大肉厚、食之濃郁、外觀紫紅且有光澤，是藥食同源的滋補食品和藥用食品[1]。目前大部分哈密大棗干制后經大小分級機分選后直接流入市場，若不再進行初步的品質分級，缺陷棗流入市場，將影響干制哈密大棗的附加值。

針對紅棗的外部品質檢測問題，許多學者已經進行了大量的研究。李運志等[2]依據半干棗在病害和非病害區域色調值差異，提出一種基于機器視覺的缺陷識別方法，用提取的病害區域與棗表面積的比作為閾值來確定識別精度，以識別病害和裂痕棗。張萌等[3]針對紅棗表面灰度不均勻問題，提出一種表面灰度快速補償方法，解決了表面缺陷難以快速定位的問題，顯著地增強了果面缺陷特征，提高了紅棗缺陷檢測的準確率。海潮等[4]根據紅棗及其表面缺陷的特征，提出一種在顏色空間模型中采用Blob分析算法進行紅棗與背景的分離以及紅棗表面缺陷的識別方法，可以快速準確地實現破頭果、霉變果、漿頭果、蟲蛀果等典型紅棗表面缺陷的識別。施鍵等[5]利用鮮棗輪廓上兩點之間最大距離對鮮棗進行大小分級，準確率達91.7%，單通道分級效率為6個/s。文獻[6]通過提取干制哈密大棗的紋理特征和顏色特征，利用支持向量機對干制哈密大棗的3個等級進行分級，準確率達到96.67%。這些手工提取紅棗單一外部特征(缺陷、尺寸和紋理等)的方法，分級準確率有限，且無法全面客觀地反映人類對紅棗外部品質的直觀評價。文獻[7]提出了一種基于圖像邊緣檢測的紅棗分級方法，通過對紅棗尺寸、表面輪廓和缺陷進行檢測實現紅棗分級，準確率可達91.45%。但該方法只能針對破頭果這類圖像分割后像素面積具有差異性的缺陷棗果。文獻[8]利用機器視覺對干制駿棗進行缺陷檢測與尺寸分級，尺寸分級正確率可達95.3%，但缺陷識別精度較低，其中鳥啄和藥害的識別準確率僅為86.7%和76.7%，表明機器視覺對缺陷棗的識別效果并不理想。文獻[9]提出了一種基于深度殘差網絡對紅棗表面缺陷以及紋理識別的分類算法，該分類方法準確率達到了96.11%，檢測效率為120個/min，但該方法只針對正常棗與缺陷棗，且未考慮紅棗尺寸這一重要品質等級外觀指標，故以上研究有很大的局限性。

隨著互聯網時代大數據技術的發展，深度學習已經廣泛應用于人臉識別、語音識別和行人檢測等[10-14]。卷積神經網絡作為深度學習中最為重要的模型之一，具有強大的特征提取性能，已經在圖像識別技術的應用中起到了至關重要的作用[15]。何進榮等[16]針對蘋果外部品質分級中準確率較低、魯棒性較弱等問題，提出一種多卷積神經網絡融合DXNet模型的蘋果外觀分級方法，分級準確率達到了97.84%。傅隆生等[17]針對田間條件下多簇獼猴桃果實識別問題，提出一種基于LeNet卷積神經網絡的深度學習模型進行多簇獼猴桃果實圖像的識別方法，該識別方法對遮擋果實、重疊果實、相鄰果實和獨立果實的識別率分別達78.97%、83.11%、91.01%和94.78%。趙德安等[18]針對復雜環境下蘋果識別定位問題，提出一種基于YOLO v3深度卷積神經網絡的蘋果定位方法，采用端到端的整體訓練讓神經網絡自適應地學習不同環境下蘋果定位所需要的特征，準確率和召回率分別達97%和90%以上。SARANYA等[19]以蘋果、香蕉、石榴和柑橘為研究對象，在公開數據集fruit-360上對傳統的機器學習方法和深度學習方法進行了比較，結果表明CNN模型有更好的學習效果。以上研究為卷積神經網絡應用于水果識別與分類提供了參考和可行性依據。

為全面客觀評價紅棗外部品質，本文以干制哈密大棗為研究對象，采用深度學習結合圖像處理的方法，對干制哈密大棗的缺陷、尺寸和褶皺進行特征提取，實現干制哈密大棗外部品質綜合檢測，為進一步開發紅棗品質在線檢測技術提供理論依據和技術參考。

1 材料與方法

1.1 試驗材料

試驗材料為干制哈密大棗，采購自新疆維吾爾自治區哈密市花園鄉閃電農產品專業合作社，依據DB 65/T 3460—2012《地理標志產品哈密大棗》[20]中對干制哈密大棗的分級標準，從采購的干制哈密大棗通貨(包含各等級正常棗和各種缺陷棗)中，首先挑選出裂紋、鳥啄和霉變3種缺陷棗各150個，并在正常棗中挑選出尺寸2個等級、褶皺2個等級的干制哈密大棗各200個。根據缺陷、尺寸和褶皺3個等級外觀指標，本文將干制哈密大棗共劃分為一級、二級、三級和等外品(缺陷棗)4個等級，各等級樣本圖像如圖1所示。

機器視覺系統由封閉暗箱裝置、LED環形光源、HDMI工業相機(4～12 mm變焦鏡頭，1 200萬像素)和便攜式計算機組成。干制哈密大棗棗梗垂直光源方向放置，每個干制哈密大棗正反面各拍攝1幅圖像，共拍攝2 500幅圖像，鏡頭與實物的距離為23.5 cm。經對原始圖像質量篩選(將人為拍攝失誤導致的對焦不準、曝光時間過長以及拍攝表面與標簽不一致的圖像去除)后，最終得到正常棗圖像1 200幅，裂紋、鳥啄和霉變棗圖像各200幅。

1.2 試驗平臺

試驗平臺由計算機硬件和開發平臺兩部分組成。計算機硬件：處理器(CPU)為Intel (R) Core (TM) I7-8700 CPU @3.20 GHz，圖形處理器(GPU)為NVIDIA GeForce RTX2060。開發平臺： Windows 10操作系統上的Pytorch深度學習框架，配置NVIDIA CUDA Toolkit 10.1和深度神經網絡加速庫NVIDIA CUDNN v 8.0.4。編程語言為Python 3.7.4。

1.3 圖像增強

圖像分類時，有效的圖像數據增強可以進一步提高分類精度[21]。隨機挑選200幅正常棗圖像與600幅缺陷棗圖像組成干制哈密大棗缺陷樣本數據集，并將其批量調整為224像素×224像素。鑒于干制哈密大棗更換不同角度觀察都不會改變其特征的特點，采用隨機翻轉、鏡像、隨機裁剪和高斯噪聲4種變換方式對樣本數據集進行擴充，得到正常、裂紋、鳥啄和霉變棗圖像各1 000幅，共4 000幅干制哈密大棗圖像，極大地增加了樣本多樣性。

1.4 分類模型

1.4.1改進殘差網絡模型

在深度卷積神經網絡訓練過程中，通常會出現梯度消失的問題，隨著訓練的進行，早期層的梯度幅度迅速降低到零。為解決這一問題，文獻[22]提出了殘差網絡(Residual network, ResNet)學習模型。ResNet在網絡中引入殘差結構，通過捷徑連接的方式形成跳躍式結構，為解決深層卷積神經網絡模型的錯誤率不降反升的難題提供了新的方向。

圖2為殘差模塊學習示意圖，假設某段神經網絡的輸入樣本是x，期望輸出是H(x)，以往的卷積神經網絡模型都試圖通過堆疊不同的層找到可將輸入x映射為輸出H(x)的函數，然而殘差網絡的思想是構建公式

F(x)=H(x)-x

(1)

式中F(x) ——堆疊的非線性層

每個ResNet塊都包含一系列層，圖2中有2個權重層，每一個權重層的輸出和堆疊的權重層最終輸出計算公式為

F(x)=W2δ(W1x)

(2)

H(x)=W2δ(W1x)+x

(3)

式中δ——激活函數ReLU

W1——第1層的權重

W2——第2層的權重

與常規深度網絡最大的差別是，殘差網絡利用捷徑方式連接，通過身份映射操作將堆疊層的輸入和輸出組合在一起，無需任何附加參數。因此，梯度很容易回流，可以更快地訓練更多的層。但傳統ResNet由于其面向上千種分類，參數量大，存在冗余參數，降低訓練與識別速度[23]，考慮到研究對象(正常棗、裂紋棗、鳥啄棗和霉變棗)共有4類，故本文網絡模型以ResNet-50網絡結構為基礎，通過改變網絡結構以創建新的網絡結構來解決以上問題，并提高了分類的準確率。

ResNet-50網絡主體結構由輸入主干、4個殘差塊及最后的輸出層組成，模型輸出維度為4，分別對應4類干制哈密大棗圖像。輸入主干由輸出通道數為64的7×7卷積核和3×3的最大池化層組成，步長均為2。經輸入主干后原始圖像尺寸變為原來的1/4，并且通道數從3增加到了64。ResNet-50網絡結構從第2個殘差塊開始，每個殘差塊輸出都經過1個下采樣模塊，然后是2個殘差模塊。在下采樣模塊中分別設有2條路徑，分別是主干路徑和捷徑路徑，主干路徑包含3個卷積層，其中卷積核大小分別是1×1、3×3以及1×1，用于對輸入圖像進行特征提取，第1個卷積核的步長為2，可將輸入圖像尺寸減半，最后1個卷積層的輸出通道數是前2個卷積層的4倍，這一結構稱為瓶頸結構。捷徑路徑使用步長為2的1×1卷積核，保證輸出圖像尺寸與主干路徑輸出圖像尺寸一致，以此對2個路徑進行求和輸出。

干制哈密大棗缺陷分類模型是在ResNet-50網絡結構的基礎上進行進一步改進。通過觀察ResNet-50網絡結構可知，輸入主干是由1個7×7的卷積核等組成，其中卷積層的計算成本是卷積核寬度或者卷積核高度的平方，因此1個7×7卷積核的計算量是3個3×3卷積核計算量的5至6倍。本文將輸入主干中的7×7卷積核替換成3個3×3的卷積核，其中第1個卷積核步長為2，輸出通道數為32，最后1個卷積核輸出通道數為64，在保證和原始網絡輸出主干信息一致的情況下大幅降低了計算成本，同時減少網絡模型參數數量。

同時，改變分類模型中下采樣模塊的通道數。由于原始2個殘差塊之間先通過1×1卷積升維使得主干路徑可以和捷徑路徑疊加，然后通過1×1卷積降維輸出，因此導致殘差塊之間丟失了大量的輸入特征信息。模型通過改變殘差塊中各卷積核通道數，輸入特征信息通過1×1卷積升維后直接進行輸出，不僅保證了輸入特征信息完整性，而且降低了計算成本。本文分類網絡模型的輸入結構與下采樣結構如圖3(圖中s為步長)所示。模型具體結構如圖4所示。表1列出了改進的ResNet-50網絡與原始ResNet-50網絡中殘差塊結構及參數數量。可以看出，改進ResNet-50網絡較原始網絡的參數量減少約6.9×106。

表1 2種網絡卷積結構對比Tab.1 Comparison of two network convolution structures

1.4.2閾值檢測方法

紅棗尺寸是其分級的重要依據之一[24]，本文提出一種閾值檢測方法，首先通過閾值分割方法對干制哈密大棗進行圖像分割，得到干制哈密大棗感興趣區域，獲取干制哈密大棗感興趣區域二值圖像的像素面積與周長。并對干制哈密大棗感興趣區域圖像進行圓擬合，獲取干制哈密大棗圖像圓半徑。最終得到干制哈密大棗3種尺寸特征，即面積、周長與擬合圓半徑，并對3種特征分別建立閾值檢測模型，根據樣本數據最小方差尋求最佳閾值實現干制哈密大棗的尺寸檢測。

干制哈密大棗表面紋理可以反映干制哈密大棗褶皺程度[25]。在拍攝干制哈密大棗圖像時可以發現，表面褶皺少時產生的光斑少，表面褶皺多時產生的光斑也會多。基于這種思路，對干制哈密大棗感興趣區域圖像再次采用閾值分割方法，提取干制哈密大棗表面紋理區域圖像，并對紋理區域進行二值化、移除小面積對象操作，最終得到紋理區域二值圖。對紋理區域二值圖的封閉區域進行連通域統計獲取紋理數量，建立紋理數量特征閾值檢測模型，根據樣本數據最小方差尋求最佳閾值實現干制哈密大棗的褶皺檢測。

2 結果與分析

2.1 缺陷識別結果與分析

為驗證提出的模型在干制哈密大棗缺陷分類上的優越性，按照4∶1的比例將4 000幅圖像隨機劃分為訓練集與驗證集。在相同條件下試驗對比ResNet-50、VGG-19和GoogLeNet Inception v2深度卷積神經網絡標準模型對干制哈密大棗缺陷棗的識別分類效果。

VGGNet將2個3×3卷積核的卷積層代替了以往深度學習模型中1個5×5卷積核的卷積層，全部使用3×3小卷積核來加深網絡的深度，但VGGNet含有3個全連接層，參數量極大，耗費計算資源更多[26]。GoogLeNet參考VGGNet使用多個小卷積核替代大卷積核的方法，通過引入Inception模塊，使用多個尺度的卷積核提取特征。同時，采用批量歸一化的方法，使模型更加輕量化，但存在計算次數太多，效率不足的問題[27]。ResNet在VGGNet的基礎上引入跨層連接，使用殘差模塊構造更加復雜的網絡。由于使用全局平均池化操作而不是全連接層，所以ResNet模型的參數更少，但傳統ResNet面向上千種分類，訓練小樣本時，存在冗余參數，降低訓練與識別速度。本文提出改進的ResNet-50網絡結構，將主干網絡上的7×7卷積核用3個3×3卷積核代替，同時改變各卷積核的通道數，使殘差塊輸入與輸出之間不需要使用1×1濾波器降維，不僅減少了輸入特征信息的丟失，而且極大地減少了網絡計算成本。綜合考慮硬件性能和訓練時間，經多次調試后，批大小(Batchsize)設置為32，采用Adam優化器進行模型訓練優化，初始學習率設置為0.001，梯度一階矩衰減系數β1設置為0.9，梯度二階矩衰減系數β2設置為0.999。在經過200輪訓練后，各模型的識別準確率與損失值曲線如圖5、6所示。

從圖5可以看出，在訓練初始階段，4種深度卷積神經網絡模型的識別準確率都出現快速提升，達到80%以上，但不同模型提高程度各有差異。在訓練100輪后VGG-19的識別準確率基本穩定在90%。GoogLeNet Inception v2由于使用多個尺度的卷積核提取特征，在訓練初始階段表現出較高的識別準確率，但模型收斂速度較慢。ResNet-50識別準確率與GoogLeNet Inception v2相差不大，但模型更加收斂，且識別準確率都要高于VGG-19。各組訓練與測試的結果見表2。從表2可以看出，改進的ResNet-50模型測試準確率可達到97.25%，優于其他3種模型，且較原始ResNet-50模型每輪訓練時長減少5.13 s。

表2 試驗模型對比結果Tab.2 Comparison results of models

2.2 尺寸檢測結果與分析

本文提出一種閾值檢測方法實現干制哈密大棗尺寸檢測。干制哈密大棗圖像面積、周長和擬合圓半徑3種特征提取過程如圖7所示。3種閾值建立的檢測模型見圖8。干制哈密大棗尺寸檢測模型測試結果見表3，從表3可看出，面積閾值的識別精度最高，當面積閾值選擇為1.8×106像素時，對于干制哈密大棗尺寸檢測80個樣本，75個判斷正確，總體正確率為93.75%，其中一級和二級的檢測精度分別為95.00%和92.50%。綜合試驗結果，面積閾值模型可滿足對干制哈密大棗尺寸檢測。

表3 干制哈密大棗尺寸檢測模型測試結果Tab.3 Results of size detection model of dried Hami jujube

2.3 褶皺檢測結果與分析

圖9為干制哈密大棗不同褶皺等級表面紋理提取過程，對背景分割后的二值圖像采用5×5的濾波器進行腐蝕操作，消除邊界影響；對紋理分割后的圖像進行刪除像素面積操作，刪除面積小于80像素的光斑，避免一些極小光斑帶來的影響，并對紋理提取后的圖像采用8連通域計數，以此對集中與分散的光斑進行計數。從圖9中可以看出，干制哈密大棗褶皺處光斑明顯。褶皺等級不同的干制哈密大棗圖像光斑分布也不一樣，果面飽滿光滑的干制哈密大棗紋理數量少且光斑集中，果面較褶皺的干制哈密大棗紋理數量多且光斑分散。圖10為干制哈密大棗紋理數量特征建立的閾值檢測模型。

干制哈密大棗褶皺檢測模型測試結果見表4，從表4可看出，當選擇紋理數量為特征，閾值設置為36時，對于干制哈密大棗尺寸檢測80個樣本76個判斷正確，總體準確率為93.75%，其中一級和二級的檢測精度分別為92.50%和95.00%。綜合試驗結果，紋理數量閾值模型可滿足對干制哈密大棗的褶皺檢測。

表4 干制哈密大棗褶皺檢測模型測試結果Tab.4 Results of wrinkle detection model for dried Hami jujube

2.4 模型驗證

為驗證模型的實用性，結合維視圖像試驗裝置開發了一款干制哈密大棗外部品質檢測系統并進行試驗驗證。首先判別干制哈密大棗是否為缺陷棗，若是缺陷棗，則直接輸出為等外品，若不是缺陷棗，則通過尺寸與褶皺特征閾值對干制哈密大棗進行檢測。其中每個干制哈密大棗的尺寸與褶皺都包含2個等級，一級記為1，二級記為2。若尺寸與褶皺同時輸出為1，則記為一級棗；若尺寸與褶皺只有其中一個輸出為1，則記為二級棗；若尺寸與褶皺都輸出為2，則記為三級棗。具體檢測流程如圖11所示。

干制哈密大棗外部品質檢測界面如圖12所示。后臺處理通過編寫Python語言調用OpenCV打開相機，并通過光電傳感器控制相機拍攝獲取圖像，調用Pytorch深度學習框架實現干制哈密大棗外部品質分級。通過檢測分級系統對干制哈密大棗外部品質進行綜合判別，通過實時采集圖像進行試驗驗證，一級、二級、三級和等外品的干制哈密大棗樣本分別隨機挑選40個進行檢測，干制哈密大棗外部品質檢測系統見圖13。

經測試，160個干制哈密大棗樣本中，檢測正確樣本數為149，總體準確率為93.13%。干制哈密大棗檢測系統驗證的混淆矩陣結果如圖14所示。可以看出40個一級棗樣本6個被誤判為二級棗；40個二級棗樣本3個被誤判為三級棗，1個被誤判為一級棗。表明尺寸和褶皺中有1個閾值特征可能會被錯誤檢測。此外，40個等外品樣本全部判斷正確，較好地避免了缺陷棗果被誤判為正常棗果的危害。結果表明，改進的ResNet-50網絡結構能夠較好地識別干制哈密大棗缺陷特征。綜上所述，本文構建的檢測系統可以實現干制哈密大棗外部品質綜合檢測。

3 結論

(1)改進的ResNet-50網絡結構可以提升干制哈密大棗缺陷的識別準確率，且大大降低了網絡的計算成本。與原始ResNet-50網絡和經典深度卷積神經網絡模型VGG-19、GoogLeNet Inception v2相比較，相同條件下，本文所提模型能更快收斂，缺陷識別測試準確率達97.25%。

(2)提出一種閾值檢測方法，通過圖像像素面積和紋理數量特征分別建立干制哈密大棗尺寸、褶皺閾值檢測模型。試驗結果表明，尺寸和褶皺的檢測準確率均可達到93.75%，證明了模型的有效性。

(3)為驗證檢測模型的實用性，結合維視圖像試驗裝置開發了干制哈密大棗外部品質檢測系統，綜合了缺陷識別模型和尺寸、褶皺檢測模型，試驗結果表明，外部品質綜合檢測總體準確率可達93.13%，初步滿足干制哈密大棗外部品質在線檢測裝備的生產需求。