基于網中網卷積神經網絡的紅棗缺陷檢測

楊志銳 鄭 宏 郭中原 許曉航

(武漢大學電子信息學院，湖北 武漢 430072)

紅棗味道鮮美[1]，具有極高的營養價值、食用價值和藥用價值。而脫皮、裂口、蟲害等缺陷會影響紅棗的品質和價值[2]。目前紅棗缺陷檢測方法主要有：人工分級和基于機器視覺的分級方法。人工分級成本高、效率低、勞動強度大、精度差、易誤檢漏檢等[3]。詹映[4]曾運用RGB和HIS模型提取紅棗的紅體均值、綠體均值、藍體均值及均值方差，通過設置相應的閾值作為缺陷檢測的方法。張萌等[5]針對紅棗表面曲率變化導致其分布不均勻的特性，提出了使用單色CCD、濾光片和紅外光源提取紅棗近似圖像，通過均值濾波器對去背景后的圖像進行濾波獲取亮度圖像，并使用該亮度圖像對去背景后的紅棗圖像進行亮度校正，提高了缺陷檢測的實時性。這些方法利用圖像處理和機器視覺技術來實現紅棗的無損缺陷檢測，需要根據棗的不同種類人工設計相應的特征提取器，步驟較為繁瑣，且智能化程度不高。因此需要尋找高效、快速、準確、智能的紅棗缺陷識別方案。

相較于傳統的特征提取方法，卷積神經網絡包含的卷積層具有更強大的特征學習和表征能力，并且具有自動學習特征[6]。Mohanty等[7]采用AlexNet成功實現了植物病害的檢測；Wang等[8]通過訓練卷積神經網絡實現了對植物病害嚴重程度的自動和準確估計；Johannes等[9]使用改進的基于深度殘差神經網絡的算法進行了多種植物疾病的檢測；Ferentinos[10]開發了卷積神經網絡模型對健康和病害葉片的檢測和診斷； Rangarajan等[11]使用Alexnet的預訓練模型對番茄作物病害進行了有效分類。試驗擬提出一種基于網中網(NIN-CNN)卷積神經網絡的方法對紅棗進行缺陷檢測，利用含有隱藏層的MLP卷積層結構替換Alexnet中原有的單卷積層結構進行更加抽象復雜特征的提取，采用全局平均池化層替代原有的全連接層，以期在大大減少網絡參數數量的同時實現更高準確率的紅棗缺陷識別。

1 NIN-CNN網絡模型

NIN-CNN卷積神經網絡是一種基于AlexNet改進的卷積神經網絡，在原有AlexNet卷積神經網絡的基礎上增加了1×1隱含感知層來增強網絡的非線性，從而提取更抽象的特征；采用全局平均池化層替換全連接層，不僅可減少參數數量，還有利于提高檢測準確率。

1.1 AlexNet卷積神經網絡架構

如圖1所示，AlexNet網絡結構共有8層，其中包含5層卷積層和3層全連接層，在第1、2、5卷積層后添加了最大池化層來減少下一層輸入的參數和計算量；全連接層對最后一層卷積層提取的特征進行加權，通過線性變換將特征空間映射到樣本標記空間；在最后一個全連接層后接Softmax層進行分類。

1.2 基于AlexNet改進的NIN-CNN神經網絡

Alexnet所采用的卷積濾波器屬于廣義線性模型，抽象程度較低，不利于高度抽象特征的提取；其全連接層參數量大，容易造成過擬合。針對以上缺陷，進行如下改進。

(1) 針對傳統卷積層，通過堆加1×1大小的卷積層組成多層感知器(MLP)微型網絡單元(又稱網絡中的網絡，即NIN-CNN)，使其提取特征的能力更強大。

(2) 用全局均值池化層替換全連接層，防止全連接產生的過擬合，并提高網絡模型的泛化能力。

如圖2所示，NIN-CNN模型由12個卷積層組成。網絡的具體參數如表1所示。該網絡在AlexNet網絡的11×11，5×5，3×3卷積層后分別串聯了兩個1×1大小的卷積核，組成4個MLP結構，每個MLP結構之間采用類型為最大池化層，卷積核大小為3×3，步長為2的池化層進行連接采樣，網絡中的最后一個MLP結構之間采用類型為全局平均池化、卷積核大小為6×6、步長為1的全局均值池化層進行連接。

1.2.1 MLP卷積層 傳統卷積層使用線性濾波器進行掃描輸入，后接一個非線性激活函數，得到輸出作為特征圖。特征提取器由卷積層和空間池化層交替堆疊產生。按式(1)計算AlexNet特征圖。

(1)

式中：

fa,b,m——AlexNet特征圖；

xa,b——以(a，b)為中心的輸入塊；

圖1 AlexNet網絡結構示意

圖2 NIN-CNN網絡結構圖

表1NIN-CNN網絡參數

Table1TheparametersofNIN-CNNnetwork

層名稱卷積核大小步長層名稱卷積核大小步長卷積層111×111卷積層13×31級聯跨信道參數池化層11×11級聯跨信道參數池化層51×11級聯跨信道參數池化層21×11級聯跨信道參數池化層61×11最大池化層13×32最大池化層33×32卷積層25×51卷積層43×31級聯跨信道參數池化層31×11級聯跨信道參數池化層71×11級聯跨信道參數池化層41×11級聯跨信道參數池化層81×11最大池化層23×32全局最大池化層6×61

Wm——卷積參數。

當需要提取的特征較簡單，是線性可分時，這種線性卷積足以用于提取抽象特征；當特征較為復雜，抽象度更高時，采用高度非線性函數進行抽象特征的提取。

根據CNN高層特征是底層特征通過某種運算的組合原理，NIN-CNN網絡對傳統的卷積層進行了改進：采用少量參數取得了超過AlexNet的性能，提出在每個局部感受野中增加更為復雜的運算，并引入基于感知機模型的卷積層。多層感知機作為一個深度模型，并按式(2)進行計算。

(2)

式中：

bm——第m層的偏置；

xa,b——以(a，b)為中心的輸入塊。

傳統卷積層后串聯兩個大小為1×1并具有ReLU函數的卷積層即可組成MLP卷積層。改進的NIN-CNN網絡使用的MLP卷積層實際上是由一個普通的卷積層和兩個1×1卷積層構成，其中普通卷積層用來提取圖像的局部特征，1×1卷積層增加了網絡單元的非線性，有利于提取不同通道的特征圖像。此外，NIN-CNN網絡模型中的每個卷積層后都有一個Relu非線性層，增加了卷積層數量，使其具有更好的非線性決策函數的建模效果，提高了分類的準確率。

1.2.2 全局平均池化層 AlexNet網絡的卷積層、池化層以及激活函數層將原始數據映射到隱層特征空間，最后一個卷積層得到的特征圖被向量化后送入全連接層，全連接層將學到的“分布式特征表示”映射到樣本標記空間，并連接歸一化指數函數邏輯回歸層進行分類。但全連接層因為參數數量太多，容易出現過擬合現象，阻礙網絡的泛化能力。因此將dropout層用于正則化，在訓練過程中將全連接層的一半激活值置0，改善了其泛化能力并在很大程度上預防了過擬合。

實際上，對最后一個卷積層輸出的每個特征圖進行全局均值池化，使每張特征圖都可以得到一個輸出，在大大減少參數量、減小網絡的同時可避免過擬合；此外，每張特征圖的輸出特征可表示輸出類的特征，通過增強特征圖與類比間的對應關系使網絡結構保留得更好。dropout層的引入造成了全連接層的參數量大大增加，模型復雜度高，泛化能力差，而NIN-CNN神經網絡采用全局均值池化替代全連接層的策略使得dropout不復存在，并且達到了用更少的參數取得更準確分類效果的目的。

2 基于NIN-CNN的紅棗缺陷檢測

試驗提出的基于NIN-CNN[12]的紅棗缺陷檢測流程包含網絡模型的學習和網絡模型的檢測兩大階段，具體流程圖如圖3所示。

圖3 NIN-CNN模型學習與檢測流程圖

2.1 網絡模型的學習

首先要進行樣本數據的增廣得到不同亮度、角度的擴充數據樣本；然后進行參數設置；最后利用預設參數的NIN-CNN模型對樣本進行學習，直至得到最終的網絡模型。

2.1.1 數據的增廣 卷積神經網絡對于數據量的要求比較高，首先對紅棗進行數據增廣以提高模型的泛化能力。自然圖像的數據增廣包括水平或垂直翻轉、旋轉、縮放、裁剪、平移、添加噪聲、調整對比度和亮度等。紅棗存在大小不均；在生產線上進行檢測時，其擺放角度也是隨機的；此外，紅棗加工所處生產環境中存在各種圖像噪聲。綜上，分別采用尺度統一化、水平及垂直翻轉、旋轉、高斯加噪的方法進行數據增廣。

數據增廣采用的是python數據增廣庫imgaug，具體步驟為：首先采用水平翻轉、上下反轉、鏡像翻轉改變紅棗的空間位置。然后利用imgaug庫中的函數進行高斯加噪模擬生產環境中的噪聲，同時對空間進行明暗變換來模擬生產線上不同的光照。最后將紅棗圖像歸一化到大小為256×256。試驗中對空間的翻轉、旋轉、明暗變換以及空間加噪賦予一定的概率，每張樣本圖片可能隨機地被翻轉隨機的度數，亮度隨機增加或減少，隨機加上噪聲。此外，根據每類紅棗的數量進行相應倍數的增廣使其整體達到數據均衡，部分增廣后的圖片如圖4所示。由圖4可知，增廣后的紅棗在角度、光照強度等方面都發生了變化，大大提高了樣本的數量和多樣性。

圖4 數據增廣前后對比圖片

2.1.2 網絡的超參數設置 卷積神經網絡超參數的選取與設置對訓練結果有著至關重要的影響。其中學習率的選擇決定學習算法的性能表現，學習率大，梯度下降比較快，可能會在某一步越過最優值；學習率小，學習速度慢，導致收斂速度慢，容易過擬合。試驗采用從頭訓練的方式，學習率設置為0.010～0.001。此外，迭代次數也需通過選取比較進行確定，使用訓練集的全部數據對模型進行一次完整訓練為一次迭代，訓練時設定的迭代次數為20～30。

2.2 基于NIN-CNN模型的紅棗缺陷檢測流程

由于生產線環境嘈雜、亮度不可控等，采集的圖片存在亮度不均、噪聲多、背景雜亂等不足。因此，采用NIN-CNN進行檢測前需對紅棗進行預處理，首先對紅棗進行提取使其與背景分離，再進行圖像增強以消除噪聲，并使紅棗表面亮度分布均勻，最后將圖片輸入NIN-CNN模型中進行預測，得到分類結果。

2.2.1 紅棗的提取 如圖5所示，紅棗圖像提取步驟分為紅棗粗分割、紅棗灰度化、圖像二值化、二值化去噪、紅棗分割。

(1) 紅棗粗分割：首先對圖片進行大致的分割，按比例將圖片分為左半部分、中間部分和右半部分，分別提取左邊紅棗、中間紅棗和右邊紅棗。

(2) 紅棗灰度化：圖片灰度化常見方法有最大值法、平均值法和加權平均法，試驗采用加權平均法對紅棗圖像進行灰度化。加權平均法表示為：

圖5 紅棗提取步驟及圖像增強前后對比圖

Gray=(W×R+V×G+U×B)/3。

(3)

(3) 圖像二值化：在進行加權平均時，已將紅棗與背景進行了大致的分離。在進行二值化時，只需設置一個合適的閾值就可將紅棗部分變為白色像素，背景變為黑色像素，根據多次試驗經驗，閾值設置為30。

(4) 二值化去噪：為了去除噪聲，再次對圖像進行最大輪廓的獲取，將輪廓以外的部分圖像像素變為0。

(5) 紅棗分割：采用掩膜法，因為掩膜法在去除背景和噪聲的同時，不會對關鍵區域進行破壞。由于紅棗部分的灰度值明顯高于背景部分的，因此將紅棗灰度化后設置一個合適的閾值便可獲得一個較好的掩膜。將掩膜作用于原始圖片，進而成功提取紅棗。

2.2.2 紅棗圖片的勻光處理 由于生產線環境為不可控因素，采集的紅棗圖片存在亮度分布不均勻現象[13]。此外，由于拍攝時間不同也可能造成紅棗樣本的整體亮度存在差異。為了增強深度學習的效果，圖像增強第一步為亮度校正，其目的是消除紅棗表面亮度分布不均勻的現象。

亮度校正算法采用的是基于照度—反射模型，圖像亮度f(x，y)可表示為入射分量i(x，y)與反射分量r(x，y)的乘積。即

f(x,y)=i(x,y)×r(x,y)。

(4)

圖像中變換緩慢的部分體現為入射分量，突變的部分體現為反射分量。根據該特性，將圖像的低頻部分從原始圖像中提取出來，再經傅里葉反變換得到亮度圖像，獲得的亮度圖像可對原始的分布不均勻的灰度圖像進行亮度矯正。具體過程為在頻域中進行中心變換，離散傅里葉變換，最后用低通量濾波器濾波，再進行傅里葉反變換，從而實現了在頻域內處理圖像，使圖像亮度分布均勻[14]。圖像增強后紅棗表面光照分布更加均勻，高光照部分亮度略微降低。

3 結果與分析

試驗針對新疆駿棗進行了實測，通過數據增廣共采用41 467張紅棗圖片作為數據集，將紅棗分為好棗、黑斑、黃皮、裂口、脫皮、皺棗和疊棗7類。按接近于6∶2∶2的比例劃分訓練集(25 129張)、驗證集(8 424張)和測試集(7 914張)。將數據集中的每類紅棗圖片表示成一個一維向量，表征紅棗的分類類別。訓練前對紅棗數據進行預處理，訓練的每張圖片的特征均要減去訓練集所有圖片的特征均值，將輸入數據各個維度都中心化為0，從而減少計算量，避免數據過度變差，訓練效果受到影響。表2為試驗中不同種類紅棗的訓練集、驗證集和測試集數量。

3.1 7類紅棗分類標準

如圖6所示，好棗由成熟的新疆駿棗進行晾曬后加工而成，表皮呈鮮紅或紫紅，無明顯的脫皮、褶皺、霉爛。皺棗是由不成熟的紅棗干制形成，果肉干癟、表皮褶皺較多。脫皮棗是在紅棗制造過程中由于鳥啄、蟲蛀等導致紅棗表皮脫落，內部果肉外漏。黃皮棗由于樹齡短、種植技術不規范導致紅棗表皮整體顏色泛黃。爛棗是指紅棗受到微生物侵害，果肉變質或者霉變導致表皮呈現黑色霉爛區域。裂口棗是由于果棗生產過程中受到機器損傷導致表面存在較長的裂口。疊棗是因為在生產線中，由于機械的翻轉、紅棗的放置等導致相機抓取圖像時視野中存在兩個或兩個以上的紅棗。

表2 7類紅棗數量

3.2 準確率計算

機器學習中常用的評價指標為準確率，即評估捕獲的成果中目標成果所占的比例，試驗中的準確率指預測正確的數量占總量的比重，并按式(5)計算準確率。

圖6 紅棗分類圖

(5)

式中：

R——準確率，%；

TP——正類預測為正類的數量；

FN——正類預測為負類的數量；

FP——負類預測為正類的數量；

TN——負類預測為負類的數量。

3.3 NIN-CNN網絡參數的設置

根據2.1.2中超參數設置的原則，將求解器類型設置為隨機梯度下降，學習率策略設置為Step，每10個迭代次數降低為原來的1/10，記憶因子設置為0.9，分別選擇迭代次數為20，25，30，學習率為0.010，0.001，將訓練后得到的模型采用驗證集進行預測，得到不同初始速率、迭代次數下的準確率，如表3所示。

由表3可知，NIN-CNN網絡在學習率為0.010時的準確率高于學習率為0.001時的，其中迭代次數為30時的準確率最高，因此最終確定NIN-CNN網絡的超參數為迭代次數30，學習率0.010。AlexNet網絡在學習率為0.001 時的準確率高于學習率為0.010時的，其中迭代次數為20時的準確率最高，因此最終確定Alexnet網絡的超參數為迭代次數30，學習率0.001。

3.4 試驗比較與檢測性能評估

3.4.1 不同網絡參數總量的比較 將兩個網絡的參數性能進行比較可知，NIN-CNN在添加1×1卷積層加深網絡深度的同時減少了大卷積核的數量，從而減少了參數數量；另一方面，采用局部均值池化代替全連接層極大地減少了參數量，同時防止了過擬合。AlexNet網絡的參數數量為56 896 903，而NIN-CNN網絡的參數數量為6 577 351，減少了88.44%。

3.4.2 數據增廣對檢測性能的影響 由表4可知，增廣后，AlexNet網絡的準確率提高了1.14%，NIN-CNN網絡的準確率提高了1.05%，驗證了數據增廣對網絡模型準確率提升的有效性。

表3 不同迭代次數和學習率下NIN-CNN和AlexNet網絡的準確率

表4 數據增廣前后準確率的比較

3.4.3 檢測性能比較 試驗引入了目前常用的基于SVM的機器視覺方法進行比較[15-16]，采用手工設計規則提取紅棗特征，然后將7類不同特征組合成特征向量輸入SVM中進行分類，最后使用驗證集對模型進行測試。由表5可知，SVM方法的好棗識別準確率最高，但其他6類缺陷紅棗的準確率均低于NIN-CNN和AlexNet網絡；AlexNet網絡的黑斑、黃皮、裂口紅棗識別準確率高于NIN-CNN網絡的，但好棗、脫皮、皺棗、疊棗紅棗識別的準確率低于NIN-CNN網絡的。相對于SVM方法，NIN-CNN網絡在紅棗缺陷識別方面表現出極大的優越性[18]；NIN-CNN網絡的缺陷識別準確率比Alexnet模型的高1%左右，證明試驗采用1×1卷積核加深網絡，全局均值池化方式替代全連接層來提升缺陷識別準確率是有效的。

表5 不同方法檢測準確率的比較

4 結論

針對紅棗的缺陷特征，提出一種基于AlexNet卷積神經網絡對紅棗進行分類的方法，并進行驗證實驗，利用改進的網絡NIN-CNN對紅棗進行分類。結果表明，基于AlexNet網絡的紅棗識別準確率為93.81%，基于NIN-CNN網絡的紅棗識別準確率為94.79%，驗證了NIN-CNN網絡相對于AlexNet網絡的優越性。試驗提出的基于NIN-CNN卷積神經網絡的分類方法對裂棗和黑斑棗的識別準確率還不夠理想，后續可考慮引入殘差網絡等結構對試驗方法進一步改進。