基于輕量卷積網絡的馬鈴薯外部缺陷無損分級

楊 森，馮 全,*，張建華，王關平，張 鵬，閆紅強

（1.甘肅農業大學機電工程學院，甘肅 蘭州 730070；2.中國農業科學院農業信息研究所，北京 100081）

馬鈴薯是我國重要的農作物之一，馬鈴薯的外部品質直接影響產品的經濟效益，同時也是制約馬鈴薯包裝、貯藏和深加工的主要因素[1]。現階段馬鈴薯的品質分級主要采用人工檢測方式，該類方法具勞動強度大、效率低、成本高和一致性差等缺點[2-3]，阻礙了馬鈴薯產業的規模化發展。圖像信息直觀反映了馬鈴薯外部特征，利用機器視覺技術能夠實施馬鈴薯外部品質的快速、無損檢測[4-6]，且在馬鈴薯收獲后的在線分級方面有較大的應用價值。目前對于馬鈴薯的分級研究主要集中在外部缺陷與薯形檢測方面，湯全武等[7]結合高光譜技術與圖像處理技術，利用主成分分析和小波變換法提取馬鈴薯外部缺陷特征，正確率達到94.20%；蘇文浩等[8]運用高光譜圖像技術檢測7 種類型馬鈴薯缺陷，對選取的5 個特征波進行主成分分析法和圖像差值算法，缺陷的正確識別率達到96.43%；郭紅艷等[9]采用偏最小二乘回歸系數法對高光譜成像馬鈴薯提取特征，建立馬鈴薯環腐病的線性判別模型，識別準確率達到93.33%。李小昱等[10]提出一種基于高光譜圖像與果蠅優化算法相結合的馬鈴薯輕微碰傷檢測方法，模型識別的準確率為100%；Angel等[11]利用高光譜技術快速檢測結痂的馬鈴薯，系統的分類準確率為97.1%；Trong等[12]結合高光譜技術與圖像處理技術，通過計算剩余的生料部分面積與馬鈴薯總面積的比率，可以預測出馬鈴薯最佳蒸煮時間。Dai Fen等[13]利用近紅外拉曼光譜對3 類馬鈴薯品種進行識別，結果表明近紅外拉曼光譜相比熒光光譜法具有較好的分類效果。以上方法都采用高光譜成像技術與圖像處理結合進行檢測，該類方法識別的準確率相對較高，但需要特定的圖像光譜儀采集馬鈴薯圖像，與機器視覺技術相比成本高，處理速度慢。此外，國內外學者利用機器視覺技術實現馬鈴薯的自動分級，Hassankhani等[14]利用閾值法分割出馬鈴薯目標，提取直徑，面積和周長特征參數，建立大、中、小3 類馬鈴薯的分級模型。王紅軍等[15]利用機器視覺技術提取9 個馬鈴薯特征數據，結合主成分分析法和多元線性回歸法，建立馬鈴薯質量與形狀預測模型，分級準確率為86.7%。Razmjooy等[16]基于馬鈴薯顏色特征和支持向量機分類器，設計了一種馬鈴薯表面缺陷識別系統。Barnes等[17]利用自適應增強算法從分割區域自動提取最佳特征，準確檢測出不同品種和不同新鮮程度的馬鈴薯斑點缺陷。

通過已有的分級方法分析，該類檢測方法主要通過提取顏色、紋理、直徑和形狀等特征參數，利用特定的分類器訓練出馬鈴薯分級模型，雖然取得了較好的效果，但實驗多為單一類型缺陷的識別，且對特征相似的不同缺陷難以區分，具有適應性差的特點。輕量卷積神經網絡相比傳統的學習方法在特征提取方面具有更強的表達能力，MobileNet和ShuffleNet網絡[18]在工業表面缺陷檢測方面具有較好的效果，但在農產品缺陷分級檢測方面研究相對較少。姚明海等[19]結合SSR-Net輕量級卷積神經網絡與主動學習對工件4 類疵病進行識別，平均識別精度達到98.30%。陳俊松等[20]提出了一種基于改進YOLOv3的筷子毛刺缺陷檢測方法，改進后網絡能夠同時提高檢測速度和精度。劉洋[21]和Kamal[22]等利用輕量卷積網絡MobileNet對38 類健康和患病植物缺陷進行識別，分類精度達到98.34%，參數比VGG網絡降低29 倍，表明高精度和小尺寸的輕量卷積網絡更適合于嵌入式設備的移植。針對馬鈴薯存在缺陷種類繁多和外形相似性高的問題，本實驗利用輕量卷積網絡自動提取馬鈴薯特征信息，通過遷移學習的方法訓練出分級檢測模型，以期完成馬鈴薯外部缺陷的快速和準確檢測。

1 材料與方法

1.1 材料

圖1 不同背景下馬鈴薯外部缺陷示例Fig.1 Examples of potato external defects in different backgrounds

馬鈴薯樣本采購于甘肅蘭州市蔬菜批發市場，挑選綠皮、發芽、機械損傷、腐爛4 類主要缺陷及合格馬鈴薯組成外部缺陷樣本集。部分缺陷樣本直接在市場上收集困難，將合格馬鈴薯通過黑色食品袋包裝，并在潮濕環境下放置1 個月，獲得綠皮、發芽和腐爛的馬鈴薯。馬鈴薯樣本采集的硬件設備為型號Cannon EOS1200D的數字相機，分辨率1 080像素×720像素，并在實驗臺上方安裝4 個LED燈，保持拍攝的所有的數據集光照條件一致。為增加馬鈴薯外部缺陷檢測網絡的適用范圍，實驗中設置不同背景對馬鈴薯圖像進行采集，消除背景對模型的干擾。實驗中利用三腳架固定工業相機，設置相機距離馬鈴薯的高度為60 cm，且拍攝角度垂直于樣本，相機參數調節為近拍模式、自動白平衡和固定的相機焦距，拍攝時通過相機的藍牙功能控制圖像采集，保證所有的拍攝樣本位置一致。由于深度學習需要具備大量的樣本集，采集實驗同時拍攝馬鈴薯樣本的俯視圖、左視圖和右視圖，將馬鈴薯各類樣本集擴展3 倍。圖1所示馬鈴薯外部缺陷的不同狀態。

1.2 輕量卷積網絡模型

卷積神經網絡的搭建是深度學習的關鍵技術，VGG-Net、ResNet網絡[23-24]在分類識別中取得了較好的效果，但該類網絡基本思路都是通過卷積堆積的方式重復進行卷積和池化操作，利用加深網絡的深度提取豐富的圖像特征信息，使得網絡模型參數規模巨大，訓練的模型占用較大內存，模型移植到馬鈴薯在線分級嵌入式設備運行效率較低。Xception卷積網絡是一種高效率的新型輕量級卷積形式，利用可分離卷積網絡模塊代替Inception網絡模塊[25]，對空間信息和通道信息完全解耦，進一步減少網絡模型參數，適應于嵌入式設備的應用。Xception網絡的結構[26-27]結合了深度可分離卷積與ResNet網絡的思想，主要由輸入流、中間流和輸出流3 部分構成，具體結構如圖2所示。基于Xception網絡的馬鈴薯分級檢測步驟如下：

1）對輸入的299×299×3的馬鈴薯圖像通過2 次卷積操作產生64 個特征圖譜。

2）基于可分離卷積層對輸入特征圖的每個通道單獨進行3×3卷積運算，利用1×1的卷積運算遍歷所有的特征圖，并對特征圖進行相加融合運算，經過重復可分離卷積操作獲得深度為2 048的特征圖。

3）對通道數為2 048的特征圖轉化為一維特征向量，將向量輸入全連接層和邏輯回歸層預測出圖像類別的概率。

圖2 Xception卷積網絡結構Fig.2 Xception convolutional network structure

1.3 基于遷移學習的馬鈴薯分級模型構建

Xception卷積網絡共32 層，若對模型的所有參數初始化進行重新訓練，需要大量的樣本才能使得模型收斂，而馬鈴薯缺陷樣本數量相對較小。在本研究中，為了獲得Xception網絡模型最佳的識別效果，將ImageNet數據集訓練的模型作為馬鈴薯外部缺陷預訓練的初始模型，通過遷移學習[28-29]的方式訓練缺陷模型，以縮短模型的訓練時間，提高模型的泛化性。馬鈴薯外部缺陷的識別主要包括3 部分，數據集的預處理、馬鈴薯外部缺陷模型的訓練和輸出類別的判斷。圖3示出了馬鈴薯外部缺陷識別過程，具體流程如下：

1）利用縮放和旋轉的方法對原始馬鈴薯缺陷數據集進行擴充，隨機選取數據集70%的樣本作為訓練集，且將樣本在輸入網絡之前統一固定尺寸299×299×3。

2）利用ImageNet數據集訓練Xception網絡，使得模型參數獲得充分訓練，刪除模型1 000 類的Softmax層，形成Xception預訓練模型。

3）重新設計出5 類缺陷標簽的全連接層，并與Xception預訓練模型組合，構建出馬鈴薯缺陷預訓練模型。

4）利用馬鈴薯缺陷數據集訓練模型，網絡在訓練過程中通過不斷迭代的方式微調全連接層參數，若模型連續迭代11 輪次損失不降低，則訓練將終止，輸出馬鈴薯缺陷識別模型。

5）利用測試數據集驗證識別模型對5 類樣本的分級精度。

圖3 馬鈴薯外部缺陷識別流程Fig.3 Process flow chart for potato external defect recognition

2 結果與分析

2.1 實驗環境

馬鈴薯外部缺陷模型的訓練和測試均是基于Keras深度學習框架完成的。硬件環境CPU采用Inter?Xeon E5-2683V3，主頻2.00 GHz，GPU采用NVIDIAteslaK20GPU，內存16 GB，顯存5 GB。軟件環境采用Ubuntu16.04，python3.65的編程環境。

2.2 數據集圖像與參數的設置

在設計的實驗環境下共采集馬鈴薯外部缺陷圖像1 113 幅，其中發芽馬鈴薯221 幅，綠皮馬鈴薯184 幅，機械損傷馬鈴薯308 幅，腐爛馬鈴薯194 幅，完整馬鈴薯206 幅。從數據庫5 類樣本中隨機選取60%的樣本作為訓練集，20%作為驗證集，20%的作為測試集。實驗的主要參數設置為：模型的訓練和測試樣本bach size設置32，學習率設置0.000 01，最大訓練次數初始設置1 000 輪。為減小模型的過擬合，模型訓練實際輪數設置早停模式，在訓練過程不斷保存精度最高的驗證集模型，連續訓練11 輪后驗證集模型相比最佳模型精度不在提高，整個訓練結束。

2.3 模型評價指標

為衡量訓練模型的識別精度，采用平均準確率[30]、查全率、查準率[31]和加權得分作為模型的評價指標，平均準確率計算公式為：

式中：Acc為平均準確率；n為缺陷類別數；Fi為單個類別識別準確率；Nc為預測正確的第i類樣本數；Np為第i類樣本總數。

查準率和查全率計算公式為：

式中：Pre為查準率；Prc為查全率；Tp為正確標記有該類缺陷的樣本數量；Fp為錯誤標記有該類缺陷的樣本數量；FN為錯誤標記非該類缺陷的樣本數量。

結合每個類別的查準率Pre與查全率Prc，計算單個類別的加權得分S為：

2.4 模型的測試

2.4.1 學習率對模型性能的影響

學習率是網絡模型在訓練階段需要設置的重要超參數，不同的學習率將影響目標函數的收斂速度，合理置模型的學習率使得目標函數能夠收斂到局部最小值。實驗基于Xception網絡模型將學習率分別設置為0.01、0.001、0.000 1和0.000 01進行討論。圖4示出了模型迭代過程中4 種學習率下的訓練準確率和損失值曲線變化。從曲線中可知，學習率為0.01時模型的準確率與損失值曲線波動幅度相對較大，且隨著訓練輪數的增加，損失函數值下降速度較為緩慢，無法趨于穩定。當學習率為0.001和0.000 1時，模型準確率曲線相比0.01時波動程度減小，但損失函數值在達到穩定后出現間斷波動，不能達到較好的收斂效果。學習率設置為0.000 01時，訓練準確率與損失函數值曲線的變化相對平滑，模型趨于穩定需要迭代的輪數相對較少，訓練模型的性能取得較好的效果。為驗證學習率取值對測試集識別準確率的影響。從表1可知，學習率設置為0.000 01時，驗證集準確率為98.88%，模型訓練結束后損失函數值為0.034 9，表明該學習率下網絡模型整體性能最優，與圖4分析的結果保持一致。此外，在學習率為0.000 01條件下，模型在測試集上5 種缺陷類別的平均準確率為96.37%，識別的準確性達到最高，在相同條件下模型平均準確率相比其他3 種學習率分別提高5.57%、4.94%和1.13%。為保證馬鈴薯外部缺陷識別模型獲得最佳的識別效果，本實驗中學習率取0.000 01完成模型的訓練。

圖4 不同學習率下模型的訓練曲線Fig.4 Training curves of the model at different learning rates

表1 不同學習率下缺陷識別準確率Table 1 Accuracy of defect recognition under different learning rates

2.4.2 馬鈴薯外部缺陷數據集測試實驗

為驗證網絡模型對不同缺陷的識別精度，利用測試集對5 類樣本分別統計識別的查準率、查全率和加權得分，模型識別結果如表2所示。由表2可知，腐爛馬鈴薯查準率相比其他4 類缺陷最低，僅為90.79%，機械損傷馬鈴薯查全率也相對較低，僅為92.00%，表明機械損傷馬鈴薯容易誤識別為腐爛馬鈴薯，主要原因是機械損傷面積較大的馬鈴薯風化后與腐爛馬鈴薯特征相似，且在損傷邊緣存在腐爛，導致兩者之間的錯分率提高。合格和發芽馬鈴薯在5 類缺陷中加權得分獲得更好的表現，分別為98.59%和98.55%，結果表明合格和發芽的馬鈴薯特征比其他3 類缺陷區分度更明顯。總體來看，5 類馬鈴薯缺陷的加權得分均高于93%，本網絡模型能夠完成馬鈴薯缺陷的有效分級。

表2 模型的識別精度Table 2 Model recognition accuracy

2.4.3 不同網絡模型對比實驗

為驗證本實驗網絡模型識別的有效性，在相同馬鈴薯數據集下與9 種不同規模網絡模型的識別準確率進行比較實驗。根據網絡模型的復雜程度，將對比的9 種卷積網絡劃分為4 類，其中LeNet種網絡為淺層簡單網絡，AlexNet、ZF-Net和TSL16為大型深度卷積網絡，VGG16、ResNet50和ResNet152通過進一步加深網絡深度提高模型的性能，而InceptionV3和MobileNet模型的準確度與深度模型相當，但模型的參數明顯更少，運行速度更快。表3示出了馬鈴薯缺陷在不同網絡模型中的識別準確率，本實驗構建的輕量級網絡模型識別的平均準確率為96.04%，識別效果優于輕量級網絡MobileNet和InceptionV3，平均準確率分別高出14.7%和2.68%。對于LeNet網絡只有2 個卷集層、2 個池化層和2 個全連接層組成，模型參數較少，但平均準確率為88.43%，識別效果相對較差。對于深度較深的ResNet152和ResNet50網絡平均準確率為95.82%和92.16%，2 類網絡模型的平均準確率均高于其他深度網絡模型，表明適當加深網絡深度能夠提高網絡模型的性能，但網絡模型的參數和尺寸大幅度增加，計算效率下降。此外，ZF-Net網絡平均準確率高于深層ResNet50網絡1.99%，主要是由于小樣本數據集訓練深層次網絡，模型不容易收斂，導致網絡深度增加而準確率下降。

表3 不同網絡模型的識別準確率Table 3 Recognition accuracy of different network models

在對比的9 種網絡模型中，ResNet152網絡對于馬鈴薯外部缺陷的識別效果較好，平均準確率僅低于本實驗網絡模型0.22%。在訓練模型的尺寸方面，ResNet152模型尺寸257.8 MB，本實驗模型尺寸89.6 MB，2 個模型之間尺寸相差較大，表明本實驗模型占用內存空間較小，更適合移植到在線檢測的嵌入式設備。在模型運行時間方面，ResNet152模型識別速度為1.7 幅/s，本實驗網絡模型的識別率為6.4 幅/s，模型運行速度是ResNet152模型的3.76 倍，表明本模型能夠滿足馬鈴薯外部缺陷在線分級的實時性。

3 討論與結論

本實驗以腐爛、機械損傷、發芽、綠皮和合格的5 類馬鈴薯圖像為例，基于Xception深度卷積網絡重新設計出5 類標簽的馬鈴薯預訓練模型，再利用遷移學習的方法獲得馬鈴薯外部缺陷識別模型。對模型性能進行對比實驗，結果表明：

1）比較0.1、0.001、0.000 1和0.000 01不同學習率下訓練模型的精度。采用學習率0.000 01訓練模型，訓練準確率為98.88%，損失函數值為0.034 9，外部缺陷識別平均準確率為96.37%，實驗結果顯示，該學習率下模型性能達到最優。

2）在測試集上對網絡模型進行評估，腐爛馬鈴薯查準率和機械損傷馬鈴薯查全率相對較低，該模型對腐爛和機械損傷馬鈴薯兩者之間容易誤判。整體上，腐爛、機械損傷、綠皮、發芽和合格5 類馬鈴薯識別的加權得分分別為93.31%、95.28%、94.49%、98.55%和98.59%，結果表明本實驗網絡模型對馬鈴薯的外部缺陷識別取得了較好的效果。

3）利用相同的測試數據集與不同深度的9 類網絡模型進行比較實驗，本實驗模型的識別平均準確率高達96.04%，相比識別效果較好的深度網絡ResNet152和輕量級網絡InceptionV3模型平均識別率提高0.22%和2.68%，且識別所需的時間較短。綜合模型的平均準確率和運行速度指標，表明本實驗建立的輕量級網絡模型對馬鈴薯的外部識別效果優于其他9 種網絡模型。

基于深度學習技術對馬鈴薯外部缺陷圖像進行識別，具有準確率高、硬件成本低和運行速度快等特點，該技術將對實現馬鈴薯在線分級檢測提供了可行性。