基于數據平衡和深度學習的開心果品質視覺檢測方法

高霽月 倪建功 楊昊巖 韓仲志

(青島農業大學理學與信息科學學院， 青島 266109)

0 引言

開心果味香、營養豐富，具有很高的經濟價值，但其果殼堅硬，人工難以將開口過小或者不開口的開心果剝開，開口與否直接關系到開心果的品質、經濟價值和消費者對品牌的評價。開心果果殼的開口率低、表面褐斑、果殼畸形和混入雜物(如石子、樹枝)等現象會大大降低開心果產品的品質，所以在產品上架前對開心果進行開口檢測非常必要。理想的果殼開口程度是消費者能用手指輕易取出核仁，因此未開裂的開心果需要在產品上架前分揀出來，加工出理想的開口[1]。

目前，對開心果開口品質的檢測絕大多數是通過聲音判斷[2-5]。鐘晨玉等[4]設計了開心果碰撞聲分揀試驗裝置，分析傳聲器位置、開心果下落高度及碰撞塊傾斜角對碰撞聲特征的影響；臧富瑤等[5]根據開心果撞擊大理石的聲音信息，測得開心果閉口、半開口、開口3種聲音狀態，獲得80個不同樣本開心果的碰撞聲信號,經處理得到信號的時域和頻域圖形,從中提取分揀特征。郭曉偉[6]通過開心果的質心位置以及兩條輔助線，開殼果正確分類率為93%，但此研究只檢測了開口和閉口，并未提及褐斑、雜質、畸形等其他缺陷。

為驗證圖像檢測農產品品質的可行性，韓仲志等[7]測量每個花生籽粒外觀圖像的形態、紋理、顏色共3大類54個特征,采用主分量分析(PCA)進行特征優化,然后導入神經網絡(ANN)和支持向量機(SVM)模型進行比較，最終能夠鑒別95%以上的不完善粒、霉變、雜質、異品種等不同品質的籽粒。近年來，圖像處理技術已廣泛應用于農產品品質檢測中，特別是深度學習算法出現后，品質識別不需要人為定義特征，深度學習的簡便性和準確性使其在圖像檢測領域得以快速發展。卷積神經網絡(Convolutional neural network，CNN)是一類包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的代表算法之一，其設計靈感來自生物體的自然視覺感知機制，可以自動提取最具有代表性的圖像特征[8-9]。圖像分類是計算機視覺領域中的基本任務, 通常指將圖像分類到幾個預定義的類中,構成其他計算機視覺任務的基礎[10]。卷積神經網絡在圖像分類和目標檢測領域應用廣泛[11-12]，農業圖像檢測也越來越多運用了卷積神經網絡的方法[13-17]。

基于深度學習的圖像識別技術在理論上能更精確地識別開口程度和雜物，并進一步定位到開心果的位置，配合噴氣裝置可以精準挑揀出開口不合格和外觀缺陷的開心果。然而，網絡模型訓練時數據量的平衡性會影響訓練模型的性能，且數據不平衡現象經常發生[18-19]。傳統分類方法通常假設數據類別分布均衡,但由于多數類和少數類在數量上的傾斜,以總體分類精度最大為目標，會使分類模型偏向于多數類而忽略少數類,從而造成少數類的分類精度較低[20]。同樣在使用神經網絡分類時，訓練網絡所用的數據集樣本不均衡會影響神經網絡的分類效率和準確率。針對上述問題，本文提出一種數據自動平衡檢測方法，并采用6種不同的深度網絡探究數據平衡算法對分類準確率的影響。

1 材料與方法

1.1 開心果圖像數據庫構建

按照中國食品工業協會堅果炒貨專業委員會發布的《生干堅果質量等級要求》，將數據集分為3類：開口、閉口和外觀缺陷及雜物(以下簡稱缺陷)，其中開口標準為開口程度不小于2 mm×6 mm的開心果，閉口的標準為開口小于2 mm×6 mm的開心果，缺陷包括果殼表面褐斑以及混入雜物。

圖1為開心果的圖像采集環境，其中包括：攝像頭及支架、光源、黑色背景板、開心果以及計算機。圖像采集流程為：首先將市場上購買的未漂白開心果平鋪于黑色背景板之上，固定攝像頭位置和光源；然后通過攝像頭拍攝開心果圖像；最后導入計算機進行分類訓練。圖2是開心果感興趣區域提取流程，圖2a為原始圖像，通過二值處理、膨脹、閾值分割得到圖2b，然后設定連通區域面積，框選開心果輪廓得到圖2c，再將紅框坐標對應到原始圖像對單個籽粒進行裁剪，最終得到單粒開心果的數據集。

圖3為不同類型開心果示例圖，經過數據預處理后，獲得單粒開心果圖像，包含開口圖像1 331幅，閉口圖像415幅，缺陷圖像92幅，共1 838幅圖像，各類數據數量相差很大，各個分類之間的數據量極不平衡，需要設計數據集平衡方法。

1.2 數據自動平衡算法

針對上述數據不平衡的問題，本文提出一種數據自動平衡的算法，目的是在數據導入網絡分類模型之前將訓練集數據集類別數量進行平衡，提高網絡的準確率。基本流程為先獲得每個分類的原始數量，再依次將所有數值小的分類集向數值最大的分類集數量擴增，具體方法為：

(1)輸入：數據集S=[M1,M2,…，Mi][N1,N2,…，Nj]T，輸入中的Mi為數據集中樣本種類，Nj為每一類樣本的數量。

(2)比較數據集中每一類的最大值MiNj，找到所有類中最大值MiNjmax。

(3)用所得最大值MiNjmax依次除以剩余類的最大值MiNj，得到除數C=[{c1,c2,…,ci-1}]。

(4)按照除數C對剩余類進行擴增，得MiN′j=MiNjC，使所有類數量向MiNjmax靠攏。

(5)輸出：得到擴增后的數據集T=[M1,M2,…，Mi][N′1,N′2,…，N′jmax]T。

以此開心果數據集為例，原始數據中開口圖像1 331幅，閉口圖像415幅，缺陷圖像92幅，共1 838幅圖像，取出最大值1 331，將閉口組的數量與最大值1 331相除，除數向下取整，最大值為12(超過12的值按照12運算)。將閉口的415幅圖像旋轉3次得到1 245幅圖像，缺陷組也與最大值1 331相除得到數值14，但是為了方便旋轉，最大擴增值只能為12，通過12次旋轉將缺陷擴增為1 104幅圖像，合格的開口開心果原始圖像保持1 331幅不變，至此，平衡后的圖像共3 680幅。

所用的2組數據集的來源為：將1.1節中獲得的未經過數據平衡的1 838幅圖像通過保留原圖、7次旋轉、水平鏡像和垂直鏡像，擴充為原先的10倍，得到18 380幅圖像，形成未平衡數據集A。平衡數據集B的構成是將以上所述的3 680幅圖像擴增至原來的5倍，擴增方法包括原圖、水平鏡像、垂直鏡像、尺寸縮小至原圖3/5以及尺寸擴張為原圖的1.4倍，數據集B共包含18 400幅開心果圖像，A、B2個數據集之間只相差20幅圖像，但在各組分類數量的比例上差別很大，A組開口、閉口和缺陷的圖像數比例約為100∶30∶7，而數據平衡后的B組接近于1∶1∶1。

1.3 分類模型

表1為實驗所用6種網絡，其中SqueezeNet和ShuffleNet為輕量型網絡，各個網絡之間存在一定的差異性，使用數據平衡算法對不同神經網絡的穩定性進行了驗證。

表1 實驗所用6種網絡

2 實驗與結果分析

2.1 數據平衡對模型準確率的影響

神經網絡選取AlexNet、GoogLeNet、ResNet50、SqueezeNet、ShuffleNet和Xception訓練網絡進行遷移學習。將數據集按照70∶15∶15的比例隨機劃分為訓練集、驗證集和測試集。其中，訓練集和驗證集用于網絡模型的訓練，測試集數據未用于網絡模型訓練，而是用來測試網絡的準確率。

表2是未平衡數據集A和平衡數據集B的分類準確率，分別記錄了AlexNet、GoogLeNet、ResNet50、SqueezeNet、ShuffleNet和Xception這6種網絡在驗證集、測試集的準確率以及網絡訓練時間。

表2 未平衡數據集A和平衡數據集B的分類準確率

對于未平衡數據集A， ResNet50網絡的分類效果最好，驗證集準確率最高達到99.13%，在測試集上也達到98.77%；SqueezeNet在驗證集的準確率為93.69%，測試集準確率為93.76%，在6種網絡中準確率最低。除SqueezeNet之外，其他網絡驗證集的準確率均在96%之上，6種網絡驗證集平均準確率為97.18%，測試集平均準確率為96.75%。AlexNet在未平衡數據的驗證集上，準確率高于SqueezeNet 4.9個百分點，在測試集上AlexNet準確率也比SqueezeNet高4.03個百分點。AlexNet、ResNet50和GoogLeNet在未平衡數據集A上性能優越，而SqueezeNet、ShuffleNet和Xception網絡分類準確率可以接受但相對較差。從訓練時間來看，AlexNet與SqueezeNet用時最短約15 min，Xception運行時間最長，為151 min，因此如果想用最少的訓練時間得到一個性能高的網絡，AlexNet最佳。

經過平衡的數據集B在每個網絡上的驗證集和測試集的準確率都有提升，而且對原先分類效果欠佳的網絡準確率提升非常明顯。平衡數據集B的驗證集的平均準確率為99.14%，測試集的平均準確率為99.26%，驗證和測試準確率均高于99%。在未平衡數據集中分類效果欠佳的SqueezeNet網絡準確率提升最明顯，其驗證集準確率由93.69%提升到了99.17%，測試集的準確率從93.76%提升至99.02%。相對于數據集A，數據集B的測試集平均準確率提高了2.51個百分點，驗證集平均準確率提高了1.96個百分點， AlexNet、ResNet50和GoogLeNet這3種網絡在驗證集和測試集上的準確率接近1，SqueezeNet、ShuffleNet和Xception的驗證集準確率都在98%以上，明顯優于未平衡前的準確率。數據集A和B的訓練時間在同一網絡下無明顯差異，訓練時間與網絡模型的結構、參數量以及訓練數據量有關。

2.2 數據平衡前后的混淆矩陣

數據平衡前后測試集的混淆矩陣如表3和表4所示，表3展示了未平衡數據集A的開口、閉口以及缺陷圖像在測試集的預測結果，數據集A的測試集共有2 756幅圖像，其中標記為開口的圖像1 996幅，閉口圖像622幅、缺陷圖像138幅。從表3中可以看出GoogLeNet和SqueezeNet網絡的主要錯誤是將開口預測為缺陷，這是因為開口圖像中有的果殼表面有面積較小的褐斑，神經網絡會誤將其歸類為外表缺陷。和前者相反，AlexNet、ResNet50、ShuffleNet和Xception網絡的主要錯誤之一是將缺陷預測為開口，說明ShuffleNet和Xception網絡在分類時，對開口特征的權重大于缺陷特征的權重。在所有網絡中將閉口預測為開口也是一種常見錯誤預測，這是因為有的閉口開心果開口接近開口標準2 mm×6 mm，而各組分類數據不平衡，網絡無法學習足夠多的閉口訓練樣本實現精確分類。

表3 未平衡數據集A對于開口、閉口以及缺陷圖像在測試集的預測結果

表4為平衡數據集B的開口、閉口以及缺陷圖像在測試集上的預測結果，數據集B中共有2 760幅測試圖像，其中標記為開口的圖像共998幅，閉口圖像934幅、缺陷圖像828幅。從表現結果來看，使用ResNet50分類后的開心果其網絡準確率最高，達到了99.9%， ResNet50網絡在這2 760幅圖像中只將1個開口圖像錯誤分類為閉口，這就最大程度保證了開心果的品質，減少開心果分類時誤判造成的浪費。SqueezeNet與GoogLeNet相比，分類效果較差，分別有12個和10個缺陷開心果分類為開口開心果。ShuffleNet和Xception是準確率最低的2種網絡，與其他網絡相比，分類錯誤的情況較為明顯。

表4 平衡數據集B對于開口、閉口以及缺陷圖像在測試集的預測結果

2.3 數據可視化

圖4是利用Grad-CAM算法將網絡判斷模型可視化，Grad-CAM(類激活熱力圖)將最后一層特征圖所有像素的權值計算，最后按照每個像素的權值可視化[27]，在本實驗中，最后輸出的特征圖分辨率不一定與輸入圖像一致，無論輸入圖像的尺寸大小，所有經過Grad-CAM算法后的特征圖都統一尺寸。特征圖中紅色表示神經網絡判定開心果類別的高權重區域，藍色表示網絡分類低權重的區域，色彩越紅表示這塊區域對分類結果的影響越大。可以看出，網絡在分類為開口時的重要部位在開口處及周圍，分類為閉口圖像時會找到大面積的白色果殼區域，分類為缺陷和異物時網絡的關注點在于檢測目標物的形狀、畸形區域或者是褐斑的位置。

3 結論

(1)數據平衡方法可以提高網絡準確率，其平均測試準確率提高了2.51個百分點，平均驗證準確率提高了1.96個百分點，其中SqueezeNet網絡提高幅度最大，分別提高了5.26個百分點和5.48個百分點。

(2)神經網絡可適用于開心果品質檢測分類，本實驗6種網絡平均測試準確率為99.26%，平均驗證準確率為99.14%，其中ResNet50的測試準確率達到99.96%，可作為開心果檢測分類的首選網絡。

(3)可視化網絡分類高權重的區域與人工判別開心果所關注的區域基本一致，從而驗證了網絡分類的合理性。