基于GoogLeNet的玉米籽粒破損及霉變在線辨識方法*

林杰，王發贏，姚艷春，，崔春曉，盛振哲，曲殿偉

(1.山東理工大學農業工程與食品科學學院,山東淄博,255000;2.山東省旱作農業機械及信息化重點實驗室,山東淄博,255000;3.山東五征集團有限公司,山東日照,276825)

0 引言

支持向量機[1-3]、神經網絡[4-6]等計算機視覺技術及算法已廣泛應用于農作物分類,卷積神經網絡[7-8]作為深度學習的一種代表算法,廣泛應用于計算機視覺等領域,其自動提取目標特征的優勢在復雜圖像分類中得到體現。國內利用深度卷積神經網絡對檢測與分類農作物[9-10]開展了相關研究[11-12]。陳文博等[13]以稻米品種識別與碎米檢測為目的,對比VGG19[14]和GoogLeNet[15]神經網絡,結果表明,GoogLeNet在稻米檢測中識別準確率可達96.46%,相比于VGG19驗證精度提高了1.46%。侯俊銘等[16]研究了在線實時分類蓖麻種子損傷,采用SGDM類優化器更新網絡獲得更優分類性能,種殼缺失蓖麻種子的識別準確率高達96.67%。蘇寶峰等[17]基于注意力機制改進多品種葡萄分類的識別算法,并使用Grad-CAM方法對特征圖進行可視化處理,對卷積層提取的特征進行可視化解釋,克服了復雜背景導致的辨識困難等問題,其測試集準確率為88.75%,平均召回率為89.17%。徐巖等[18]選取了登海518、浚單20、鄭單958玉米品種,使用Keras深度學習框架搭建了CNN模型,平均識別率達到95.49%。權龍哲等[19]研究了玉米粒選和分類,搭建了輕量級卷積神經網絡,對優良、剔除玉米籽粒胚面與胚乳面4大類玉米籽粒分類,通過調整樣機參數達到最優性能,玉米籽粒檢測準確率達到96.50%,有效分選率達到97.51%。以上研究表明,在農作物種粒的分類鑒別中,卷積神經網絡具有準確率高、適應性強等優點[20]。

綜上,玉米籽粒圖像切片處理主要針對單一背景與理想光線條件下的圖像,一般先對圖像進行二值化處理,提取玉米籽粒輪廓后,直接對圖像進行切割,該處理方法對成像環境要求高,在切割玉米籽粒圖像時,容易出現圖像信息丟失等問題,難以應用在大規模玉米籽粒分選作業場景。

因此,本文提出一種基于HSV顏色空間閾值分割的玉米籽粒圖像切片算法,該算法在HSV顏色模式下分割閾值,提取到玉米籽粒輪廓后,擴大切割尺寸,對于固定閾值分割造成圖像信息丟失等問題具有補償作用。該算法創建完好、破損及霉變玉米籽粒數據集,并以GoogLeNet為試驗模型,訓練切片處理與未經圖像切片的數據集,基于Grad-CAM可視化方法[21-22]顯示模型關注區域,驗證了GoogLeNet識別破損及霉變玉米籽粒的可行性以及圖像切片算法的有效性。

1 數據集制作

1.1 玉米籽粒圖像采集

本文選取完好、破損及霉變玉米籽粒作為研究對象,其中,破損粒樣本一部分由完好粒經壓力機破碎獲得,另一部分由玉米果穗經過脫粒機脫粒獲得;霉變粒樣本通過人工霉變處理獲得,即先將完好玉米籽粒置于潮濕陰暗環境中,待其表面產生霉斑后,再將其置于陽光下暴曬獲得干燥的霉變玉米籽粒樣本。在恒定光源照射的條件下,搭建圖像采集裝置,完成了圖像采集工作。其中,玉米籽粒圖像采集裝置主要由排種器、限位開關、傳送輪盤、工位、相機等硬件設備組成。工作時,步進電機驅動傳送輪盤間歇運動,當傳送輪盤上的工位觸發限位開關,工位停止于排種口下方,排種器排出單粒玉米籽粒落入工位內,前序工位停止于相機正下方,相機拍攝工位內的玉米籽粒,循環后不斷獲取圖像。獲得完好玉米籽粒圖像1 456張,破損玉米籽粒圖像1 160張,霉變玉米籽粒308張。玉米籽粒圖像采集流程如圖1所示。

圖1 玉米籽粒圖像采集過程

1.2 玉米籽粒圖像預處理

1.2.1 玉米籽粒圖像分割閾值確定

為確定玉米籽粒圖像分割的上、下邊界閾值,對RGB顏色模型圖像進行模型轉換,獲得HSV顏色模型圖像。將H、S、V分量的各自最小值作為圖像分割閾值的下限值,其最大值作為圖像分割閾值的上限值。通過調整HSV顏色模型下圖像H、S、V分量大小,觀察玉米籽粒圖像分割效果,確保清晰分割出玉米籽粒整體輪廓,記錄下此時的閾值,最終設定下邊界閾值為[Hmin,Smin,Vmin]=[0,44,7],上邊界閾值為[Hmax,Smax,Vmax]=[36,255,255]。玉米籽粒圖像分割閾值的獲取流程如圖2所示,閾值分割效果如圖3所示。

圖2 圖像分割閾值的獲取

圖3 閾值分割效果

1.2.2 玉米籽粒圖像切片

為了建設一支高效廉潔的監管隊伍，局黨組始終把黨風廉政建設放在首位，突破性地開創了黨風廉政建設全程記實工作程序。3年來，全局受理行政許可申請5.8萬余件，無一名干部職工發生違法違紀行為。局黨組把“不看文憑看水平、不看學歷看能力、不看年齡看本領”作為用人原則，努力培養各方面工作的業務尖子和復合型人才，帶動了整個隊伍的風清氣正，爭先創優，以及執法能力、執法水平的穩步提升。

玉米籽粒圖像切片處理流程如圖4所示。

圖4 玉米籽粒圖像切片流程

由玉米籽粒圖像可以發現,圖像存在冗余信息多、目標區域占比小、目標位置不固定等問題。為減少圖像中冗余信息對玉米籽粒圖像識別分類的干擾,并提高目標區域在整張圖像中占比,提升模型的識別準確率,采用如下方法對圖像進行處理:首先,將原始圖像RGB顏色模型轉換為HSV模型,設置圖像分割閾值,獲取掩碼圖像,即低于下邊界閾值或高于上邊界閾值的像素值置為0,其余像素值全部置為255;然后,調用OpenCV庫函數對二值化圖像(掩碼圖像)提取輪廓并獲取玉米籽粒輪廓最小外接矩形(圖4中黃色矩形框)四個頂點坐標,即(Xmin,Y1),(X1,Ymax),(Xmax,Y2),(X2,Ymin);最后,在原始圖像上計算出裁剪矩形框(圖4中紅色矩形框)的頂點坐標,并進行裁剪,獲得最終切片圖像。

1.3 數據集組成

通過相機采集的原始玉米籽粒圖像共2 924張,其中破損粒圖像1 160張,完好粒圖像1 456張,霉變粒圖像308張。為確保神經網絡能正常進行訓練,得到可靠的訓練數據,數據集按7∶3劃分為訓練集與驗證集。同時,設置對照數據集,將圖像切片處理作為變量,用于模型訓練試驗中對比評價圖像切片方法的效果。方案A使用原始數據集,由相機采集獲得;方案B訓練集是由方案A訓練集經過圖像切片獲得。數據集組成如表1所示。

表1 數據集組成

2 GoogLeNet模型試驗及分析

2.1 網絡結構簡介

GoogLeNet的創新在于提出并應用了Inception模組(產生稠密數據的稀疏網絡結構),其網絡結構中包含了9個Inception模塊級聯,均采用1×1、3×3、5×5不同大小的卷積核提取特征,獲得大小不同的感受野,最后通過并行操作,融合不同尺度的特征,增加了網絡的深度和寬度,同時,為避免通道數快速增長,加入1×1的卷積核實現降維。Inception模組網絡結構如圖5所示。

圖5 Inception模組結構

2.2 模型試驗及分析

2.2.1 試驗環境

本試驗采用Pytorch深度學習框架,Python作為編程語言,在PyCharm編程環境中運行相關程序訓練網絡模型;硬件方面,工作臺搭載Intel(R) Core(TM) i9-8950HK CPU@2.90GHz處理器,顯卡為NVIDIA Quadro P4200。

2.2.2 訓練試驗與分析

訓練時采用定學習率方式,設置學習率為0.001,批尺寸大小為32,將交叉熵損失函數(Cross Entropy Loss)作為誤差計算函數,選用SGD優化器,采用隨機梯度下降算法,動量參數設置momentum為0.9,迭代輪數設置為150。在同一試驗環境下,設置相同超參數,使用訓練方案A與方案B,分別訓練GoogLeNet。訓練曲線如圖6和圖7所示。

圖6 訓練集準確率曲線

圖7 驗證集準確率曲線

由圖6可知,兩種方案的訓練準確率最終均趨近于1,但方案B的訓練準確率收斂速度快于方案A,且震蕩幅度較小,相較于方案A更快、更平穩地趨近于1。由圖7可以看出,使用方案B訓練的GoogLeNet相較于方案A,其驗證集準確率收斂時更加平穩,并且獲得較高的準確率。表2為GoogLeNet不同訓練方案對應驗證集準確率與玉米籽粒識別準確率。

表2 驗證集準確率與各類別識別準確率

由表2可知,由訓練方案B獲得的GoogLeNet模型相較于方案A,其性能得到全面提升,訓練方案B相較于方案A在驗證集準確率上提高了7.99%,在破損粒、完好粒、霉變粒的辨識結果中,其準確率分別提升了17.56%、2.07%、1.08%。

2.2.3 討論

在模型的訓練試驗中發現,未經切片處理的破損粒識別準確率遠低于霉變粒識別準確率,切片處理后的破損粒與霉變粒識別準確率仍存在一定差距,分析主要存在以下可能原因。

1) 霉變粒與完好粒、破損粒的顏色特征差異性較大,識別霉變粒相對容易,模型不易出現誤判,主要影響其識別準確率的因素是成像環境中冗余信息的干擾。

2) 識別未經切片處理的破損粒圖像主要存在兩個影響其識別準確率的因素,一是破損粒自身特征相較于完好粒的特征區別不明顯,識別其本身具有一定難度;二是成像環境中存在一些無關特征,會影響網絡對玉米籽粒有效特征的提取。

經切片處理后的圖像,主要是排除了成像環境的影響因素,但區分破損粒與完好粒相似特征的問題并未得到完全解決,因此,破損粒與霉變粒的識別準確率都有不同程度的提升,但仍然存在一定差距。進一步提升破損粒的識別率,需擴充或增強訓練集,使網絡充分學習特征;或優化改進網絡結構,提升網絡對破損粒特征的提取能力。

3 Grad-CAM可視化分析

為進一步驗證本文所提出的玉米籽粒圖像切片方法有利于GoogLeNet提取玉米籽粒關鍵特征,引入Grad-CAM可視化方法對GoogLeNet提取的玉米籽粒特征進行可視化解釋,在網絡結構中前三層卷積層與inception5b模塊后分別使用Grad-CAM可視化方法,即先計算目標層梯度,計算每一張特征圖的均值,再取出目標層的激活值與均值相乘,根據加權結果繪制出熱力圖,與原圖重疊后,可以根據顏色深淺來判定模型的感興趣區域,顏色越深的位置,代表模型在此位置的注意力越集中,越關注此區域的特征。

在訓練方案A與方案B的驗證集中抽取的3類玉米籽粒圖像,其中每類圖像抽取兩張,分別對其加載由兩種訓練方案獲得的兩組GoogLeNet權重文件,并在目標層使用Grad-CAM可視化方法。各層的可視化結果如圖8、圖9所示。

圖8 模型A可視化結果

圖9 模型B可視化結果

由圖8可知,前3層卷積層的熱力圖顏色變化不均勻,且inception5b層的熱力圖深色區域并非完全與玉米籽粒所在位置重合,甚至存在完全不重合的情況,表明模型A提取有效特征的能力較差,受到圖像冗余信息干擾大,關注區域較為分散,可解釋模型A驗證集準確率較低。由圖9可知,各卷積層的熱力圖深色區域均集中在玉米籽粒輪廓或霉斑位置,說明該模型所提取的特征與預期特征一致,表明使用本文提出的圖像切片處理方法處理數據集,經過訓練后得到的模型B,在各卷積層都能夠提取到有效的特征,關注區域均集中在玉米籽粒所在區域,這也是模型B相較于模型A在驗證集上準確率較高的原因,同時也驗證了本文提出的玉米籽粒圖像切片方法有助于GoogLeNet提取玉米籽粒的有效特征,減少了無效特征的干擾。

4 結論

訓練試驗中設置了相同學習率、損失函數和優化器,并設置同樣的批尺寸和迭代次數,使用未經切片處理的訓練方案A與切片處理的訓練方案B訓練GoogLeNet,對比兩組方案的驗證集準確率。

1) 使用圖像切片處理的玉米籽粒數據集,訓練后獲得的網絡模型在其驗證集準確率上可達到93.74%,相較于未經圖像處理獲得的網絡模型提升了7.99%,且在破損粒、完好粒、霉變粒辨識中準確率有全面的提高,分別達到90.18%、95.16%和100%。

2) 經過圖像切片處理的模型,對玉米籽粒關鍵特征的注意力更加集中,受目標區域外的特征干擾較小,本文提出的玉米籽粒圖像切片方法可克服復雜背景的干擾,有助于GoogLeNet提取玉米籽粒關鍵特征,可有效提高破損及霉變玉米籽粒的辨識精度。