基于果穗圖像的玉米品種分類識別

趙威， 馬睿， 王佳， 郭宏杰， 許金普

（青島農業大學動漫與傳媒學院，山東 青島 266109）

玉米不僅是我國重要的糧食和經濟作物，還是畜牧和水產養殖的飼料來源，同時也是重要的輕工業原料之一。近年來，假冒偽劣種子在市場的流通不但給農民造成經濟損失，而且給育種企業造成了不良影響。為保護玉米種質資源的知識產權、維護種子市場秩序，急需開發玉米品種快速鑒別方法[1]。傳統的玉米品種檢測方法主要是人工鑒定[2]、遺傳學分析[3]和光譜掃描[4]，這些方法存在成本高、耗時長、專業性強等問題。玉米果穗相較于籽粒具有更為豐富的表型，且不同品種間存在不同程度的特征差異。利用機器視覺和深度學習技術對果穗進行識別，不但可以快速、有效地鑒別出假冒偽劣品種，還可以提高玉米果穗篩選的準確性，節省勞動力，因此，相關研究逐漸成為近年來的研究熱點。

傳統的機器學習利用已有的數據或以往的經驗，需要在人工干預下才能做出決策和預測[5]；而深度學習（deep learning，DL）是通過深層卷積網絡提取特征、無需通過人工設置特征提取的方法[6]，具有高效、無損、客觀等優點。馬睿等[7]提出了基于卷積神經網絡的玉米品種識別算法，對6種玉米平均識別率達到92%以上。馮曉等[8]、劉林[9]均采用遷移學習構建玉米籽粒圖像品種識別模型，使用小樣本玉米籽粒數據集進行訓練，均取得了較高的識別準確率。Tu等[10]使用VGG16網絡進行微調后的遷移學習，對玉米籽粒圖像進行識別和分類，最優準確率達99%以上。由此證明，遷移學習對小樣本數據具有較高的識別準確率。胡艷俠[11]提出了采用大小、形狀、顏色和紋理四大特征組合的方法檢測識別玉米果穗品質。但這些傳統的機器視覺技術對玉米果穗品種識別需人工提取特征。馬欽等[12]基于雙路卷積神經網絡提供了一種玉米制種果穗篩分方法及裝置，可利用訓練好的雙路卷積神經網絡獲取玉米果穗圖像所對應的玉米果穗種類。上述研究證明了深度學習技術運用于玉米果穗分類識別的可行性。

目前，玉米品種分類識別主要基于玉米籽粒，而基于玉米果穗的品種分類識別研究相對較少。玉米果穗相較于玉米籽粒具有更加豐富的表型特征，因此，本文基于遷移學習技術，在NASNetmobile[13]網絡模型的基礎上，通過設計全新的全連接層模塊構建玉米果穗品種分類識別模型，并優化模型的算法和學習率，以提高網絡模型訓練階段的性能；同時利用數據增強和遷移學習技術解決樣本較少所帶來的問題，以期為玉米果穗的品種分類識別提供參考，同時為農業種質資源的保護和玉米產業健康發展提供保障。

1 材料與方法

1.1 數據來源

玉米果穗圖像采集自山東省濰坊市密州種業有限公司的玉米留種果穗，共5個適合北方推廣的玉米組合，這5個組合的果穗憑人工目測難以區分。每個組合采集果穗100個，每個果穗沿軸線旋轉180°后拍照2次，共計圖片1 000張。所有樣本均為健康、無損的玉米果穗，能較好地體現各玉米品種的果穗特征。

數據采集裝置如圖1所示。在實驗室自然光照下采集玉米果穗圖像，以黑色絨布為背景，固定位置擺放玉米果穗，采用佳能EOS80D單反相機（1 800萬像素）進行拍攝。

圖1 玉米果穗圖像采集裝置Fig.1 Image acquisition device for corn ear

1.2 數據增強與數據集劃分

通過旋轉、水平平移、垂直平移、錯切、放縮、水平翻轉的方式對訓練集進行擴增，從而避免了樣本集過小帶來的泛化能力差的問題，提高準確性。對擴增后的圖像依據玉米品種建立5個玉米果穗圖像數據集，將圖像按照7∶2∶1的比例劃分為訓練集、驗證集和測試集，具體情況詳見表1。

表1 玉米果穗數據集Table 1 Corn ear dataset

1.3 遷移學習

遷移學習通常使用ImageNet圖像數據集作為預訓練數據集，訓練好的權重和參數可直接遷移用于新的分類識別任務[14-15]。不同的網絡模型具有不同的特點[16]。選取NASNet-mobile、Xception[17]、ResNet50V2[18]、MobileNetV2[19]、DenseNet121[20]、VGG16[21]共6個網絡模型進行對比，其中NASNetmobile模型的基線測試準確率最高（表2），因此選取NASNet-mobile網絡用于后續分析。

表2 網絡模型基線測試準確率Table 2 Baseline test accuracy of network models

將模型的全連接層模塊進行設計，保持卷積層不變，遷移已訓練好的權重和參數，從而組合成新的網絡模型，采用玉米果穗圖像訓練新模型，具體流程如圖2所示。

圖2 基于CNN和參數遷移相結合的玉米果穗圖像識別流程Fig.2 Corn ear image recognition process based on CNN and parameter migration

1.4 網絡結構

NASNet網絡的構建是新卷積單元之間的堆疊，其中卷積單元包括普通卷積單元（normal cell）和下采樣卷積單元（reduction cell）[13]。針對本文的小樣本數據集，以NASNet-mobile網絡模型為基礎進行試驗。網絡結構（圖3）主要包括普通卷積單元、下采樣單元、全連接層模塊。普通卷積單元設置為重復4次，通過對2種單元進行疊合完成網絡架構。NASNet-mobile原始全連接層為特征映射的Softmax分類層，因此在遷移學習的基礎上修改全連接層（圖3中全連接層模塊），通過全連接層層數與全連接層維度的不同組合，探討其對模型性能的影響。

圖3 改進全連接層的NASNet-mobile網絡結構Fig.3 Improving NASNet-mobile network structure of full connection layer

普通卷積單元的輸出特征圖和輸入特征圖尺寸相同；下采樣卷積單元的輸出特征圖對輸入特征圖進行了1次降采樣，在Reduction Cell中，對使用輸入特征作為輸入的操作（卷積或者池化）默認步長為2。修改后的全連接層模塊包括1個Flatten層和2個全連接層。其中Flatten層又稱平坦層，可把多維的輸入一維化；全連接層1與全連接層2均是維度為256的全連接層，每個全連接層后添加激活函數leaky_relu，該函數是在Relu激活函數的負半區間引入一個泄露（leaky）值，可使負軸的信息不會全部丟失。

1.5 試驗環境及模型參數配置

采用Intel Core i7 12 700 Hz處理器，內存16 Gb，顯卡為NVIDIA GeForce RTX 3080，顯存8 Gb，深度學習框架為TensorFlow 2.7.1，編程語言為Python 3.7.0。試驗中全連接層激活函數選擇leaky_relu，失函數為categorical_crossentropy，學習率為0.000 1，迭代次數為120。選取Adagrad（Adaptive Gradient）、RMSporp（Root Mean Square prop）和Adam（Adaptive moment estimation）3種常見的算法進行優化試驗。

1.6 評價指標

為綜合評估模型性能，引入準確率（accuracy）、精準率（precision）、召回率（recall）、調和平均值（F1-score）等指標對不同全連接層下模型的分類性能進行量化。accuracy為所有被正確識別的樣本數占總樣本數的比例，它是一個常見且直觀的評價指標，但在樣本數量不平衡時，其值更容易偏向數量較多的樣本。因此，本試驗在構建數據集時，控制各數據集樣本量保持一致，避免出現上述問題。precision是衡量模型正確預測能力的指標，它代表了被正確預測的樣本數量占被預測成該類別總樣本數量的比重。recall又被稱為檢出率，它表示被正確預測的樣本數量占該類別總樣本數的比例。F1-score是結合precision和recall的綜合指標，其取值范圍是0～1，1代表模型的最優輸出，0代表模型的最差輸出。各指標計算公式如下。

式中，TP表示實際為正且被預測為正的樣本數量；FP表示實際為負但被預測為正的樣本數量；FN表示實際為正但被預測為負的樣本數量；TN為表示實際為負且被預測為負的樣本數量。

2 結果與分析

2.1 圖像預處理結果分析

圖4為玉米果穗圖像預處理過程。對玉米果穗原始圖像（圖4A）進行灰度化處理（圖4B）；然后進行閾值分割、二值化（圖4C）及雙邊濾波填充去噪、腐蝕膨脹修正邊緣等處理，去除圖像中的雜質；最后利用目標區域與背景的灰度差異提取目標果穗圖像（圖4D）。經過處理后的圖像有效解決了顆粒、碎屑等噪聲的干擾，使模型能夠充分地提取玉米果穗圖像信息，提高了有效信息的檢測性，便于模型對特征的提取與學習。

圖4 玉米果穗圖像預處理Fig.4 Image preprocessing of corn ears

2.2 優化算法結果與分析

分析Adagrad、RMSporp和Adam優化算法對模型訓練階段的影響，結果如圖5所示。與RMSprop算法相比，使用Adam和Adagard算法顯著提升了模型的訓練準確率，且降低損失值；與Adagrad算法相比，Adam算法在模型訓練階段準確率和損失值的收斂速度更快，且振蕩幅度更小。故采用Adam算法作為玉米果穗品種分類識別研究的優化算法，優化模型的訓練效果。

圖5 不同優化算法下模型的訓練曲線Fig.5 Training curves of models under different optimization algorithms

2.3 全連接層對模型性能的影響分析

評估不同全連接層模塊下模型的性能，結果如表3所示。Bacth_size為32、全連接層層數為2層且維度為256時，準確率、精確率、召回率、調和平均值較其他參數分別提高3%～12%、2.79%～8.2%、2.9%～11.57%、3%～12%。由此表明，Bacth_size=32，全連接層層數為2層且維度為256時，得到識別玉米果穗的最優模型——NASNet-mobile-maize。

表3 不同全連接層模塊下模型性能評估Table 3 Model performance evaluation under different full connection layer modules

將調整了優化算法和學習率的NASNet-mobile（NASNet-mobil-adjust）與NASNet-mobile-maize以及未調整的NASNet-mobile做對比，結果如圖6所示。NASNet-mobile-maize的訓練和驗證準確率明顯高于NASNet-mobile和NASNet-mobil-adjust，且訓練與驗證曲線更為平滑，振蕩幅度更小，表明其訓練效果更好；且NASNet-mobile-maize損失值的下降速度更快、更平滑，最終損失值也最低，說明其性能更強。

圖6 NASNet-mobile-maize訓練與驗證結果Fig.6 Results of NASNet-mobile-maize training and validation

2.4 玉米品種分類識別結果分析

NASNet-mobile-maize在不同品種玉米果穗識別任務中測試結果的評價指標如表4所示。‘錦玉118’在測試時的精確率較低，說明容易與其他樣本混淆。‘薈玉18’在測試時的召回率較低，說明其樣本自身的特征不夠明顯；‘鐵研630’的所有指標均為1.000 0，證明其具有明顯的品種特征，更易識別。

表4 NASNet-mobile-maize模型下不同品種玉米果穗測試結果的評價指標Table 4 Evaluation indexes of ear test results of different varieties of maize under NASNet-mobile-maize model

圖7為NASNet-mobile-maize模型測試結果的混淆矩陣。該矩陣的每一行之和代表了該類樣本參與了模型測試的真實數量；每一列之和代表了被預測為該類樣本的樣本數量。其中，將某一類樣本預測為另一類別則被認為是錯誤識別；預測的樣本數量小于真實數量則被認為產生了漏識別[22]。由圖7可知，‘錦玉118’產生了較多的錯誤識別，其中‘薈玉18’和‘科諾58’各有2個樣本被識別為‘錦玉118’，說明這2個品種易與‘錦玉118’混淆。‘科諾58’有2個樣本漏識別，‘薈玉18’有1個樣本漏識別。5個品種的具體特征如圖8所示，其中黃色區域為模型關注的重點區域，第1層卷積主要關注了果穗的輪廓特征，但效果并不明顯，而最后1層卷積則精準關注了果穗兩端的特征。

圖7 NASNet-mobile-maize測試結果的混淆矩陣Fig.7 Confusion matrix of NASNet-mobile-maize test results

圖8 5個玉米品種的特征Fig.8 Characteristics of 5 corn varieties

ROC（receiver operating characteristic curve）曲線又稱感受性曲線，最靠近曲線圖左上方的點為敏感性和特異性的臨界點，曲線越接近左上角，該類數據的測試結果越好。分析NASNet-mobilemaize測試結果的ROC曲線，結果（圖9）表明，大部分類別的ROC曲線整體與臨界點接近，只有少部分樣本（如‘薈玉18’和‘科諾58’）假陽性率較高，分類效果稍差，‘鐵研630’的ROC曲線與臨界點重合，分類效果最佳。

圖9 NASNet-mobile-maize測試結果的ROC曲線Fig.9 ROC curve of NASNet-mobile-maize test result

3 討論

傳統的玉米品種分類識別技術存在高時耗、高成本、專業性強、損傷率高等問題。為解決上述問題，本研究提出了一種基于NASNet-mobile網絡的玉米品種分類識別模型，與徐巖等[23]采用玉米籽粒進行識別不同，本研究聚焦于表型特征更為豐富的玉米果穗，在此基礎上采用遷移學習有效解決了數據量小的問題，既節省了模型的訓練時間，又增強了模型的泛化能力與魯棒性。

AdaGrad能夠對每個不同的參數調整不同的學習率，但隨時間的增加，最終導致學習率收縮到太小無法進行有效更新；RMSProp能夠克服AdaGrad梯度急劇減小的問題，但容易導致訓練初期產生大幅度振蕩；Adam算法同時獲得了AdaGrad和RMSProp算法的優點。本研究對不同的優化算法經過試驗分析，表明Adam在玉米果穗識別任務中不僅提升了訓練的速度，而且有效解決了訓練振蕩幅度大的問題。

全連接層模型可以整合特征以及用于之后的分類，隨著全連接層層數或維度的增加，模型的非線性表達能力會得到一定提升[24]。本研究對全連接層進行了全新設計，實現了95%的測試準確率，由此證明，增加一定數量的全連接層層數及其維度，可提升在玉米果穗識別分類中NASNetmobile模型的性能，最終建立基于玉米果穗圖像的品種分類識別模型——NASNet-mobile-maize。

本研究采用NASNet-mobile網絡進行基于玉米果穗圖像的品種分類識別，具有高度可行性，為實現智慧育種和種質資源保護研究提供了模型和算法參考。但文中對模型參數與全連接層調整仍存在一定局限性，因此，可進一步采集不同種植區域及不同栽培條件下的樣本集種類和數量，深入研究該模型在智能手機端的應用。