采用機器視覺與自適應卷積神經網絡檢測花生仁品質

張思雨，張秋菊，李 可

·農產品加工工程·

采用機器視覺與自適應卷積神經網絡檢測花生仁品質

張思雨，張秋菊，李 可※

（江南大學機械工程學院，無錫 214122）

該文以花生質量自動化檢測為研究目標，提出了一種基于機器視覺與自適應卷積神經網絡的花生質量檢測方法。構建花生圖像數據庫用于識別花生的常見缺陷，包括霉變、破碎、干癟等；然后建立卷積神經網絡自動提取花生圖像特征。為避免深層網絡訓練時間過長，分別將二次函數與正態分布模型引入網絡損失中，同時從網絡的損失與權值2方面提出自適應學習率，并分別結合梯度下降與梯度上升法更新網絡。為提高模型的泛化能力，引進遷移學習算法，分別在網絡的特征層與分類層后加入領域自適應，實現跨領域與跨任務的檢測。試驗結果表明，該方法對花生常見缺陷的平均識別率達99.7%，與傳統的深度網絡相比實現了更高的收斂速度與識別精度。

農產品；機器視覺；無損檢測；自適應卷積神經網絡；自適應學習率；遷移學習；領域自適應

0 引 言

花生是中國產量豐富、食用廣泛的一種堅果，同時也是中國為數不多的具有強勁國際競爭力的出口創匯農產品[1]。收獲的花生在存儲、運輸的過程中由于濕度，溫度及其他不可抗力因素的影響，極易發生破碎、干癟、以及霉變等現象，這些缺陷不僅會影響花生的外觀與品質，導致價格與銷量下降，甚至會因花生的霉變而產生致癌物質黃曲霉毒素，嚴重威脅到人們的健康，因此應嚴格保證花生的質量[2-3]。機器視覺技術提供了一種非接觸的自動檢測方法，具有實時、高效、客觀等優點，且價格相對低廉，已被廣泛應用于食品質量檢測領域[4]。缺陷特征提取是決定檢測精度的關鍵，也是檢測的難點之一，傳統的圖像識別技術采用手動提取特征的方法，在麥粒、玉米以及花生等食品的質量檢測中得到了應用，并取得了令人滿意的效果[5-9]。然而手動提取特征依賴于大量的先驗知識，需要通過試驗不斷的對提取的特征進行擇優，過程繁瑣且易受外界因素影響，很難得到準確、穩定的缺陷特征。

卷積神經網絡（convolutional neural network，CNN）是一種具有深層網絡結構的模型，與需要手動提取特征的淺層模型相比，可以自動提取最具有代表性的圖像特征[10-11]。周云成等在VGGNet的基礎上優選出一種8層CNN模型用于番茄的特征提取與表達，從而實現同時對不同成熟度的果和不同花齡的花的有效識別[12]；王璨等提出了基于CNN提取多尺度分層特征的方法，用于識別玉米苗與雜草[13]。CNN不僅具有自學習能力和自動提取特征的優點，還具有權值共享以及輸入圖像與網絡結構結合良好等優勢[14]。基于這些優越的特性，CNN被成功應用于體積較小的顆粒農產品的質量檢測中。趙志衡等提出基于CNN的花生籽粒完整性識別算法，并采用L2范數正則化、指數衰減法和滑動平均模型的方法優化CNN，實現花生破損籽粒的分類[15-16]；杜劍等構建了一個6層CNN用于提取夏威夷果的光譜特征，并采用激活函數ReLU與Dropout法預防過擬合現象，實現三種不同品質的夏威夷果的分類[17]；Qiu等應用CNN識別4個品種的水稻種子，并在不同訓練樣本量的條件下與最近鄰KNN以及支持向量機SVM方法進行對比，CNN實現了較高的識別精度[18]；Han等采用CNN識別帶有黃曲霉毒素的花生樣品，通過與傳統識別模型進行比較得到了更好的性能[19]；Przyby?o等應用CNN學習橡子的局部特征與全局特征，用于識別健康與變質的橡子[20]。CNN較傳統的神經網絡和淺層模型存在很多優勢，但在實際應用中仍存在許多待解決的問題。當在特定環境下訓練好的CNN模型在新環境下運行時，領域的改變會導致模型性能的下降。如果新環境中有足夠的帶標簽的圖像重新訓練模型，CNN的性能也許會得到提升，但是在新環境中采集大量帶標簽的圖像是昂貴的；即使存在這樣的圖像集，訓練一個性能良好的網絡模型也需要花費很長的時間[21]。對此，Zhang等提出CNN結構自適應法，根據不同的樣本自適應調整模型結構，有效的減少了模型的訓練時間與誤差[22]；儲珺等提出自適應調節學習率和樣本訓練方式的CNN模型，解決了小樣本數據過擬合的問題[23]；Abdeljaber等分別對學習率與網絡結構進行改進以提高CNN訓練與計算的效率，但上述方法依然存在網絡泛化能力弱，學習率等關鍵參數設置困難等問題[24-25]。

遷移學習不僅可以將典型模型中訓練好的參數直接遷移到自己的模型中，解決計算量與訓練時間的問題，還可以通過域自適應學習（domain adaptation learning，DAL）解決訓練樣本不足與模型過期的問題[26]。Liang等將在ImageNet數據集上訓練好的CNN權重遷移到自己的網絡中進行進一步學習[27-28]；Paa?en等將遷移學習應用在仿生手領域，使受干擾的數據再次適用于原始模型[29]；Salaken等通過域自適應學習將源域信息轉換為適合目標域的信息，以實現跨領域的識別[30]。

本文提出一種自適應卷積神經網絡模型（domain adaptation learning-adaptive convolutional neural network，DAL-ACNN），在AlexNet[31]的基礎上引入自適應學習率，根據網絡損失與權值的變化自動調整學習率的大小，以適應模型的訓練過程，避免因不合適的學習率引起過慢的收斂速度；同時引入域自適應學習對測試數據與訓練數據進行統計分析與變換，提高模型的泛化性，實現跨域和跨任務的檢測，并通過試驗驗證了該模型的識別精度與收斂速度。

1 構建花生圖像數據庫

搭建圖像采集系統如圖1，系統采用彩色工業相機獲取花生的RGB圖像，相機型號為MER-1520-13U3C，1 500萬像素，4 608×3 288分辨率，USB3.0接口；鏡頭選用KOWA LM12JC1MS千萬像素定焦鏡頭，焦距為12 mm，光源選用LED白色光源，所有圖像均以BMP格式存儲。

1.相機 2.鏡頭 3.LED照明 4.載物臺 5.花生樣品 6.圖像監視器

本文主要針對花生中存在的典型缺陷進行檢測，其中包括霉變、破碎、干癟。圖像采集背景為黑色，采集時隨機放置花生樣本。通過灰度變換、閾值分割、腐蝕與膨脹等圖像處理方法檢測花生輪廓，沿輪廓大小向外擴充40個像素對圖像進行分割，圖2為分割得到的單個花生圖像。建立花生圖像數據庫，共4 000張，其中包括正常粒1 000張，霉變粒1 000張，破碎粒1 000張，干癟粒1 000張。

圖2 花生分割圖

2 自適應卷積神經網絡的構建

CNN是一種可以實現自動特征提取的模型，特征表示[10-11,14]如下

注：表示基于損失變化的自適應學習率，表示基于權值變化的自適應學習率；表示域分類損失，表示邊緣分布自適應損失，表示條件分布自適應損失，表示分類損失。

2.1 自適應學習率

學習率直接關系到模型的收斂速度和識別精度[23-24]。在初始訓練階段應選擇較大的學習率，避免模型陷入局部最優解，保證收斂速度。在訓練后期網絡損失下降緩慢，且在某一定值附近波動，此時模型應選擇較小的學習率避免震蕩，使網絡損失繼續下降[32]。本文將二次函數與網絡損失相結合如式（4），其中網絡損失作為自變量。當=0時存在理想的極小值，此時網絡性能達到最佳。

由（6）可知，網絡訓練初期損失較大，學習率較大，可加速網絡收斂，跳出局部極小值。隨著迭代次數的增加，網絡損失逐漸減小，學習率減小，可避免網絡震蕩。但在訓練后期損失趨近于0，學習率同樣趨近于0。為避免學習率為0，提出如下變換方法

2.2 領域自適應

圖3中在Softmax層后加入條件分布自適應，通過將源域中學習到的類別分布信息遷移到目標域中，實現跨任務的識別。類別分布是指領域中任一類別與各類別相似的概率，可通過Stmofax層得到每個樣本與各類別相似的概率，并對類別中所有樣本對應的概率求均值，即可得到類別與每一個類別相似的概率。源域的類別分布如式（11）

2.3 DAL-ACNN參數更新

3 試驗結果與分析

3.1 驗證DAL-ACNN

本文將第1節建立的圖像數據庫作為源域，同時選擇光照不均勻的白色背景作為目標域，并通過相同的圖像處理方法建立目標域數據庫。目標域數據庫共2 000張圖像，其中包括正常粒500張，霉變粒500張，破損粒500張，干癟粒500張。圖4為兩領域數據庫的部分圖像。

圖4 部分源域與目標域圖像

使用源域訓練好的參數初始化DAL-ACNN模型，將目標域數據按照7∶3的比例分為訓練集與測試集，并將源域數據與目標域數據共同作為輸入數據訓練DAL-ACNN模型。通過自適應學習率微調參數更新過程中的步長，并通過反向傳播不斷優化域自適應損失與分類損失。迭代500次后得到訓練好的DAL-ACNN模型，圖5為具體算法流程。

本文首先使用目標域的數據訓練傳統的CNN模型，得到花生質量檢測的平均準確率為97.4%，并從圖6a中可以看出傳統CNN模型的識別錯誤率較高，模型精度仍然存在上升空間；然后使用源域數據輔助目標域數據訓練DAL-ACNN模型，該模型的平均準確率高達99.7%。雖然由于部分特征參數的重疊，無法保證100%的識別精度，但從圖6b中可以看出，與傳統的CNN模型相比DAL-ACNN模型大大提高了花生的檢測精度。表1詳細的列出了DAL-ACNN模型對花生各類缺陷的檢測結果，其中對于花生霉變粒與破碎粒的識別準確率均達到了100%，而干癟粒與破碎粒中均僅有一個樣本被錯誤的識別，錯誤率僅占0.7%。

圖5 DAL-ACNN算法

圖6 花生檢測結果

表1 DAL-ACNN模型的花生檢測結果

3.2 DAL-ACNN與固定學習率比較

選擇不同數量級的初始學習率驗證本文提出的自適應學習率，圖7和圖8分別為DAL-ACNN與CNN在初始學習率為0.001與0.000 1時的收斂性能。在初始學習率0.001的條件下，雖然CNN產生了較好的收斂性能，但仍低于DAL-ACNN的收斂性能。當選取更小的初始學習率0.000 1時，CNN的收斂性能明顯下降，在迭代到100次時模型開始陷入局部極小值，并且很長一段時間都沒有跳出，導致模型的最終精度比初始學習率為0.001時的精度下降了10%。而改變初始學習率對DAL-ACNN的收斂性能影響較小，在不同數量級的初始學習率下，DAL-ACNN均獲得了較好的收斂性能，并且在初始學習率0.001與0.000 1條件下訓練的DAL-ACNN的最終精度僅有2%的差距。

圖7 DAL-ACNN 與CNN在學習率0.001時的收斂

圖8 DAL-ACNN 與CNN在學習率0.000 1時的收斂

3.3 不同樣本量下DAL-ACNN與CNN的比較

為證明DAL-ACNN在小樣本條件下的優越性，減少訓練樣本與測試樣本，分別比較DAL-ACNN與CNN在不同樣本量下的訓練性能與測試性能。本次試驗中，DAL-ACNN與CNN的初始學習率均為0.001，目標域的訓練樣本數量分別選擇1 000、500以及200，源域的樣本量保持不變。圖9展示了DAL-ACNN與CNN在不同訓練樣本量下的訓練性能，可以看出DAL-ACNN的性能均優于CNN，且隨著訓練樣本量的減小，DAL-ACNN與CNN之間的差距不斷增加。尤其在訓練樣本量為200的條件下（圖9（c）），CNN陷入局部極小值，直到迭代到250次左右才跳出，而DAL-ACNN雖然有陷入局部值的情況，但是可以很快的跳出局部極小值，保證了網絡的收斂速度與識別精度。

圖9 不同樣本量下DAL-ACNN與CNN的訓練精度

圖10是在訓練樣本量分別為1 000、500以及200的條件下DAL-ACNN與CNN的測試精度。測試樣本與訓練樣本保持3∶7的比例不變，對應的測試樣本量分別為75、32以及15。DAL-ACNN在訓練樣本量為200的條件下其測試精度為96%，與訓練樣本量為2 000時的測試精度相比，僅產生3.5%的差距。而CNN在訓練樣本量為200的條件下其測試精度為91%，與訓練樣本量為2 000時的測試精度相比產生了6.4%的差距。且DAL-ACNN在訓練樣本量為200時的測試精度與CNN在訓練樣本量為1 000時的測試精度相同。因此，改變訓練樣本量增加了CNN與DAL-ACNN的精度差距，同時也證明了DAL-ACNN在小訓練樣本量下的優越性能。

圖10 不同樣本量下DAL-ACNN與CNN的測試精度

3.4 不同方法的比較

為進一步證明DAL-ACNN模型的優越性能，將其與經典的VGGNet、GoogLeNet、ResNet以及DenseNet模型進行比較，其中VGGNet與ResNet分別選擇VGG19與ResNet50結構。所選的4種深度模型擁有不同的層數與結構，比較經典地代表了CNN的不同思路，并且都是在ImageNet數據集上訓練好的模型，證明了其優越的分類性能。本文在經典預訓練模型的基礎上，凍結模型的前幾層，微調模型的權重參數，使用目標域中的花生圖像對模型進行進一步的訓練和學習。試驗結果如圖11所示，所選的經典模型在本文的花生圖像集中均展示出了較高的檢測性能。但與DAL-ACNN模型相比，VGGNet模型對花生霉變粒的識別準確率下降了9.3個百分點；GoogLeNet模型對花生干癟粒與霉變粒的識別準確率分別下降了4.6個百分點與1.3個百分點；ResNet模型對花生干癟粒與霉變粒的識別準確率分別下降了2.6個百分點與1.3個百分點；DenseNet模型對花生干癟粒與霉變粒的識別準確率分別下降了2.1個百分點與1個百分點。進一步將4種模型的平均識別精度與本文所提出的DAL-ACNN模型進行對比，結果如表2所示，與4個模型中錯誤率較高的VGGNet模型相比，DAL-ACNN模型的平均識別精度提高了2.3個百分點，與錯誤率最低的DenseNet模型相比，DAL-ACNN模型的平均識別精度上升了0.7個百分點。因此，本文的DAL-ACNN模型相較于經典的深度模型實現了最高的識別精度。

圖11 不同方法下花生的缺陷檢測精度

表2 不同方法的精度對比

4 結 論

本文結合機器視覺技術與DAL-ACNN模型實現花生常見缺陷的檢測。首先，該模型采用卷積神經網絡自動提取花生的缺陷特征，解決手動提取特征的難題；其次，本文提出自適應學習率，縮短深層網絡的訓練時間，提高識別精度；然后，引入領域自適應，實現不同應用場景下的檢測，并對小樣本訓練集表現出良好的適應性；最后，將DAL-ACNN用于花生質量檢測并與經典的深度模型進行比較。對比試驗結果表明，DAL-ACNN具有更高的檢測精度，平均識別率高達99.7%，其中對干癟粒、霉變粒、破碎粒與正常粒的識別率分別達到了99.3%、100%、100%和99.3%。該方法操作簡便，不需要經驗豐富的人員就能快速實現花生質量的自動化控制，具有一定的商業與工業價值。在今后的工作中，可將DAL-ACNN用于玉米、大豆等不同品種的檢測中，增強模型的適用性，同時可進一步研究模型中其他參數的自適應調節，如卷積核尺寸等。

[1]陳翠霞，劉曉帆. 優質出口花生生產中存在的問題與對策[J]. 農業科技通訊，2012 (4)：13－14.

[2]李廣前. 山東花生產品出口貿易發展研究[D]. 泰安：山東農業大學，2010. Li Guangqian. The Study of the Export Trade Development of Shandong Peanut Products[D]. Taian: Shandong Agricultural University, 2010. (in Chinese with English abstract)

[3]綦亞偉. 山東省花生出口問題研究[D]. 淄博：山東理工大學，2017. Qi Yawei. The Research of Shandong Peanut Exports[D]. Zibo: Shandong University of Technology, 2017. (in Chinese with English abstract)

[4]成芳，應義斌. 機器視覺技術在農作物種子質量檢驗中的應用研究進展[J]. 農業工程學報，2001，17(6)：175－179. Cheng Fang, Ying Yibin. Application of machine vision to quality evaluation of agricultural seed resources[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2001, 17(6): 175－179. (in Chinese with English abstract)

[5]張紅濤，毛罕平，劇森，等. 基于胚部區域特征的麥粒姿態自動識別[J]. 農業工程學報，2014，30(14)：163－169. Zhang Hongtao, Mao Hanping, Ju Sen, et al. Automatic posture recognition of wheat kernels based on germ features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(14): 163－169. (in Chinese with English abstract)

[6]陳紅，熊利榮，胡筱波，等. 基于神經網絡與圖像處理的花生仁霉變識別方法[J]. 農業工程學報，2007，23(4)：158－161. Chen Hong, Xiong Lirong, Hu Xiaobo, et al. Identification method for moldy peanut kernels based on neural network and image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2007, 23(4): 158－161. (in Chinese with English abstract)

[7]高新浩，劉斌. 基于機器視覺的鮮食玉米品質檢測分類器設計與試驗[J]. 農業工程學報，2016，32(1)：298－303. Gao Xinhao, Liu Bin. Design and experiment of fresh corn quality detection classifier based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(1): 298－303. (in Chinese with English abstract)

[8]王紅軍，熊俊濤，黎鄒鄒，等. 基于機器視覺圖像特征參數的馬鈴薯質量和形狀分級方法[J]. 農業工程學報，2016，32(8)：272－277. Wang Hongjun, Xiong Juntao, Li Zouzou, et al. Potato grading method of weight and shape based on imaging characteristics parameters in machine vision system[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(8): 272－277. (in Chinese with English abstract)

[9]張凱，李振華，郁豹，等. 基于機器視覺的花生米品質分選方法[J]. 食品科技，2019，44(5)：297－302. Zhang Kai, Li Zhenhua, Yu Bao, et al. Peanut quality sorting method based on machine vision[J]. Food Science and Technology, 2019, 44(5): 297－302. (in Chinese with English abstract)

[10]楊斌，鐘金英. 卷積神經網絡的研究進展綜述[J]. 南華大學學報：自然科學版，2016，30(3)：66－72. Yang Bin, Zhong Jinying. Review of convolution neural network[J]. Journal of University of South China (Science and Technology), 2016, 30(3): 66－72. (in Chinese with English abstract)

[11]盧宏濤，張秦川. 深度卷積神經網絡在計算機視覺中的應用研究綜述[J]. 數據采集與處理，2016，31(1)：1－17. Lu Hongtao, Zhang Qinchuan. Applications of deep convolutional neural network in computer vision[J]. Journal of Data Acquisition and Processing, 2016, 31(1): 1－17. (in Chinese with English abstract)

[12]周云成，許童羽，鄭偉，等. 基于深度卷積神經網絡的番茄主要器官分類識別方法[J]. 農業工程學報，2017，33(15)：219－226. Zhou Yuncheng, Xu Tongyu, Zhen Wei, et al. Classification and recognition approaches of tomato main organs based on DCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(15): 219－226. (in Chinese with English abstract)

[13]王璨，武新慧，李志偉. 基于卷積神經網絡提取多尺度分層特征識別玉米雜草[J]. 農業工程學報，2018，34(5)：144－151. Wang Can, Wu Xinhui, Li Zhiwei. Recognition of maize and weed based on multi-scale hierarchical features extracted by convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 144 －151. (in Chinese with English abstract)

[14]張慶輝，萬晨霞. 卷積神經網絡綜述[J]. 中原工學院學報，2017，28(3)：82－90. Zhang Qinghui, Wan Chenxia. Review of convolutional neural networks[J]. Journal of Zhong Yuan University of Technology. 2017, 28(3): 82－90. (in Chinese with English abstract)

[15]趙志衡，宋歡，朱江波，等. 基于卷積神經網絡的花生籽粒完整性識別算法及應用[J]. 農業工程學報，2018，34(21)：195－201. Zhao Zhiheng, Song Huan, Zhu Jiangbo, et al. Identification algorithm and application of peanut kernel integrity based on convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 195－201. (in Chinese with English abstract)

[16]宋歡. 顆粒狀農作物彩色色選圖像處理算法研究[D]. 哈爾濱：哈爾濱工業大學，2018. Song Huan. Research on Color Sorting Image Processing Algorithm for Cranular Crops[D]. Harbin: Harbin Institute of Technology, 2018. (in Chinese with English abstract)

[17]杜劍，胡炳樑，劉永征，等. 基于卷積神經網絡與光譜特征的夏威夷果品質鑒定研究[J]. 光譜學與光譜分析，2018，38(5)：1514－1519. Du Jian, Hu Bingliang, Li Yongzheng, et al. Study on quality identification of macadamia nut based on convolutional neural networks and spectral features[J]. Spectroscopy and Spectral Analysis, 2018, 38(5): 1514－1519. (in Chinese with English abstract)

[18]Qiu Zhengjun, Chen Jian, Zhao Yiying, et al. Variety identification of single rice seed using hyperspectral imaging combined with convolutional neural network[J]. Applied Sciences, 2018, 8(2): 212－223.

[19]Han Zhongzhi, Gao Jiyue. Pixel-level aflatoxin detecting based on deep learning and hyperspectral imaging[J]. Computers and Electronics in Agriculture, 2019, 164: 1－8.

[20]Przyby?o J, Jab?oński M. Using deep convolutional neural network for oak acorn viability recognition based on color images of their sections[J]. Computers and Electronics in Agriculture, 2019, 156: 490－499.

[21]周飛燕，金林鵬，董軍. 卷積神經網絡研究綜述[J]. 計算機學報，2017，40(6)：1229－1251. Zhou Feiyan, Jin Linpeng, Dong Jun. Review of convolutional neural network[J]. Chinese Journal of Computers, 2017, 40(6): 1229－1251. (in Chinese with English abstract)

[22]Zhang Yuanyuan, Zhao Dong, Sun Jiande, et al. Adaptive convolutional neural network and its application in face recognition[J]. Neural Processing Letters, 2016, 43(2): 389－399.

[23]儲珺，蘇亞偉，王璐. 自適應調節學習率和樣本訓練方式的場景分類[J]. 模式識別與人工智能，2018，31(7)：625－633. Chu Jun, Su Yawei, Wang Lu. Scene classification with adaptive learning rate and sample training mode[J]. Pattern Recognition and Artificial Intelligence, 2018, 31(7): 625－633. (in Chinese with English abstract)

[24]Abdeljaber O, Avci O, Kiranyaz S, et al. Real-Time vibration-based structural damage detection using one-dimensional convolutional neural networks[J]. Journal of Sound and Vibration, 2017, 388: 154－170.

[25]Takase T, Oyama S, Kurihara M. Effective neural network training with adaptive learning rate based on training loss[J]. Neural Networks, 2018, 101: 68－78.

[26]Pan S J, Yang Qiang. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345－1359.

[27]Liang Gaobo, Hong Huichao, Xie Weifang, et al. Combining convolutional neural network with recursive neural network for blood cell image classification[J]. IEEE Access, 2018, 6: 36188－36197.

[28]張鑫鑫，梁星. 基于遷移學習的卷積神經網絡應用研究[J]. 電腦知識與技術，2019，15(10)：174－177. Zhang Xinxin, Liang Xing. Research and application of transfer learning in convolutional neural network[J]. Computer Knowledge and Technology, 2019, 15(10): 174－177. (in Chinese with English abstract)

[29]Paa?en B, Schulz A, Hahne J, et al. Expectation maximization transfer learning and its application for bionic hand prostheses[J]. Neurocomputing, 2018, 298: 122－133.

[30]Salaken S M, Khosravi A, Thanh N, et al. Seeded transfer learning for regression problems with deep learning[J]. Expert Systems with Applications, 2019, 115: 565－577.

[31]Shanthi T, Sabeenian R S. Modified Alexnet architecture for classification of diabetic retinopathy images[J]. Computers & Electrical Engineering, 2019, 76: 56－64.

[32]郭曉潔，陳良，沈長青，等. 自適應深度卷積神經網絡在人臉識別上的應用[J]. 自動化技術與應用，2017，36(7)：72－77. Guo Xiaojie, Chen Liang, Shen Changqing, et al. Adaptive deep convolution neural network and its application in human face recognition[J]. Techniques of Automation and Application, 2017, 36(7): 72－77. (in Chinese with English abstract)

[33]張博，史忠植，趙曉非，等. 一種基于跨領域典型相關性分析的遷移學習方法[J]. 計算機學報，2015，38(7)：1326－1336. Zhang Bo, Shi Zhongzhi, Zhao Xiaofei, et al. A transfer learning based on canonical correlation analysis across different domains[J]. Chinese Journal of Computers, 2015, 38(7): 1326－1336. (in Chinese with English abstract)

Detection of peanut kernel quality based on machine vision and adaptive convolution neural network

Zhang Siyu, Zhang Qiuju, Li Ke※

(,,214122,)

Aiming at the shortcomings of the traditional image recognition, including low accuracy and relying on experienced staff, a peanut kernel quality detection method based on machine vision and adaptive convolutional neural network (DAL-ACNN) is proposed in this paper. An image acquisition system was built to obtain the color images of peanuts which included normal peanuts, broken peanuts, shriveled peanuts and mildew peanuts, and a black background was selected in the system. Then, a convolutional neural network (CNN) based on Alexnet was selected to automatically extract and detect the peanut defects. To improve the accuracy and generalization of detection, it is necessary to optimize the existed network. Firstly, the key of the stochastic gradient descent is the choice of the learning rate, which directly influences the convergence speed and testing accuracy of the network. In this paper, an adaptive learning rate based on the changes in the loss and the weight was proposed, respectively. A larger learning rate was obtained to accelerate convergence in the initial training stage, and a smaller learning rate produced due to a higher accuracy in the later of network, which can avoid the oscillation. In the process of parameters update, a quadratic function was introduced to the loss to combine with the adaptive learning rate based on loss change for parameters update, and a normal distribution model was introduced to combine with the adaptive learning rate based on weight change to further update parameters. Secondly, to improve the generalization performance of the model, the domain adaption learning (DAL) for transfer learning was joined to the network. A domain classifier was introduced behind the feature layer, which can measure the difference of feature distribution between domains by the domain classification loss, and minimize difference of feature distribution by the marginal distribution adaption loss. A conditional distribution adaptation was introduced behind the Softmax layer, which can measure and adjust the category distribution difference by the conditional distribution adaption loss. These losses for domain adaption learning were optimized by backpropagation, which can locally and globally adjust the distribution to minimize the difference between domains, then the source domain information was migrated to the target domain, so the network trained on source data can also perform well on target data. The loss of marginal distribution adaption and conditional distribution adaption were combined with the classification loss to form the loss of the proposed model. The loss of conditional distribution adaption and classification were used to update the parameters by the adaptive learning rate based on loss change, and the marginal distribution adaption loss was used to further update the feature parameters by the adaptive learning rate based on weight change. The additional domain classifier parameter was updated by the adaptive learning rate based on domain classification loss variation. Finally, to verify the proposed method, the background above was seen as source domain, and a white background was selected as target domain. The parameters trained on source domain were used to initialize the proposed model, the source data and target data were taken as input to train the model. The result showed that the average accuracy for peanut detection in the target domain was 99.7%. And a higher convergence and accuracy generated by comparing with the traditional CNN at different learning rates and training sample sizes. To further prove the performance of the proposed approach, it was compared with the classic VGGNet、GoogLeNet、ResNet and DenseNet, which produced a satisfactory result.

agricultural products; machine vision; nondestructive detection; adaptive convolutional neural network; adaptive learning rate; transfer learning; domain adaption

張思雨，張秋菊，李 可. 采用機器視覺與自適應卷積神經網絡檢測花生仁品質[J]. 農業工程學報，2020，36(4)：269－277. doi：10.11975/j.issn.1002-6819.2020.04.032 http://www.tcsae.org

Zhang Siyu, Zhang Qiuju, Li Ke. Detection of peanut kernel quality based on machine vision and adaptive convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(4): 269－277. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.04.032 http://www.tcsae.org

2019-10-10

2020-01-10

國家自然科學基金資助項目（51775243）；江蘇省重點研發計劃?產業前瞻與共性關鍵技術（BE2017002）

張思雨，博士生，研究方向為機器視覺及智能檢測技術。Email：1466944512@qq.com

李 可，教授，研究方向為機械系統動態監測與智能故障診斷。Email：like@jiangnan.edu.cn

10.11975/j.issn.1002-6819.2020.04.032

TP391.41；TP274+.3

A

1002-6819(2020)-04-0269-09