基于改進SSD的柑橘實時分類檢測

李善軍，胡定一，高淑敏，林家豪，安小松，朱 明

基于改進SSD的柑橘實時分類檢測

李善軍1,2,3,4,5，胡定一1,2，高淑敏1,2，林家豪1,2，安小松1,2，朱 明1,2※

（1. 華中農業大學工學院，武漢 430070；2. 農業農村部長江中下游農業裝備重點實驗室，武漢 430070；3. 國家現代農業（柑橘）產業技術體系，武漢 430070；4. 國家柑橘保鮮技術研發專業中心，武漢 430070；5. 農業農村部柑橘全程機械化科研基地，武漢 430070）

針對人工分揀柑橘過程中，檢測表面缺陷費時費力的問題，該文提出了一種基于改進SSD深度學習模型的柑橘實時分類檢測方法。在經改裝的自制打蠟機試驗臺架下采集單幅圖像含有多類多個柑橘的樣本2 500張，隨機選取其中2 000張為訓練集，500張為測試集，在數據集中共有正常柑橘19 507個，表皮病變柑橘9 097個，機械損傷柑橘4 327個。該方法通過單階段檢測模型SSD-ResNet18對圖片進行計算和預測，并返回圖中柑橘的位置與類別，以此實現柑橘的分類檢測。以平均精度AP（average precision）的均值mAP（mean average precision）作為精度指標，平均檢測時間作為速度指標，在使用不同特征圖、不同分辨率和ResNet18、MobileNetV3、ESPNetV2、VoVNet39等4種不同特征提取網絡時，進行模型分類檢測效果對比試驗研究。研究表明，該模型使用C4、C5特征圖，768×768像素的分辨率較為合適，特征提取網絡ResNet18在檢測速度上存在明顯優勢，最終該模型的mAP達到87.89%，比原SSD的87.55%高出0.34個百分點，平均檢測時間為20.27 ms，相較于原SSD的108.83 ms，檢測耗時降低了436.90%。該模型可以同時對多類多個柑橘進行實時分類檢測，可為自動化生產線上分揀表面缺陷柑橘的識別方面提供技術借鑒。

目標識別；模型；無損檢測；柑橘；表面缺陷；深度學習；SSD；ResNet18

0 引 言

水果品質分級是水果加工生產線的重要環節，分級得當可以創造更多的經濟價值，而水果的表面缺陷情況是影響水果品質的重要指標之一[1]。但目前篩除表面有缺陷水果的工作多以人工為主，工作量大且耗費人力、財力。因此，實現水果的自動化分類檢測具有重要的意義。

目前，國內外學者運用多種方法對水果進行表面缺陷識別。李江波等[2]通過建立照度-反射模型對臍橙表面缺陷進行檢測，總體正確率超過99%。趙杰文等[3]利用支持向量機識別缺陷紅棗，識別準確率達到96.2%。章海亮等[4]應用高光譜成像技術對柑橘缺陷進行無損檢測，識別率達到94%。Dong等[5]提出了一種基于高光譜成像技術結合主成分分析法和B-樣條光照校正技術的方法對柑橘缺陷進行檢測，準確率達96.5%。Zou等[6]建立了1個由3臺彩色相機組成的系統，從不同角度拍攝了9張蘋果的照片，通過判斷是否有1張照片中的感興趣區域超過1個來識別表面缺陷的蘋果，誤分率為4.2%。Sharif等[7]通過優化加權分割和特征選擇，選出最優特征，然后將選中的特征輸入多類支持向量機進行最終的柑橘病變類型的分類，該方法在其綜合數據集上準確率為89%。

上述水果缺陷識別方法存在樣本較小問題，且通常只能一次識別單個水果，識別效率不高。而近年來快速發展的深度學習技術可以較好的解決這些問題。國內外學者也對基于深度學習的農業檢測方向做了相關研究，其方法主要分為語義分割[8-10]、目標檢測[11-17]、實例分割[18-20]3種。趙德安等[21]使用YOLO模型對復雜背景下的蘋果進行定位，其平均精度（AP，average precision）的均值（mAP，mean average precision）為87.71%，檢測視頻的幀率達到60幀/s。王丹丹等[22]利用R-FCN深度學習模型對疏果前期的蘋果進行目標識別，誤識率為4.9%，處理一張圖像的平均速度為0.187 s。Dias等[23]以蘋果花朵為研究對象，構建了一種深度學習模型，實現了對蘋果花朵的實例分割。Tian等[24]通過改進的YOLO-V3模型檢測不同生長階段的蘋果，F1值達到81.7%。

本文提出一種基于SSD深度學習模型的采后柑橘實時分類檢測方法，利用該模型可達到同時識別多類多個柑橘的目的，為實現生產線上實時分揀有缺陷柑橘提供技術支持。

1 材料與方法

1.1 數據采集及分類

本文試驗所采用的柑橘品種為紐荷爾，采集于宜昌市秭歸縣柑橘果園，相機使用小米8SE 1200萬像素的后置攝像頭，于自然光照條件下，模擬產線背景，在經改裝的小型打蠟機上拍攝，在打蠟機上方固定相機，采取俯視視角拍攝，圖1為圖像采集裝置示意圖。每次拍攝前在打蠟機的滾筒間放置數量不等的柑橘，之后滾輪以0.72 r/s的轉速自動旋轉，以此帶動柑橘的旋轉；相機每隔1秒拍攝1張照片，因此在柑橘旋轉過程中可拍攝到柑橘的不同位面，以此獲取更加全面的數據信息，增加數據量，拍攝到的圖像分辨率為2 448×2 448像素，共拍攝圖像樣本2 500張，拍攝圖像示例如圖2所示。

1.滾筒 2.框架 3.手機固定夾具 4.高清手機 5.電機

圖2 圖像樣本示例

本文將柑橘分為3類，分別為正常柑橘、表皮病變柑橘、機械損傷柑橘。正常柑橘表皮基本無病變斑紋，可進行正常販賣；表皮病變柑橘多有病變斑紋，其外觀受到損傷，但大部分該類柑橘內質并未受到損壞，通?？韶溬u給榨汁廠與罐頭廠進行加工，存在一定價值；機械損傷柑橘為表皮已破裂柑橘，該類柑橘極易腐爛，通常會被丟棄，不存在價值。圖3為3類柑橘示意圖。

a. 正常b. 表皮病變c. 機械損傷 a. Normalb. Skin lesionsc. Mechanical damage

1.2 生成數據集及其預處理

本文試驗在2 500張圖像樣本中隨機挑選2 000張作為訓練集，剩余500張作為測試集，在2 500張圖像樣本中各類柑橘數量的信息如表1所示。

表1 柑橘數據集種類及其數量

本文使用LabelImg對圖像樣本進行標定，采用COCO數據集格式。在標定時，部分柑橘可能既存在表皮病變，又存在機械損傷，對于該類柑橘將其標定為機械損傷柑橘；為增加訓練后模型的容錯率，對于柑橘表皮病變或裂紋特征不明顯的，如只在柑橘邊緣處有少量裂紋或病變特征的柑橘，此類柑橘將被標定為正常柑橘。

為了提高訓練效果，使模型的泛化性得以提升，對數據集使用數據增強方法。鑒于柑橘更換不同方向角度觀察都不會改變其特征的特點，本文使用水平翻轉與垂直翻轉2種數據增強方法。

1.3 試驗平臺

本文試驗基于Windows10操作系統，GPU為 GeForce GTX 1060（6 GB顯存），處理器為Inter(R) Core(TM) i5-8500 CPU@3.00GHz，運行內存為16 G。模型的搭建與訓練驗證通過Python語言實現，基于PyTorch深度學習框架，并行計算框架使用CUDA 10.1版本。

2 柑橘分類檢測模型與評價指標

2.1 SSD-ResNet18模型

SSD[25]是深度學習目標檢測中經典且有效的單階段檢測模型，其首先通過特征提取網絡（backbone）得到特征圖（feature map），再從特征圖中預測出眾多的邊界框，最后通過非極大值抑制（non-maximum suppression）最終確定圖像中物體的類別與位置。SSD訓練時輸入的圖像分辨率一般為300×300像素或512×512像素，本文中后續與原SSD模型相關的試驗都選用512×512像素的圖像分辨率。

2.1.1 ResNet18特征提取網絡

原SSD模型以VGG16[26]作為特征提取網絡，但VGG16網絡參數量龐大，計算速度緩慢，無法達到生產線上實時分類檢測柑橘的要求。因此本文將SSD的特征提取網絡更改為ResNet18深度殘差網絡，該網絡僅有18層，且具有更快的計算速度，其浮點計算量僅為VGG16網絡的1/10[27]，這樣可以更好滿足實時分類檢測柑橘的要求，且訓練時可以使模型更快地收斂，從而減少訓練時間。

2.1.2 特征圖選取

通過特征提取網絡得到的特征圖通常會選擇每次下采樣后，下次下采樣前的一層所得到的結果。本文以代表在網絡第次下采樣后所得到的特征圖，如第1次下采樣后所得到的特征圖就稱為1，在現階段的特征提取網絡中一般都會選擇3、4、5這3個特征圖。在目標檢測模型中，對于不同的特征圖會先安排固定類型的先檢框（Anchor），通常為每個特征圖3種。本文使用-means聚類算法設置=9，通過2 500張數據集中的手動標框得到9種不同的先檢框，其相對百分比范圍為0.084 5～0.151 1，若以768×768像素的分辨率為例，則其先檢框的尺寸范圍為64.90～116.04像素，但3的有效感受野（Effective receptive field）一般為32，而4為64，5為128[28]，所以3特征圖并不一定適用于本課題的柑橘的分類檢測。因此，本文選取4、5這2個特征圖，并使用-means聚類算法重新得到6種不同的先檢框，分別應用于4、5。SSD-ResNet18的模型結構如圖4所示。

圖4 SSD-ResNet18模型結構

2.2 損失函數

SSD-ResNet18模型訓練時所使用的損失函數由置信度損失（L）和位置損失組成（L），其公式為

2.3 評價指標

本文采用mAP作為模型的檢測精度的評價指標，AP作為每一類別的檢測精度的評價指標。mAP和AP與準確率（precision，）、召回率（recall，）有關，準確率和召回率的計算公式如下

式中TP代表被正確劃分到正樣本的數量，FP代表被錯誤劃分到正樣本的數量，FN代表被錯誤劃分到負樣本的數量。

通過計算所得準確率與召回率可以繪制出準確率—召回率曲線，該曲線以召回率為橫坐標，以準確率為縱坐標，代表某一類別的準確率與召回率情況，而AP則是對該曲線進行積分所得，其積分公式為

mAP則為所有類別AP的平均值，其公式為

式中代表類別總數，AP()代表第類的AP值。

速度評估指標采用模型檢測一幅圖所耗費的平均時間，即平均檢測時間，單位為ms。

3 模型訓練

為加快模型訓練收斂速度和提高模型訓練效果，本文所搭建的所有模型都加載了基于ImageNet的預訓練參數。在模型的訓練過程中，優化器使用SGD（stochastic gradient descent）[29]算法，batch_size設置為12，動量（momentum）設置為0.9，初始學習率（learning rate）設置為0.001，學習率調度器為余弦學習率衰減（cosine decay）[29]，權重衰減系數（weight decay）設置為0.000 1，訓練50個大循環（epoch）。由于本文訓練使用余弦學習率衰減，學習率在最后會下降到0，因此在訓練期間損失值會不斷下降，在訓練后期，模型的精度變化會趨于平穩，所以在訓練結束后使用最后保存的模型，即第50次大循環所得的模型，在測試集上進行進一步的驗證分析。圖5為在訓練過程中原SSD與SSD-ResNet18的訓練損失與測試集mAP。

圖5 原SSD與SSD-ResNet18訓練損失和測試集Map

4 結果與分析

4.1 不同特征圖對模型分類檢測效果的影響

從上文可知特征圖3不一定適用于SSD-ResNet18模型檢測本文的柑橘數據集，本文對用3、4、5特征圖的試驗結果進行比較研究，結果如表2所示。不使用3的模型的mAP比使用3的模型高出4.2個百分點，平均檢測時間比其少1ms，這可能是因為3設置了符合橘子尺寸的先檢框后，有一部分柑橘會被分配到3進行檢測，而3的有效感受野僅為32，無法有效地檢測到整個柑橘的特征，因而會造成誤判，所以去除掉3后，mAP有明顯提升，而且減少了模型的計算量，檢測速度也得到了一定的提升。

表2 使用不同特征圖的試驗結果

4.2 不同分辨率對模型分類檢測效果的影響

選擇較為合適的分辨率進行訓練，有利于模型分類檢測效果的提升，本文分別選取512×512像素，640×640像素，768×768像素，896×896像素，1 024×1 024像素5種分辨率進行對比試驗，結果如表3所示。從表3可以看出，分辨率從512×512像素提升至768×768像素時，雖然模型的平均檢測時間增加了7.33 ms，但mAP增長了2.28個百分點，有明顯提升。而分辨率從768×768像素提升至1 024×1 024像素的過程中mAP已在88%上下波動，變化很小，且平均檢測時間增加10.04 ms，說明此時分辨率的增加已經沒有意義。綜合來看，768×768像素的分辨率比較適合該模型。

4.3 各類柑橘的分類檢測效果

將測試集在以768×768像素為分辨率，使用4、5特征圖的SSD-ResNet18模型與原SSD模型上分別進行測試，得到兩種模型對各類柑橘的分類檢測效果，結果如表4所示。原SSD與SSD-ResNet18的mAP相差不多，但SSD-ResNet18的檢測時間卻是原SSD的1/5，而且對于機械損傷類別的柑橘其AP值比原SSD的高出1.56個百分點，說明SSD-ResNet18對于該類柑橘的分類檢測效果相比于原SSD有了一定的提升。另外，兩種模型對于正常柑橘的識別效果最好，對于機械損傷的柑橘識別效果最差，這應該與各類柑橘在數據集中的數據量有關。若增加表皮病變與機械損傷這2類柑橘的數據量或者實現對柑橘個體的目標追蹤，通過柑橘各個位面的表皮信息進行綜合判定，可能可以進一步地提升模型的識別效果，特別是對于病變與損傷的柑橘。

表3 不同分辨率的分類檢測效果對比

表4 原SSD與SSD-ResNet18的分類檢測結果

注：N：正常；SL：表皮病變；MD：機械損傷

Note: N: Normal; SL: Skin lesions; MD: Mechanical damage

圖6為2種模型分類檢測的具體效果。從圖6可以看出，2種模型對于柑橘位置的識別都非常準確，沒有出現漏檢柑橘的情況。對于分類情況，SSD-ResNet18與原SSD效果也相差不多，分類正確率較高，而且隨著1張圖中柑橘數目的增多，2種模型的誤檢率并沒有上升，說明2種模型均有較好的分類效果。

a. 原圖 a. Original imageb. 手動標定 b. Manual calibration c. 原SSD c. Original SSDd. SSD-ResNet18

4.4 不同特征提取網絡的分類檢測效果對比

MobileNetV3[30]、ESPNetV2[31]、VoVNet39[32]是當前階段優秀的特征提取網絡。其中MobileNetV3與ESPNetV2為輕量級網絡，參數量少，適合應用于移動端；VoVNet39為重量級網絡，層數較多，參數量大，對復雜困難的分類檢測問題有較好的效果。本文在保證模型其他部分不改動的情況下，分別更換了這3種特征提取網絡與ResNet18進行分類檢測效果的對比試驗，結果如表 5所示。通過4種特征提取網絡所得的mAP差別很小，說明在分類檢測的精準度上，4種特征提取網絡的效果相近，但在檢測時間上，ResNet18優于其他的特征提取網絡，比MobileNetV3快10.52 ms，比ESPNetV2快16.78 ms，比VoVNet39快36.76 ms，說明ResNet18在提升實時檢測的速度上有明顯優勢。

表5 4種特征提取網絡的效果對比

5 結 論

本文提出了一種基于SSD-ResNet18深度學習模型的柑橘生產線實時分類檢測方法?？蓞^分正常柑橘、表皮病變柑橘、機械損傷柑橘。本文選取浮點計算量少的ResNet18作為特征提取網絡，加快了模型的檢測速度，使用C4、C5特征圖進行預測，同時調整數據集分辨率為768×768像素，增加了模型的分類檢測精度。最終本文模型的mAP達到87.89%，平均檢測時間為20.72 ms。與原SSD模型相比，分類檢測精度相近，但平均檢測時間減少了88.11ms，檢測速度明顯提高。該模型有較高的分類檢測精度，檢測速度提高明顯，從而為生產線上自動化分揀表面缺陷柑橘提供參考。

[1]應義斌，饒秀勤，趙勻，等. 機器視覺技術在農產品品質自動識別中的應用(Ⅰ)[J]. 農業工程學報，2000，16(1)：103－108. Ying Yibin, Rao Xiuqin, Zhao Yun, et al. Application of machine vision technique to quality automatic identification of agricultural products(Ⅰ)[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2000, 16(1): 103－108. (in Chinese with English abstract)

[2]李江波，饒秀勤，應義斌. 基于照度-反射模型的臍橙表面缺陷檢測[J]. 農業工程學報，2011，27(7)：338－342. Li Jiangbo, Rao Xiuqin, Ying Yibin, et al. Detection of navel surface defects based on illumination-reflectance model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(7): 338－342. (in Chinese with English abstract)

[3]趙杰文，劉少鵬，鄒小波，等. 基于支持向量機的缺陷紅棗機器視覺識別[J]. 農業機械學報，2008，39(3)：113－115. Zhao Jiewen, Liu Shaopeng, Zou Xiaobo, et al. Recognition of defect chinese dates by machine vision and support vector machine[J]. Transactions of the Chinese Society for Agricultural Machinery, 2008, 39(3): 113－115. (in Chinese with English abstract)

[4]章海亮，高俊峰，何勇. 基于高光譜成像技術的柑橘缺陷無損檢測[J]. 農業機械學報，2013，44(9)：177－181. Zhang Hailiang, Gao Junfeng, He Yong. Nondestructive detection of citrus defection using hyper-spectra imaging technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(9): 177－181. (in Chinese with English abstract)

[5]Dong C, Yang Y, Zhang J, et al. Detection of thrips defect on green-peel citrus using hyperspectral imaging technology combining PCA and B-spline lighting correction method[J].Journal of Integrative Agriculture, 2014, 13(10): 2229－ 2235.

[6]Zou X B, Zhao J W, Li Y X, et al. In-line detection of apple defects using three color cameras system[J]. Computers and Electronics in Agriculture, 2010, 70(1): 129－134.

[7]Sharif M, Khan M A, Iqbal Z, et al. Detection and classification of citrus diseases in agriculture based on optimized weighted segmentation and feature selection[J].Computers and Electronics in Agriculture, 2018, 150: 220－234.

[8]Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 3431-3440.

[9]Kestur R, Meduri A, Narasipura O. MangoNet: A deep semantic segmentation architecture for a method to detect and count mangoes in an open orchard[J]. Engineering Applications of Artificial Intelligence, 2019, 77: 59－69.

[10]Li Y, Cao Z, Lu H, et al. In-field cotton detection via region-based semantic image segmentation[J]. Computers and Electronics in Agriculture, 2016, 127: 475－486.

[11]Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]//Advances in Neural Information Processing Systems. 2015: 91-99.

[12]Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 779－788.

[13]孫哲，張春龍，葛魯鎮，等. 基于Faster R-CNN的田間西蘭花幼苗圖像檢測方法[J]. 農業機械學報，2019，50(7)：216－221. Sun Zhe, Zhang Chunlong, Ge Luzhen, et al. Image detection method for broccoli seedlings in fieldbased on Faster R-CNN[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(7): 216－221. (in Chinese with English abstract)

[14]劉慧，張禮帥，沈躍，等. 基于改進SSD的果園行人實時檢測方法[J]. 農業機械學報，2019，50(4)：29－35. Liu Hui, Zhang Lishuai, Shen Yue, et al. Real-time pedestrian detection in orchard based on improved SSD[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(4): 29－35. (in Chinese with English abstract)

[15]畢松，高峰，陳俊文，等. 基于深度卷積神經網絡的柑橘目標識別方法[J]. 農業機械學報，2019，50(5)：181－186. Bi Song, Gao Feng, Chen Junwen, et al. Detection method of citrus based on deep convolution neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(5): 181－186. (in Chinese with English abstract)

[16]Tian Yunong, Yang Guodong, Wang Zhe, et al. Detection of apple lesions in orchards based on deep learning methods of CycleGAN and YOLOV3-Dense[J]. Journal of Sensors, 2019: 1－13.

[17]彭紅星，黃博，邵園園，等. 自然環境下多類水果采摘目標識別的通用改進SSD模型[J]. 農業工程學報，2018，34(16)：155－162. Peng Hongxing, Huang Bo, Shao Yuanyuan, et al. General improved SSD model for picking object recognition of multiple fruits in natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(16): 155－162. (in Chinese with English abstract)

[18]He K, Gkioxari G, Dollár P, et al. Mask R-CNN[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 2961-2969.

[19]Qiao Y, Truman M, Sukkarieh S. Cattle segmentation and contour extraction based on Mask R-CNN for precision livestock farming[J]. Computers and Electronics in Agriculture, 2019, 165: 1-9.

[20]高云，郭繼亮，黎煊，等. 基于深度學習的群豬圖像實例分割方法[J]. 農業機械學報，2019，50(4)：186－194. Gao Yun, Guo Jiliang, Li Xuan, et al. Instance-level segmentation method for group pig images based on deep learning[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(4): 186－194. (in Chinese with English abstract)

[21]趙德安，吳任迪，劉曉洋，等. 基于YOLO深度卷積神經網絡的復雜背景下機器人采摘蘋果定位[J]. 農業工程學報，2019，35(3)：164－173. Zhao Dean, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 164－173. (in Chinese with English abstract)

[22]王丹丹，何東健. 基于R-FCN深度卷積神經網絡的機器人疏果前蘋果目標的識別[J]. 農業工程學報，2019，35(3)：156－163. Wang Dandan, He Dongjian. Recognition of apple targets before fruits thinning by robot based on R-FCN deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 156－163. (in Chinese with English abstract)

[23]Dias P A, Tabb A, Medeiros H. Apple flower detection using deep convolutional networks[J]. Computers in Industry, 2018, 99: 17－28.

[24]Tian Y, Yang G, Wang Z, et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model[J]. ComputersandElectronicsinAgriculture, 2019, 157: 417-426.

[25]Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision. 2016: 21-37.

[26]Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv: 2014, 1409. 1556v6.

[27]He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770－778.

[28]ZhangS, ZhuX, LeiZ, etal. S3fd: Singleshotscale-invariantfacedetector[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision. 2017: 192－201.

[29]Loshchilov I, Hutter F. SGDR: stochastic gradient descent with warm restarts[J]. arXiv: 2016, 1608. 03983.

[30]Andrew H, Mark S, Grace C, et al. Searching for mobilenetv3[J]. arXiv: 2019, 1905. 02244.

[31]Mehta S, Rastegari M, Shapiro L, et al. Espnetv2: A light-weight, power efficient, and general purpose convolutional neural network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2019: 9190－9200.

[32]Lee Y, Hwang J, Lee S, et al. An energy and GPU-Computation efficient backbone network for real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops.2019.

Real-time classification and detection of citrus based on improved single short multibox detecter

Li Shanjun1,2,3,4,5, Hu Dingyi1,2, Gao Shumin1,2, Lin Jiahao1,2, An Xiaosong1,2, Zhu Ming1,2※

(1.,,430070,; 2.-,,430070,; 3.(),430070,; 4.,430070,; 5.,,430070,)

Manually classifying citrus based on its surface defects is tedious and time-consuming and a new real-time method is proposed in this paper based on the improved SSD deep learning model. In the testing bench of the waxing machine, 2 500 images of a variety of citrus species were taken, of which 2 000 were randomly selected as training set and 500 as testing set. Among them, the method classified 19 507 as normal, 9 097 skin defects and 4 327 mechanically damaged. Considering that traditional methods using near-infrared spectra, support vector machines, HSV and RGB color space model are inefficient to detect surface defects of citrus and can only identify one, we proposed an improved method to calculate the image using the one-stage detection model - SSD-ResNet18. The method gets the feature maps through backbone first, and then predicts the number of boundary boxes from the feature maps before determining the location and category of citrus using confidence and non-maximum suppression. This can detect a batch of citrus. In the proposed method, we used the mAP (mean average precision) as the precision index and the mean detection time as the speed index. Optimization in the proposed method was solved using the SGD (stochastic gradient descent) algorithm. The learning scheduler was based on cosine decay, enabling the learning rate to drop to 0 at the end of the training period. This ensures the lost value during the training period to continuously decline. As the model was stable at the end of the training period, it can be saved at the end of the training for further use. While the VGG16 was used as the original SSD backbone, it needs a multitude of parameters and is hence computationally inefficient. We replaced it with the ResNet18, which is approximately 100 times more efficient than the VGG16. An improved feature map was obtained from the analysis of the effective sensory field of different feature maps and the size of citrus in the map, the anchor in which was obtained using the-means clustering algorithm from the manual label box. The suitable image resolution for the proposed model was obtained by comparing images taken at five resolutions: 512×512 pixels, 640×640 pixels, 768×768 pixels, 896×896 pixels and 1024×1024 pixels. The results showed that the accuracy of the mAP of SSD-ResNet18 was 87.89%, improving 0.34 percentage pointshigher than the original SSD. The average detecting time of the SSD-ResNet18 was 20.72 ms, reduced by 436.90% compared to the original SSD's 108.83 ms. The accuracy of the AP of SSD-ResNet18 was 94.72%, 85.79% and 83.17%, respectively, for detecting normal, skin lesion and mechanical damage. We compared MobileNetV3, ESPNetV2, VoVNet39 and ResNet18 as backbones and did not find significant difference between their accuracy, but ResNet18 was 10.52 ms, 16.78 ms and 36.76 ms less than MobileNetV3, ESPNetV2 and VoVNet39 in detection time, respectively. The method proposed in the paper meets the requirement on detecting speed in real-time citrus production lineand can effectively classify and detect a multitude of citrussimultaneously.

object recognition; models; nondestructive detection; citrus; surface defects; deep learning; SSD; ResNet18

李善軍，胡定一，高淑敏，林家豪，安小松，朱 明. 基于改進SSD的柑橘實時分類檢測[J]. 農業工程學報，2019，35(24)：307－313. doi：10.11975/j.issn.1002-6819.2019.24.036 http://www.tcsae.org

Li Shanjun, Hu Dingyi, Gao Shumin, Lin Jiahao, An Xiaosong, Zhu Ming. Real-time classification and detection of citrus based on improved single short multibox detecter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(24): 307－313. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.24.036 http://www.tcsae.org

2019-10-06

2019-12-07

現代農業（柑橘）產業技術體系建設專項資金項目（CARS-26）；國家重點研發計劃（2017YFD0202001）；柑橘全程機械化科研基地建設項目（農計發[2017]19號）；湖北省農業科技創新行動項目

李善軍，副教授，博士，主要從事水果生產機械化技術與智能裝備研究。Email：shanjunlee@163.com

朱 明，研究員，博士生導師，主要從事農產品加工與智能農業裝備研究。Email：13801392760@163.com

10.11975/j.issn.1002-6819.2019.24.036

TP391.4

A

1002-6819(2019)-24-0307-07