一種基于GhostNet的綠色類圓果實識別方法

摘要： 為實現(xiàn)果園實際環(huán)境中綠色類圓果實的識別，研究了基于單階段目標檢測網(wǎng)絡(luò)的綠色類圓果實識別方法。本研究對比4種不同輕量化卷積網(wǎng)絡(luò)模型，以GhostNet作為本研究網(wǎng)絡(luò)的主干特征提取網(wǎng)絡(luò)，將提取到的特征信息利用復(fù)雜雙向多尺度融合網(wǎng)絡(luò)進行融合，最后以改進后的YOLO_Head作為預(yù)測頭，建立適合本研究的目標檢測網(wǎng)絡(luò)。結(jié)果表明，在果園背景下本研究構(gòu)建的目標檢測網(wǎng)絡(luò)對綠色類圓果實的均值平均精度達到96.8%，每張圖片檢測所用的時間為37 ms，網(wǎng)絡(luò)內(nèi)存占用大小為11.8 M，實現(xiàn)了對綠色類圓果實的快速、準確識別，能夠為早期果樹的產(chǎn)量預(yù)估、病蟲害識別提供技術(shù)支撐。

關(guān)鍵詞： 目標檢測；輕量化卷積網(wǎng)絡(luò)；特征融合；綠色類圓果實

中圖分類號： TP391.41 文獻標識碼： A 文章編號： 1000-4440（2023）03-0724-08

A green round-like fruits identification method based on GhostNet

LI Heng， NAN Xin-yuan， GAO Bing-peng， MA Zhi-gang

（School of Electrical Engineering， Xinjiang University/Siemens Laboratories， Urumqi 830017， China）

Abstract： In order to realize the recognition of green round-like fruits in the actual environment of orchards， the recognition method of green round-like fruits based on one-stage object detection network was studied. In this study， four different lightweight convolutional network models were compared. GhostNet was used as the backbone feature extraction network of this research network. The extracted feature information was fused by bidirectional feature pyramid network（BiFPN）. Finally， the improved YOLO_Head was used as the prediction head to establish a target detection network suitable for this study. The experimental results showed that the final detection accuracy of the green round-like fruits in the object detection network constructed in the context of orchard reached 96.8%， the detection speed of a single image reached 37 ms， and the memory occupancy size of the network was 11.8 M， which realized the rapid and accurate identification of green round-like fruits， and could provide technical support for the yield estimation and disease and pest identification of early fruit trees.

Key words： object detection;lightweight convolutional networks;feature fusion;green round-like fruits

中國是傳統(tǒng)農(nóng)業(yè)大國，水果種植面積、產(chǎn)量、消費量早已位居世界第一，然而中國的水果種植業(yè)仍以人力為主，自動化、機械化水平與發(fā)達國家相比存在一定差距。近年來為了應(yīng)對中國人口紅利的衰減，順應(yīng)國家提出的數(shù)字農(nóng)業(yè)戰(zhàn)略，將機器視覺與農(nóng)業(yè)相結(jié)合成為國內(nèi)學(xué)者研究的關(guān)注點。利用機器視覺可以更好地實現(xiàn)早期果樹的產(chǎn)量預(yù)估、果樹病蟲害的早期識別并及時進行防治、實現(xiàn)成熟果實的精準采摘等[1-3]。此外，多數(shù)果樹果實在生長階段會具備綠色、類圓特征，因此對綠色類圓果實精準識別是非常有研究價值的。

然而在實際環(huán)境中，綠色類圓果實與果園背景相近，且葉片、枝干遮擋果實、果實相互重疊遮擋，給綠色類圓果實的識別造成一定的影響[4-6]。目前國內(nèi)外相關(guān)研究為上述識別過程中存在的難點提供了部分解決辦法。在傳統(tǒng)機器學(xué)習(xí)目標檢測算法方面，Bansal等[7]應(yīng)用快速傅里葉變換（FFT）對正常環(huán)境下的綠色柑橘進行識別，在構(gòu)建的數(shù)據(jù)集上達到82.2%的識別準確率。盧軍等[8]利用類圓果實在自然光下圖像具有環(huán)形光照分布的輪廓特征，將Hough變換與該輪廓特征及局部二值模式（LBP）紋理特征進行結(jié)合，最終進行圓擬合，該方法的果實識別召回率達到82.3%，然而該方法只適用于正常光照條件下，不能對復(fù)雜環(huán)境中的果樹果實進行精準識別。馬翠花等[9]利用無監(jiān)督的顯著性檢測方法密集稀疏重構(gòu)（DSR），完成未成熟的綠色番茄的檢測任務(wù)，最終識別率達到77.6%，然而該研究存在強光下漏檢率高、誤檢率高的缺陷。謝忠紅等[10]改進Hough變換，提出類圓果實檢測方法，但精度低且存在誤檢漏檢。Liu等[11]利用顏色與形狀特征檢測蘋果，網(wǎng)絡(luò)召回率達到85.0%，但存在魯棒性較差問題。與傳統(tǒng)方法相比，現(xiàn)階段深度卷積神經(jīng)網(wǎng)絡(luò)不局限于表面特征，以更高維的視角對特征進行全面學(xué)習(xí)，充分挖掘檢測目標的特征信息，從而更好地滿足更精準的識別要求。李頎等[12]在ResNet50網(wǎng)絡(luò)中引入金字塔結(jié)構(gòu)及遮擋補償機制，最終實現(xiàn)了果粒排列密集相互遮擋的葡萄果實檢測。劉芳等[13]以Darknet-20網(wǎng)絡(luò)為基礎(chǔ)，引入融合多尺度檢測模塊，重構(gòu)檢測網(wǎng)絡(luò)，最終利用采摘試驗實現(xiàn)了對番茄果實的識別。岳有軍等[14]利用級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)研究番茄果實的檢測問題，實現(xiàn)番茄的快速檢測。賈偉寬等[15]對Transformer結(jié)構(gòu)進行優(yōu)化，并結(jié)合前饋神經(jīng)網(wǎng)絡(luò)（FFN）結(jié)構(gòu)構(gòu)建目標檢測網(wǎng)絡(luò)，對綠色蘋果、柿子進行識別，最終識別精度分別達到93.27%、91.35%。上述方法僅針對某種特定果實構(gòu)建網(wǎng)絡(luò)進行檢測，并沒有某個網(wǎng)絡(luò)可以對不同的綠色類圓果實進行識別，網(wǎng)絡(luò)的泛化性、普適性還有待提升。

綜上所述，本研究擬構(gòu)建目標檢測網(wǎng)絡(luò)對多類綠色類圓果實進行檢測，在提升網(wǎng)絡(luò)檢測精度及速度的同時，提高網(wǎng)絡(luò)的泛化性、適用性。本研究擬借助GhostNet網(wǎng)絡(luò)，通過引入復(fù)雜多向特征融合網(wǎng)絡(luò)及改進后的YOLO_Head，提出基于GhostNet的綠色類圓果實檢測網(wǎng)絡(luò)，實現(xiàn)對自然環(huán)境下綠色類圓果實的快速精確檢測，以期為早期果實計數(shù)、果實病蟲害識別、綠色類圓果實采摘等提供參考。

1 材料與方法

1.1 目標檢測網(wǎng)絡(luò)

現(xiàn)階段國內(nèi)外學(xué)者用來構(gòu)建檢測網(wǎng)絡(luò)的方法總體上可分為兩類（圖1）：一類是基于區(qū)域進行提名的兩階段檢測網(wǎng)絡(luò)，如RCNN[16-17]系列網(wǎng)絡(luò)，這類網(wǎng)絡(luò)先生成區(qū)域候選框，再通過卷積神經(jīng)網(wǎng)絡(luò)進行分類、回歸修正以達到預(yù)測目的；另一類是直接端到端的單階段目標檢測網(wǎng)絡(luò)，如YOLO[18-19]系列、SDD[20]系列網(wǎng)絡(luò)，此類網(wǎng)絡(luò)不需要生成候選框，而是直接利用網(wǎng)絡(luò)提取到的檢測對象特征直接進行預(yù)測。2類方法各有優(yōu)劣，兩階段檢測網(wǎng)絡(luò)因為要生成候選框所以檢測速度較慢，卻能更好地保證檢測精度，而單階段目標檢測網(wǎng)絡(luò)恰恰相反，有著更快的檢測速度，但檢測精度低于兩階段網(wǎng)絡(luò)。

因此，為了快速、準確地實現(xiàn)綠色類圓果實的檢測，本研究構(gòu)建端到端的單階段目標檢測網(wǎng)絡(luò)，在網(wǎng)絡(luò)中添加加權(quán)特征融合網(wǎng)絡(luò)并利用改進后的YOLO_Head同時進行分類和回歸，在實現(xiàn)快速檢測的同時保證網(wǎng)絡(luò)的檢測精度。

1.2 本研究網(wǎng)絡(luò)構(gòu)建

1.2.1 輕量化卷積網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò)一經(jīng)提出就引起各國研究者的廣泛關(guān)注，目標檢測網(wǎng)絡(luò)方面的學(xué)者將其引入檢測識別任務(wù)，然而大多數(shù)學(xué)者都在考慮如何提升網(wǎng)絡(luò)性能，提高網(wǎng)絡(luò)的識別準確性，這就導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)的深度越來越深、參數(shù)越來越多，然而卻忽視了現(xiàn)實環(huán)境中普通計算機的算力、空間存儲有限，很難在一般的硬件及嵌入式設(shè)備上進行檢測任務(wù)，不利于目標檢測在現(xiàn)實生活中的應(yīng)用。基于此谷歌實驗室提出InceptionNet，首次提及卷積網(wǎng)絡(luò)輕量化概念，后續(xù)學(xué)者參考InceptionNet提出并構(gòu)建了基于不同方法的輕量化卷積網(wǎng)絡(luò)模型[21]，如SqueezeNet，利用剪枝、量化、張量分解、知識蒸餾等方法壓縮重構(gòu)模型；MobileNet、ShuffleNet使用較小卷積核，使網(wǎng)絡(luò)結(jié)構(gòu)更加緊湊，達到輕量化目的。

GhostNet的構(gòu)建方式則不同于上述輕量化卷積網(wǎng)絡(luò)，相較于其他網(wǎng)絡(luò)輕量化方法，GhostNet將關(guān)注點放在了卷積之后生成的大量冗余特征圖上，這些冗余特征圖的作用是對檢測目標主要特征圖進行補充，保證網(wǎng)絡(luò)對檢測對象有更全面、充分的認識，然而在實際檢測任務(wù)中，此類冗余特征圖卻僅能發(fā)揮很小的作用，但生成這些冗余圖卻需要消耗計算機大量算力，如此一來，既浪費計算機的算力，也不能更好地幫助網(wǎng)絡(luò)提升檢測任務(wù)精度。基于此，GhostNet構(gòu)建了Ghost模塊，利用Ghost模塊以更快、更節(jié)省計算機算力的方式來生成冗余圖。

Ghost模塊提取檢測目標特征過程如圖2顯示，其操作過程可以分為2部分，第一部分操作與多數(shù)卷積神經(jīng)網(wǎng)絡(luò)相似，利用給定大小的卷積核（卷積核大小可隨意設(shè)置，而不是僅局限于大小為1的卷積核）對輸入圖像進行操作，獲取檢測對象各個通道的特征圖；第二部分操作時Ghost模塊并沒有直接繼續(xù)利用卷積核對已有多通道特征圖直接進行卷積，而是利用深度卷積（圖3）分別對每個單一通道進行卷積來獲取大量冗余的特征圖；最后通過拼接2部分獲得的特征圖并不斷堆疊Ghost模塊，即可搭建任意層數(shù)的輕量級GhostNet，更便捷、高效地提取待檢測目標的特征。

1.2.2 特征融合網(wǎng)絡(luò) 為了更好地利用特征提取網(wǎng)絡(luò)提取出的特征圖，對檢測目標特征進行更全面的學(xué)習(xí)，需要對從不同尺度圖像中提取的目標對象特征圖進行融合。

早期的目標檢測網(wǎng)絡(luò)并沒有特征融合的概念，無論是單階段還是雙階段目標檢測網(wǎng)絡(luò)都只是在最后一次卷積操作提取特征圖后直接接檢測頭進行預(yù)測，可想而知，這種用單一的特征圖直接表示檢測對象的方式并不能高效、全面地幫助網(wǎng)絡(luò)學(xué)習(xí)，也不利于網(wǎng)絡(luò)的檢測精度。因此，后期的學(xué)者在構(gòu)建目標檢測網(wǎng)絡(luò)時開始關(guān)注每次特征提取后的特征圖（圖4），利用不同尺度的特征圖直接組成或進行融合后組成特征金字塔，從而更好地完成目標檢測任務(wù)，獲得更準確的檢測結(jié)果。

圖5顯示，復(fù)雜雙向多尺度融合網(wǎng)絡(luò)（BiFPN）是在特征金字塔的基礎(chǔ)上既添加了自頂向下通道傳遞高層特征進行融合，又加入自底向上通道融合底層特征信息，此外在進行融合時并不是像傳統(tǒng)特征融合一樣簡單地對特征圖進行疊加、相加、拼接操作，而是通過計算不同尺度特征圖在檢測任務(wù)中占據(jù)的權(quán)重完成特征信息的融合。

計算權(quán)重是因為來自不同層卷積操作后的特征圖分辨率不同，需要上采樣或卷積操作保持相同分辨率后進行融合，而上采樣或卷積操作的特征圖及原分辨率特征圖對融合后特征圖的貢獻并不一樣，因此需要通過權(quán)重對不同重要程度的特征有重點地進行學(xué)習(xí)，對特征圖中的信息進行有區(qū)別地融合。此外，BiFPN的加權(quán)特征融合采用快速歸一化融合方式，具體融合方式以圖5的C6層進行融合輸出結(jié)果P6舉例說明。

融合過程具體分為2步，首先對C6和C7層的輸入特征圖進行融合，融合過程如公式1：

其次將公式1結(jié)果與C6層輸入及C5層輸出P5進行融合操作，融合過程如公式2：

公式1、公式2中的ε是避免數(shù)值不穩(wěn)定的小數(shù)值，一般取0.000 1；C6、C7分別指代原始圖像經(jīng)第6、第7次卷積之后的結(jié)果；P6表示第6次卷積后的最終輸出；P5表示第5次卷積后的最終輸出；P1表示第1次卷積后的最終輸出；UpSample表示上采樣操作；Conv為下采樣操作；ω是學(xué)習(xí)到的各輸入對于融合結(jié)果重要程度所占權(quán)重參數(shù)，這些權(quán)重參數(shù)類似于注意力機制中的權(quán)重，可以區(qū)分特征融合結(jié)果對不同特征的依賴程度，此外利用Relu函數(shù)保證權(quán)重參數(shù)的穩(wěn)定性ωi≥0，并對其進行歸一化操作，使其范圍限定在[0，1]。

1.2.3 改進的YOLO_Head YOLO_Head是目標檢測網(wǎng)絡(luò)YOLO系列網(wǎng)絡(luò)提出的檢測頭，在各公開數(shù)據(jù)集的檢測中都有較好的表現(xiàn)，可以實現(xiàn)檢測目標的精準定位，然而由于本研究檢測對象為綠色果實，綠色果實相較于其他數(shù)據(jù)集中的動物、人、車等目標相對較小，因此需要對YOLO檢測頭進行改進，使其更好地進行小目標識別。

原始YOLO_Head在大、中、小3個不同尺度的特征圖上進行檢測，為了更好地檢測小目標，本研究在原始3個檢測層的基礎(chǔ)上添加一個對小目標進行檢測的檢測層，從而提升改進后YOLO_Head的小目標檢測精度。此外，由于對預(yù)測頭進行改進，因此需要重新對本研究數(shù)據(jù)集中的真實目標檢測錨框聚類，從而使預(yù)測頭能夠更有效地匹配檢測對象的預(yù)測框，減小預(yù)測框與實際目標位置的偏離程度，并提高被遮擋物體的識別精度。

本研究采用K-means++算法對綠色果實數(shù)據(jù)集中29 085個檢測對象的標記錨框聚類，因為本研究改進后的YOLO_Head需要在4個不同尺度，且每個尺度有3個檢測框的基礎(chǔ)上進行錨框預(yù)測，因此人為設(shè)定聚類中心個數(shù)K=12。此外，由于本研究不再是對坐標點進行聚類，而是對真實錨框聚類，因此在聚類時不再使用歐式距離作為度量值，改為使用其他真實框與聚類中心框的面積交并比（IoU）作為度量真實框與聚類中心的距離，IoU越小，表明真實框與聚類中心重疊面積越小，其越遠離聚類中心。新的距離計算公式：

式中，B表示數(shù)據(jù)集中真實框集合；C表示聚類初始選取的錨框集合；d表示距離；IoU表示真實框與聚類中心框的面積交并比。最終通過不斷進行IoU計算及迭代調(diào)整聚類中心框的尺度，獲取了適合本研究采取的錨框尺度（表1）。

1.2.4 Ghost_BY目標檢測網(wǎng)絡(luò) 本研究單階段目標檢測網(wǎng)絡(luò)主要包含3大部分：主干特征提取網(wǎng)絡(luò)、特征加權(quán)融合網(wǎng)絡(luò)及增加一個檢測層的YOLO_Head預(yù)測頭，其網(wǎng)絡(luò)框圖如圖6所示。輸入層接受圖像并經(jīng)過圖像預(yù)處理，將輸入圖像按網(wǎng)絡(luò)輸入要求進行縮放或擴充，使其滿足網(wǎng)絡(luò)輸入要求，接著進行歸一化、Mosaic數(shù)據(jù)增強等操作，對數(shù)據(jù)集進行數(shù)據(jù)增強處理，隨后將處理后的圖像送入GhostNet，經(jīng)過特征提取操作后將全部特征圖送入特征融合網(wǎng)絡(luò)BiFPN進行復(fù)雜雙向多尺度特征融合，最后利用改進后的YOLO_Head進行預(yù)測，對預(yù)測出的錨框本研究采用非極大值抑制回歸算法（NMS）來獲取最佳預(yù)測框，實現(xiàn)檢測目標的標記及定位。

1.3 試驗準備

1.3.1 數(shù)據(jù)集的獲取與預(yù)處理 本研究選取青核桃、青桃子、青桔、青李子、青梅、青蘋果、青番茄、青棗8種綠色果實為研究對象（圖7），使用紅米k40pro手機作為拍攝設(shè)備，分辨率2 400×1 080，在2021年5月、7月、8月進入新疆地區(qū)的不同果園分時分地進行圖片拍攝，并且人為對拍攝的圖像進行篩選，經(jīng)人為初步篩選后共采集復(fù)雜背景下各類綠色果實圖像4 392張，其中包括青核桃578張、青桔491張、青李子494張、青梅556張、青蘋果546張、青桃子608張、青番茄518張、青棗601張，數(shù)據(jù)集中果實目標共29 085個，最終使用LabelImg軟件對全部果實目標進行標注。

1.3.2 評價指標 本研究在訓(xùn)練和測試中使用的計算機硬件環(huán)境配置是：處理器為3塊Intel（R） Xeon（R） CPU E5-2678 v3@2.5 GHz型號CPU，CPU內(nèi)存為8 GB，GPU 型號為NVIDIA Tesla K80，顯卡內(nèi)存為12 GB，操作系統(tǒng)及軟件環(huán)境為：Windows10操作系統(tǒng)、CUDA 11.1版本的并行計算機框架、Cudnn 8.05版本的深度學(xué)習(xí)加速庫、Pytorch 1.9.1深度學(xué)習(xí)框架、YOLOv5目標檢測網(wǎng)絡(luò)框架，編程語言為Python 3.8。

本研究用來評價目標檢測網(wǎng)絡(luò)的具體指標主要包括：以均值平均精度（mAP）評價網(wǎng)絡(luò)預(yù)測結(jié)果的準確率（綜合考慮精確率（P）和召回率（R），利于評價網(wǎng)絡(luò)準確性）；以參數(shù)量及最終權(quán)重文件占用內(nèi)存大小評價網(wǎng)絡(luò)大小；以每張圖片檢測所用的時間（FPS）評價網(wǎng)絡(luò)檢測的檢測速度，最終各評價指標的計算公式如下：

式中，TP表示IoU滿足設(shè)定閾值的檢測框數(shù)目；FP表示IoU沒有滿足設(shè)定閾值的檢測框數(shù)目；FN表示漏檢的目標數(shù)；P表示精確率；R表示召回率；mAP表示均值平均精度；FPS表示每張圖片檢測所用的時間；AP表示平均精度；n表示檢測到待檢目標的檢測框個數(shù)；TotalTime指檢測全部驗證圖像所用時間；FigureNumber表示驗證圖像總數(shù)。

2 結(jié)果與分析

2.1 不同特征提取網(wǎng)絡(luò)對目標檢測網(wǎng)絡(luò)性能的影響

為了驗證特征提取網(wǎng)絡(luò)對本研究網(wǎng)絡(luò)檢測性能的影響，本研究在保證網(wǎng)絡(luò)使用超參數(shù)、迭代次數(shù)、訓(xùn)練技巧不發(fā)生改變的基礎(chǔ)上，分別使用SqueezeNet、MobileNet、ShuffNet這3種特征提取網(wǎng)絡(luò)與GhostNet相比較，它們的網(wǎng)絡(luò)大小、均值平均精度、每張圖片檢測所用的時間見表2。GhostNet特征提取網(wǎng)絡(luò)在保證檢測速度的同時，相較于其他提取網(wǎng)絡(luò)擁有最高的均值平均精度，達到93.5%，雖然網(wǎng)絡(luò)大小比MobileNet多0.3 M，但綜合精度、速度、大小3方面考慮，GhostNet提取網(wǎng)絡(luò)是4種提取網(wǎng)絡(luò)中的最優(yōu)選擇，因此本研究選用GhostNet作為特征提取網(wǎng)絡(luò)。

2.2 不同特征融合網(wǎng)絡(luò)對目標檢測網(wǎng)絡(luò)性能的影響

為了探究不同特征融合網(wǎng)絡(luò)對本研究構(gòu)建網(wǎng)絡(luò)的影響，分別使用特征金字塔網(wǎng)絡(luò)（FPN）、路徑聚合網(wǎng)絡(luò)（PANet）、BiFPN對GhostNet所提取到的特征圖進行融合。表3顯示，使用BiFPN對特征圖進行融合的確可以提升模型的檢測精度，最終均值平均精度達到94.9%，高于FPN（93.5%）、PANet（94.0%）特征融合后的均值平均精度，但由于進行多次融合，網(wǎng)絡(luò)在內(nèi)存占用及檢測速度方面稍遜于PANet，內(nèi)存占用增加0.7 M，檢測速度增加4 ms。

2.3 改進后的預(yù)測頭對網(wǎng)絡(luò)性能的影響

為了檢驗改進后YOLO_Head的有效性，將改進后YOLO_Head與原始YOLO_Head分別作為檢測網(wǎng)絡(luò)的預(yù)測頭進行性能對比，除改變預(yù)測頭外，檢測網(wǎng)絡(luò)其余部分不變，均采用GhostNet作為特征提取網(wǎng)絡(luò)，使用BiFPN進行特征融合，數(shù)據(jù)增強手段、訓(xùn)練參數(shù)均相同。結(jié)合圖8和表4可以得出，使用改進后的YOLO_Head作為預(yù)測頭本研究目標檢測網(wǎng)絡(luò)的均值平均精度達到96.8%，相較于改進前預(yù)測頭，提升1.9個百分點，且訓(xùn)練損失值最終收斂為0.02。

為進一步探究添加微小感受野對目標檢測網(wǎng)絡(luò)的影響，按照所拍攝果實的實際大小，對圖片進行人為篩選，重新構(gòu)建數(shù)據(jù)集，將數(shù)據(jù)集果實分為大、中、小3類，其中青棗、青梅為小果實；青核桃、青李子為中等果實；青蘋果、青桃子為大果實。重新構(gòu)建數(shù)據(jù)集，然而從頭開始訓(xùn)練網(wǎng)絡(luò)不僅需要足夠大的數(shù)據(jù)集，還需要消耗大量時間再次訓(xùn)練網(wǎng)絡(luò)，因此為了節(jié)省訓(xùn)練時間，加速訓(xùn)練網(wǎng)絡(luò)的收斂，本研究使用此前訓(xùn)練結(jié)束的綠色類圓果實檢測網(wǎng)絡(luò)模型作為新網(wǎng)絡(luò)的預(yù)測訓(xùn)練模型，使用遷移學(xué)習(xí)方法訓(xùn)練新的網(wǎng)絡(luò)，分別使用改進前后預(yù)測頭進行預(yù)測。表5顯示，改進前后預(yù)測頭對中等果實、大果實檢測精度的影響并不明顯，然而對小果實的檢測精度影響較大，改進預(yù)測頭后檢測網(wǎng)絡(luò)的均值平均精度提升2.1個百分點，最終使檢測網(wǎng)絡(luò)的均值平均精度提升0.9個百分點。

2.4 與其他網(wǎng)絡(luò)的比較

為了進一步證明本研究構(gòu)建單階段目標檢測網(wǎng)絡(luò)的性能，將本研究構(gòu)建的檢測網(wǎng)絡(luò)與現(xiàn)階段較流行的YOLO系列網(wǎng)絡(luò)、Faster RCNN網(wǎng)絡(luò)、SDD網(wǎng)絡(luò)在數(shù)據(jù)集不改變、硬件條件不變更的前提下進行對比驗證試驗。結(jié)果（表6）表明，對比現(xiàn)階段較流行的網(wǎng)絡(luò)，本研究構(gòu)建的檢測網(wǎng)絡(luò)在檢測精度、檢測速度方面均優(yōu)于Faster RCNN網(wǎng)絡(luò)、SDD網(wǎng)絡(luò)，網(wǎng)絡(luò)模型內(nèi)存占用大小也有明顯下降；YOLO系列v3、v4網(wǎng)絡(luò)雖然在檢測速度方面優(yōu)于Faster RCNN、SDD網(wǎng)絡(luò)，但仍落后于本研究網(wǎng)絡(luò)的檢測速度；YOLO系列v5網(wǎng)絡(luò)雖然檢測速度稍快于本研究構(gòu)建網(wǎng)絡(luò)，但對綠色類圓果實的檢測精度低于本研究構(gòu)建網(wǎng)絡(luò)，本研究所構(gòu)建網(wǎng)絡(luò)的均值平均精度為96.8%，相較于YOLOv3、YOLOv4、YOLOv5分別提升9.3個百分點、5.3個百分點、2.6個百分點。通過對檢測結(jié)果的綜合比較，本研究構(gòu)建的單階段目標檢測網(wǎng)絡(luò)綜合性能更優(yōu)，更適合綠色類圓果實的檢測。

此外，分析本研究構(gòu)建網(wǎng)絡(luò)對綠色類圓果實的部分檢測結(jié)果（圖9），發(fā)現(xiàn)本研究構(gòu)建網(wǎng)絡(luò)對暗光環(huán)境、正常環(huán)境和夜間環(huán)境下的圖片均有較好的檢測結(jié)果；對密集果實、果實遮擋果實、葉片遮擋果實的檢測也都具備良好的檢測效果。

3 結(jié)論

本研究構(gòu)建的網(wǎng)絡(luò)能夠?qū)ψ匀画h(huán)境復(fù)雜果園背景中的綠色類圓果實實現(xiàn)快速、準確識別，與目前主流檢測網(wǎng)絡(luò)相比，本研究構(gòu)建網(wǎng)絡(luò)檢測精度優(yōu)于其他網(wǎng)絡(luò)，能夠在背景與檢測目標相近的情況下實現(xiàn)同色系果實的檢測。使用GhostNet作為特征提取網(wǎng)絡(luò)可以降低目標檢測網(wǎng)絡(luò)占用大小，提高檢測速度，有利于在嵌入式設(shè)備及移動端的應(yīng)用；使用BiFPN作為特征融合網(wǎng)絡(luò)可以提升檢測網(wǎng)絡(luò)的檢測精度，更好地實現(xiàn)檢測對象的識別預(yù)定位；添加檢測層，改進預(yù)測頭可以提升網(wǎng)絡(luò)對小目標的檢測精度，繼而提升網(wǎng)絡(luò)的整體檢測精度。最終，本研究構(gòu)建的檢測網(wǎng)絡(luò)在試驗數(shù)據(jù)集中的均值平均精度達到96.8% 、每張圖片檢測所用的時間為37 ms、網(wǎng)絡(luò)大小11.8 M，滿足了綠色類圓果實快速、準確的識別要求，也利于后續(xù)移動端APP或嵌入式設(shè)備的開發(fā)工作。

參考文獻：

[1] HE Z L， XIONG J T， LIN R， et al. A method of green litchi recognition in natural environment based on improved LDA classifier[J]. Computers and Electronics in Agriculture， 2017， 140： 159-167.

[2] LINKER R， COHEN O， NAOR A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers and Electronics in Agriculture， 2012， 81： 45-57.

[3] LI H， LEE W S， WANG K. Identifying blueberry fruit of different growth stages using natural outdoor color images[J]. Computers and Electronics in Agriculture， 2014， 106： 91-101.

[4] LU J， SANG N. Detecting citrus fruits and occlusion recovery under natural illumination conditions[J]. Computers and Electronics in Agriculture， 2015，110： 121-130.

[5] 王丹丹，徐 越，宋懷波，等. 融合K-means與Ncut算法的無遮擋雙重疊蘋果目標分割與重建[J]. 農(nóng)業(yè)工程學(xué)報，2015，31（10）：227-234.

[6] LI H， LEE W S， WANG K. Immature green citrus fruit detection and counting based on fast normalized cross correlation （FNCC） using natural outdoor colour images[J]. Precision Agriculture， 2016，17（6）： 678-697.

[7] BANSAL R， LEE W S， SATISH S. Green citrus detection using fast Fourier transform （FFT） leakage[J]. Precision Agriculture， 2013， 14： 59-70.

[8] 盧 軍，胡秀文. 弱光復(fù)雜背景下基于MSER和HCA的樹上綠色柑橘檢測[J] 農(nóng)業(yè)工程學(xué)報，2017，33（19）：196-201.

[9] 馬翠花，張學(xué)平，李育濤，等. 基于顯著性檢測與改進Hough變換方法識別未成熟番茄[J].農(nóng)業(yè)工程學(xué)報，2016，32（14）：219-226.

[10]謝忠紅，姬長英，郭小清，等. 基于改進 Hough 變換的類圓果實目標檢測[J]. 農(nóng)業(yè)工程學(xué)報， 2010， 26（7）： 157-162.

[11]LIU X， ZHAO D， JIA W， et al. A detection method for apple fruits based on color and shape features[J]. IEEE Access， 2019， 7： 67923-67933.

[12]李 頎，楊 軍. 基于多分辨率特征融合的葡萄尺寸檢測[J] 江蘇農(nóng)業(yè)學(xué)報， 2022， 38（2）： 394-402.

[13]劉 芳，劉玉坤，林 森，等. 基于改進型YOLO的復(fù)雜環(huán)境下番茄果實快速識別方法[J]. 農(nóng)業(yè)機械學(xué)報， 2020， 51（6）：229-237.

[14]岳有軍，孫碧玉，王紅君，等. 基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的番茄果實目標檢測[J]. 科學(xué)技術(shù)與工程， 2021， 21（6）：2387-2391.

[15]賈偉寬，孟 虎，馬曉慧，等. 基于優(yōu)化Transformer網(wǎng)絡(luò)的綠色果實高效檢測模型[J]. 農(nóng)業(yè)工程學(xué)報， 2021，37（14）：163-170.

[16]GIRSHICK R. Fast R-CNN[C]. Santiago： IEEE， 2015.

[17]REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks[J] IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.

[18]REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection[C] Las Vegas： IEEE， 2016.

[19]REDMON J， FARHADI A. YOLOv3： an incremental improvement [C].Salt Lake City： IEEE， 2018.

[20]LIU W， ANGUELOV D， ERHAD D， et al. SSD： single shotmulti box detector [C] Amsterdam： Springer，2016.

[21]包志龍. 卷積神經(jīng)網(wǎng)絡(luò)輕量化技術(shù)研究[J] 無線通信技術(shù)，2022（1）：36-41，47.

（責(zé)任編輯：王 妮）

收稿日期：2022-07-12

基金項目：國家自然科學(xué)基金項目（61863033）

作者簡介：李 恒（1997-），男，新疆喀什人，碩士研究生，主要從事計算機視覺研究。（E-mail）1344166355@qq.com

通訊作者：南新元，（E-mail）xynan@xju.edu.cn