基于CenterNet的密集場景下多蘋果目標快速識別方法

楊福增 雷小燕 劉志杰 樊 攀 閆 彬

(1.西北農林科技大學機械與電子工程學院， 陜西楊凌 712100； 2.農業農村部蘋果全程機械化科研基地， 陜西楊凌 712100； 3.農業農村部北方農業裝備科學觀測實驗站， 陜西楊凌 712100)

0 引言

我國是世界上最大的蘋果生產國和消費國，但蘋果的采摘仍以傳統的人工作業為主，人工采收不僅勞動強度大，且隨著農村勞動力的減少，出現了用工荒的現象，亟需研發蘋果采摘機器人以降低對人工的過度依賴[1-2]。蘋果目標的準確快速識別是機器人實現自主采摘的重要前提[3-5]。在果園環境中， 密集場景(即遠距離場景)指遠距離拍攝的單幅圖像，該圖像包含大量的果實，且圖像中普遍存在果實重疊、遮擋的現象[6-7]。實現密集場景下多蘋果目標的準確快速識別，對提高采摘機器人的識別效率、進而實現蘋果的智能化采摘至關重要。

傳統的果實識別方法主要基于果實的顏色、紋理和形狀特征等[8-11]，這類方法對單個果實或相鄰果實識別效果較好，但對果園中互相重疊或受枝條、樹葉遮擋的果實識別準確率明顯降低[12]。近年來卷積神經網絡(Convolutional neural networks，CNN)在目標檢測方面性能卓越，已經被廣泛應用于果實識別[13-15]。果實識別從原理上可劃分為兩類：一類需要將果實的識別問題分為兩步，先通過網絡產生可能包含果實的候選區域，再對候選區域進行分類，這類網絡的識別時間普遍較長[16-17]。另一類方法直接通過CNN給出果實的置信度和位置坐標，其特點是能提高果實的識別速度，但同樣使用錨框(Anchor box)導致遮擋類果實的識別精度降低[18-19]。上述兩類算法均是基于錨框的識別算法，針對不同的數據集，需要進行不同大小、多個數量的錨框設定，由于錨框尺寸固定，導致網絡對不同尺寸目標識別的通用性降低，對重疊、遮擋的小目標果實可能無法匹配到錨框，從而導致漏檢。在預測階段需要通過非極大值抑制(Non-maximum suppression，NMS)刪除重復的候選框，使得目標識別時間更長。

近兩年，基于無錨框(Anchor free)的目標識別思路開始興起，無錨框是基于預測目標關鍵點的識別算法，如CenterNet[20]、CornerNet-Lite[21]、ExtremeNet[22]等在人體姿態檢測上得到成功應用。CenterNet通過預測每個目標的中心點，并預測其寬、高尺寸實現目標識別。CornerNet-Lite網絡通過預測目標的左上角點和右下角點，兩個關鍵點進行組合確定目標。ExtremeNet網絡通過預測一幅圖像每個目標的上、下、左、右4個極點和中心點，通過幾何關系對預測的關鍵點進行分組實現目標識別。與CornerNet等關鍵點預測模型相比，CenterNet只預測目標的中心點，沒有預測點的分組問題，不需要NMS抑制冗余框，是無錨框領域識別精度和速度較優的算法。

在密集場景下，圖像中的蘋果尺寸較小，且蘋果間互相重疊遮擋、蘋果被枝條和樹葉遮擋等現象嚴重，這些因素給蘋果目標的準確識別帶來困難。為實現密集場景中多蘋果目標的準確識別，本文通過改進基于無錨框的CenterNet模型，設計Tiny Hourglass-24輕量級骨干網絡，同時優化殘差模塊進而提高蘋果的識別速度，實現密集場景下多蘋果目標的準確快速識別。

1 試驗數據

1.1 圖像采集

圖像采集地點為陜西省乾縣農業科技試驗示范基地的標準化現代果園，采集設備為索尼FDR-AX45型相機。相機與樹冠距離為0.5～2 m，選擇多個角度和距離進行拍攝，采集時間為白天，包括樹葉遮擋、枝條遮擋、果實間重疊遮擋、順光和逆光等環境下的圖像，最終采集蘋果圖像1 852幅。部分采集圖像如圖1所示，可以看到在密集場景中(圖1b～1d)，果園蘋果呈多簇密集生長的情況，存在大量重疊、遮擋的現象，導致密集場景下的蘋果目標識別存在較大難度。

圖1 果園環境下的蘋果圖像Fig.1 Images of apples in an orchard environment

1.2 數據集制作

利用LabelImg標注軟件繪制蘋果矩形框，標注后生成相對應的xml文件，其中標注信息包含每個蘋果目標真實的左上角點和右下角點像素坐標，數據集保存為PASCAL VOC格式。為了驗證在密集場景下算法的識別性能，將標注后隨機選擇的852幅測試集分為2類，其中測試集A為近距離場景下的蘋果，共397幅圖像，包含3 542個蘋果，平均一幅圖像包含8.92個蘋果目標。測試集B為攝像機遠距離拍攝的密集場景下的圖像，共455幅圖像，包含11 578個蘋果，平均每幅圖像有25.45個蘋果目標，其果實在圖像中的尺寸較小，遮擋現象較為普遍，兩類測試集上均包含不同光照情況下的圖像。

由于深度學習需要大量數據集提升網絡的識別性能，對剩余的1 000幅圖像進行亮度、銳度、色度的增強和減弱，加入0.01的高斯噪聲、進行圖像翻轉等數據增強方式來豐富數據集，最終共生成圖像28 020幅用于網絡訓練。

2 目標快速識別方法

2.1 CenterNet網絡

CenterNet網絡比基于錨框的識別算法更簡單，更快且更準確[20]。CenterNet采用 “點即是目標”的思路，通過尋找待識別物體的中心點以及寬、高來確定目標。CenterNet網絡首先對輸入圖像預處理，4倍下采樣降低圖像分辨率；然后通過骨干網絡Hourglass-104進行特征提取，產生一組關鍵點、目標寬高尺寸以及中心點誤差；最后用最大池化(Max pooling)篩選保留的關鍵點，在關鍵點附近產生預測框。CenterNet網絡識別流程如圖2所示。網絡總的輸出通道數為C+4，C為識別目標的類別數，4為通道數，表示目標的寬、高尺寸以及目標中心點的橫向和縱向坐標誤差。

圖2 CenterNet網絡識別流程Fig.2 Progress of CenterNet recognition

2.2 蘋果中心點預測

CenterNet預測蘋果目標中心點的過程分為3步：首先根據標注保存的xml文件內的像素坐標信息，求取每個蘋果真實的中心點坐標，將真實中心點位置的得分置為1；其次，考慮到蘋果真實中心點附近的區域也近似代表蘋果目標，通過高斯核函數Yxyc在真實中心點附近生成一個二維的正態分布，使真實的蘋果中心點附近的區域值為0～1之間的數；最后，通過網絡訓練預測出一組蘋果可能的中心點，預測的中心點得分xyc在0～1之間，預測的中心點和真實中心點之間的最小誤差為Lk，誤差函數采用改進的Focal loss[23]，即

Lk=

(1)

(2)

式中N——單幅圖像中目標的數量

x、y——4倍下采樣后目標真實的中心點坐標

c——識別目標的類別，c取1

α、β——每個點貢獻的超參數，α取2，β取4

σp——自適應蘋果目標的標準差

在進入骨干網絡訓練之前，首先對圖像進行4倍下采樣預處理，真實的中心點坐標在縮小4倍后會產生量化誤差，因此需要對每一個中心點預測中心點偏移量P，偏移損失Loff計算公式為

(3)

其中

P=(δip，δip)

(4)

(5)

式中x1、y1——蘋果目標左上角點像素坐標

x2、y2——蘋果目標右下角點像素坐標

p——目標真實的中心點

在預測階段，對輸出的特征圖用3×3 最大池化提取特征圖上的中心點，選出特征圖上大于或等于周圍8個相鄰值的點，作為初步預測的中心點，對預測的點按照置信度由高到低進行排序，選取前50個點作為預測的中心點，保留置信度大于0.3的點作為最終預測的中心點。

2.3 蘋果寬、高尺寸預測

網絡除了要預測蘋果的中心點，也要預測每個中心點對應的寬和高。CenterNet計算出圖像中蘋果的真實寬度和高度s，通過網絡訓練預測出蘋果目標的寬、高尺寸。尺寸誤差Lsize的計算公式為

(6)

其中

s=(x2-x1，y2-y1)

(7)

訓練的損失函數由3部分構成，分別是預測的關鍵點損失Lk、預測框的尺寸損失Lsize以及中心點的偏移損失Loff，總體目標損失函數Ldet的公式為

Ldet=Lk+αoffLoff+βsizeLsize

(8)

式中αoff——偏移損失權重，取為1

βsize——尺寸損失權重，取為0.1

2.4 CenterNet網絡的改進設計

骨干網絡是一個卷積神經網絡的重要組成部分，其主要對目標的特征進行提取。CenterNet原型使用了Hourglass-104骨干網絡進行特征提取，Hourglass最先提出用于復雜的人體姿態估計[23]，該網絡由一個或多個沙漏模塊組成，每個沙漏模塊通過下采樣和上采樣的方式對輸入圖像進行特征提取，上、下采樣過程均采用多個殘差(Residual)模塊，網絡深度為104層，其結構復雜龐大，且受巨大參數量制約，需要多塊高性能顯卡帶動訓練，網絡運行速度很慢。

鑒于本研究的識別為單一的蘋果類別，淺層網絡也可以實現蘋果目標的特征提取[19]，因此本文改進設計了輕量化的CenterNet骨干網絡，以提高蘋果的識別速度。考慮到密集場景下蘋果多為小目標，特征圖分辨率過小可能丟失小目標蘋果的信息，因此在骨干網絡中，本文對圖像僅進行3倍下采樣降低特征圖分辨率，再通過3倍上采樣恢復特征圖的分辨率。為了降低網絡參數量，提升蘋果目標識別的速度，對Hourglass-104的單個Residual模塊進行了優化，將原有Residual模塊第1層的3×3卷積的通道數壓縮2倍，將第2層的3×3卷積替換為1×1的分組卷積[24]，改進后的G-Residual模塊改進設計如圖3所示。圖3中n為Residual模塊的通道數量。

圖3 Residual模塊改進結果Fig.3 Residual module improvement result

重新設計的沙漏模塊命名為Tiny Hourglass，由多個G-Residual組成，單個Tiny Hourglass模塊由下采樣層、上采樣層、跳躍連接層構成，每層均使用1個G-Residual模塊。下采樣層對特征圖進行3倍下采樣提取不同尺度下的特征，3倍下采樣后特征圖的分辨率降為16像素×16像素，再通過上采樣層3倍上采樣進行特征提取，恢復圖像的分辨率。輸出特征圖的分辨率為128像素×128像素，大分辨率的特征圖有利于目標的準確識別。在每個下采樣層和上采樣層之間，添加跳躍連接層彌補下采樣丟失的目標信息。改進的骨干網絡由2個相同的Tiny Hourglass模塊堆疊而成，整個骨干網絡為全卷積網絡，網絡深度為24層，2個Tiny Hourglass模塊采用中間監督[23](Intermediate supervision)方式，將第1個Tiny Hourglass模塊輸出的特征圖和輸入特征圖作為第2個Tiny Hourglass模塊的輸入，基于Tiny Hourglass-24骨干網絡的CenterNet網絡結構如圖4所示，圖4中A、B、C為跳躍連接層。

3 網絡訓練

3.1 試驗運行平臺

本試驗所運行的硬件平臺為T7920塔式工作站，處理器為Intel(R) Xeon(R) 5118 CPU，2.30、2.29 GHz (雙處理器)，32 GB運行內存，顯卡為Nvidia RTX2080TI-11G。在Windows 10操作系統上運行，借助Pytorch1.2框架、CUDA 10.0、CUDNN 7.3軟件工具搭建運行環境。

圖4 基于Tiny Hourglass-24的CenterNet網絡結構Fig.4 CenterNet network structure based on Tiny Hourglass-24

3.2 網絡訓練

網絡訓練的批處理量為68，初始學習率為0.000 25，網絡訓練共迭代100輪，學習率在60輪和90輪時分別下降10倍。訓練前對圖像進行標準化和歸一化處理，使用整個網絡最后一層的特征圖來進行預測。網絡訓練的損失值如圖5所示。由圖5可知，網絡在前20輪訓練時，損失值快速下降，80輪之后，損失值基本趨于穩定。

圖5 網絡訓練損失曲線Fig.5 Network training loss curve

3.3 評價指標

為驗證本文所提網絡的識別性能，利用F1值和平均精度來對網絡的識別性能進行評價。

4 結果與分析

4.1 不同深度Tiny Hourglass網絡識別結果對比

網絡深度對識別性能有很大影響，淺層網絡會導致其特征提取能力不強，加深網絡層數會提取更加復雜的深層特征，但會導致識別速度降低。為了在不降低識別精度的同時提升網絡的識別速度，在確定骨干網絡深度之前，本試驗設計了3種不同深度的Tiny Hourglass網絡進行性能對比，設置深度分別為32、24、12層，網絡在測試集A、B下的識別結果如表2所示。

由表2可知，隨著網絡深度的降低，網絡識別的F1值下降，且網絡在測試集B上的平均精度和F1值降低較為嚴重。當骨干網絡深度為24層時，在測試集A上識別的平均精度和F1值分別為98.90%和96.39%；在測試集B上識別的平均精度和F1值

表2 不同深度骨干網絡識別結果Tab.2 Backbone network identification results of different depths

為93.63%和92.91%，單幅圖像的平均識別時間為0.069 s，在兩類測試集上的識別精度和速度均較好。網絡深度在32層時，在測試集B識別的平均精度和F1值與24層時基本相當，但Tiny Hourglass-24網絡識別一幅圖像的時間比Tiny Hourglass-32減少0.032 s。當網絡降為12層時，在測試集B上，識別的平均精度和F1值相較于24層分別下降了19.45個百分點和9.13個百分點，可見，12層的淺層網絡對密集場景果實識別效果較差。由于在測試集B上，單幅圖像蘋果數目增多，果實在圖像中的尺寸變小，蘋果間互相重疊遮擋、蘋果被枝條遮擋嚴重，12層骨干網絡提取特征能力有限，對復雜場景下多目標的識別效果較差。 綜上，Tiny Hourglass-24在識別速度和識別精度上均可以取得較好的結果，最終選擇深度為24層的Tiny Hourglass網絡作為骨干網絡。

4.2 不同骨干網絡識別結果對比

為了驗證Tiny Hourglass-24網絡對蘋果目標的識別性能，本文將Tiny Hourglass-24網絡與另外兩類骨干網絡DLA-34、ResNet-18進行比較，在兩類測試集下的識別結果見表3。

表3 不同骨干網絡的識別結果Tab.3 Detection results of different backbone networks

由表3可知，Tiny Hourglass-24在識別精度和識別速度上性能最優。DLA-34骨干網絡在測試集B上平均精度為91.16%，比Tiny Hourglass-24低2.47個百分點，此外，DLA-34網絡模型較大、運行時間更長，在識別速度上，Tiny Hourglass-24在測試集B上對單幅圖像的識別時間比DLA-34減少0.034 s。ResNet-18骨干網絡相較于Tiny Hourglass-24和DLA-34更加輕量化，在識別速度上優于前兩種骨干網絡，但由于網絡較淺，特征提取能力有限，在密集場景的測試集B上識別性能明顯降低，其F1值和平均精度相較于Tiny Hourglass-24分別下降了4.63個百分點和12.33個百分點。Tiny Hourglass-24骨干網絡通過3倍下采樣和上采樣的方式使特征圖的分辨率較高，有利于小目標的特征提取；結合跳躍連接層彌補下采樣丟失的信息，增加了網絡特征提取能力，更適用于密集場景下多目標的識別。

圖6為基于Tiny Hourglass-24的CenterNet識別結果，其中紫色框為網絡識別到的蘋果，紅色框為漏識別蘋果。由圖6可以看出，網絡在測試集A上對陰天和晴天逆光、順光條件下的識別效果較好，對遮擋面積嚴重的蘋果也可以準確識別。在測試集B中，網絡在陰天環境下識別效果較好，且對重疊和遮擋的蘋果識別效果較好。在逆光情況下，蘋果表面顏色較暗，網絡在蘋果被枝干重度遮擋的情況下存在少量漏識別；在順光情況下，蘋果表面亮度增強，部分表面顏色特征變為白色，導致對遮擋蘋果存在個別漏檢。

圖6 基于Tiny Hourglass-24的CenterNet識別結果Fig.6 Detection results of CenterNet based on Tiny Hourglass-24

4.3 不同算法識別結果對比

為了進一步驗證基于無錨框的CenterNet算法對蘋果目標的識別性能，本文將改進的CenterNet與YOLO v3、CornerNet-Lite算法在兩類測試集上進行了對比，以平均精度作為評價指標。YOLO v3網絡屬于經典的基于錨框的識別思想，CornerNet-Lite網絡是另外一種基于無錨框的識別方法，它通過預測物體的左上角點和右下角點，將預測的關鍵點進行匹配實現目標識別，網絡識別結果如表4所示。

表4 不同網絡識別結果Tab.4 Different network detection results

由表4可知，本文提出的基于Tiny Hourglass-24的CenterNet網絡在測試集A和測試集B上的平均精度均最高。在測試集A上，改進CenterNet網絡的平均精度比YOLO v3和CornerNet-Lite分別高7.20、8.50個百分點。在測試集B上，改進CenterNet網絡的平均精度高于YOLO v3網絡4.13個百分點，高于CornerNet-Lite 29.03個百分點。圖7為基于Tiny Hourglass-24的CenterNet網絡在近距離場景和密集場景下中心點識別結果，可以看出，在樹枝遮擋、果實互相重疊遮擋的情況下，網絡均可以準確識別到蘋果的中心點。

圖7 改進CenterNet網絡預測的中心點結果Fig.7 Results of improved CenterNet network prediction center

3種網絡的識別結果如圖8所示，其中左圖為在測試集A上的識別結果，右圖為在測試集B上的識別結果。由圖8a可知，改進CenterNet在近距離場景的識別效果較好，在果實被樹干遮擋和果實之間互相重疊遮擋的情況，均能取得良好的識別結果。在密集場景的測試集上，網絡在樹葉遮擋、果實之間重度遮擋的情況下，均可以準確識別到蘋果。由圖8b可知，當果實被樹干遮擋以及果實被樹葉遮擋時，YOLO v3存在漏識別的現象，這是由于YOLO v3是基于錨框的多尺度預測模型，由于錨框參數需要設置，無法靈活適應蘋果目標的尺寸，在密集場景下遮擋嚴重，容易丟失蘋果的特征，使得YOLO v3對小尺度遮擋類的蘋果存在漏檢。

圖8 3種模型在兩類測試集中的識別結果Fig.8 Detection results of three models under two test sets

由表4和圖8c可知，基于CornerNet-Lite網絡的識別結果在近距離場景測試集上的性能遠優于其在密集場景測試集。在近距離場景和密集場景中，網絡識別均存在較大的誤檢框，這是由于CornerNet-Lite網絡對每個目標預測出兩個關鍵點，在預測出蘋果的左上角和右下角兩個關鍵點后，在關鍵點匹配階段，存在部分不同蘋果目標的關鍵點被錯誤組合為一個蘋果，導致了網絡的錯檢。在密集場景中，由于圖像中蘋果目標較小，果實與果實之間距離更加緊密，存在較大的誤檢框，降低了在密集場景下的識別精度。因此，基于多個關鍵點分組的思路并不適用于密集場景下的小目標識別，而基于Tiny Hourglass-24骨干網絡的CenterNet網絡，只預測一個目標中心的關鍵點，沒有預測點的分組問題，也不需要NMS刪除重復框，更適合密集環境下的小目標蘋果識別。

4.4 性能驗證

為了驗證本文方法的識別性能，分別與Faster R-CNN[25]、R-FCN[26]、改進YOLO v3[19]的研究結果進行了比較，結果見表5。

由表5可以看出，Faster R-CNN、 R-FCN、改進YOLO v3算法在單幅圖像蘋果數約為13個的情況下，F1值分別為89.8%、90.2%、75.15%，而本文方法在單幅圖像平均25.45個蘋果的測試集上識別的F1值為92.91%，比Faster R-CNN、 R-FCN、改進YOLO v3分別高3.11、2.71、17.76個百分點。

表5 不同方法比較結果Tab.5 Comparison of results of different methods

這3類算法由于錨框的限制，導致對遮擋類目標識別精度不高，錨框的設計不僅增加了網絡參數量，且容易丟失小目標蘋果的信息，不利于密集場景下多蘋果目標的識別。本文提出的密集場景下多蘋果目標的快速識別方法，采用無錨框的設計使其能更好地適用遮擋類的多目標蘋果識別，不需要使用NMS操作，節省了大量時間。本文方法在密集場景測試集上識別的平均精度為93.63%，F1值為92.91%，可以實現密集場景下多蘋果目標的準確識別。

5 結論

(1)提出了一種密集場景下多蘋果目標的快速識別方法。借鑒“點即是目標”的思路，直接預測蘋果的中心點和寬、高尺寸來識別蘋果。設計了基于Tiny Hourglass-24骨干網絡的CenterNet模型，并進一步優化Hourglass網絡的殘差結構來提高識別速度。該模型在近距離場景測試集下識別的平均精度為98.90%，F1值為96.39%；在密集場景測試集下識別的平均精度和F1值分別為93.63%和92.91%，單幅圖像平均識別時間為0.069 s。

(2)通過將改進CenterNet與YOLO v3、CornerNet-Lite網絡在兩類測試集上進行對比驗證，試驗結果表明，改進CenterNet網絡在測試集B上的平均精度比YOLO v3提高4.13個百分點，比CornerNet-Lite高29.03個百分點。基于Tiny Hourglass-24的CenterNet通過預測目標中心點的方法，比基于錨框的識別方法、基于多個關鍵點進行匹配的識別方法更具優勢，整個識別過程不使用錨框和NMS后處理，減少了網絡參數，更適用于密集場景下多蘋果目標的識別。