一種改進神經網絡的蘋果快速識別算法

曹志鵬,袁銳波,楊 肖,林紅剛,朱 正

(昆明理工大學 機電工程學院, 昆明 650504)

0 引言

隨著產業化的升級,農業生產也要進行產業化的升級,智能化、自動化的農業化裝備也會有大量需求[1]。蘋果采摘機器人[2]是未來的一大發展方向,可以極大地緩解我國因勞動力的持續下降帶來的勞動力短缺問題。其中蘋果的視覺識別定位是一個很重要的環節,是決定采摘機器人采摘效果的關鍵。

最開始,蔬果識別的方法是采用攝像頭采集到圖片,通過對圖片的簡單處理,一般是對顏色的處理,實現對不同顏色的識別。后來,蔬果識別方法采用聚類法,通過對目標聚類進行識別。聚類方法有K-means聚類算法、KNN聚類算法,以及SVM算法。Moallem等[3]就采用了K均值聚類的方法對蘋果進行識別,首先將不是蘋果的像素進行去除,通過對YCbCr顏色空間中的Cb分量應用K均值聚類識別蘋果。朱玲[4]使用K-means聚類加BP神經網絡結合對水果等級進行分類,識別的準確率顯著提升。

現在的水果識別方法大多采用的是卷積神經網絡,神經網絡有著比傳統的分割方法更精準的識別效果,神經網絡有YOLO[5-7]、Faster R-CNN、SSD等。李林升等[8]使用Faster R-CNN對蘋果進行識別,該網絡模型可以得到一個不錯的識別準確率,準確率能達到97.6%。Lin等[9]將Faster R-CNN應用到草莓花識別,在不同場景下可以較好地識別草莓花,為室外的草莓產量提供參考。然而Faster R-CNN的檢測速度比較低,不太適合實時識別。還有張恩宇等[10]使用的SSD算法對蘋果的識別,能夠得到不錯的檢測效果。熊俊濤等[11]對YOLOv3修改后,可以對夜間環境的柑橘有較好魯棒性,顯著提高果實的檢測精度。劉芳等[12]采用YOLO算法對番茄進行識別,也可以得到較好的識別效果。

本文以更新的YOLOv4[13]作為基礎算法,為了達到輕量化的效果,采用Ghostnet[14]網絡替代原來的主干網絡,并且以深度可分離卷積代替頸部網絡,同時將在空間金字塔池化前后的卷積層增加為5層。結果顯示,在精度損失很小的情況下,可以增加檢測速度。

1 YOLOv4的網絡

YOLOv4的網絡結構如圖1所示,YOLOv4的網絡分為3個部分。

第一部分是Backbone:CSPDarknet53;第二部分是Neck:SPP,PANet;第三部分是Head:YOLOv4的頭部。每個部分都有各自的功能,第一部分Backbone的作用是獲取圖片中的信息。接下來的部分SPP的作用是增加網絡的感受野,PANet結構的作用是將空間信息保存,通過上采樣和下采樣將13×13、26×26、52×52的特征信息融合,可以更好地提取特征。最后的部分是yolo網絡系列中的預測的頭部,用來預測圖片中的信息進行目標檢測。

圖1 YOLOv4的框架

2 改進YOLOv4網絡設計

2.1 Ghostnet網絡

Ghostnet是華為公司設計出來的一個卷積網絡,可以采用Ghostnet替換CSPDarknet53主干網絡。CSPDarknet53的網絡層有53層,大部分是卷積層,這樣就會產生很多的參數量和計算量。Ghostnet網絡的加入可以用更少的參數和計算量達到與CSPDarknet53類似的特征提取。

2.1.1Ghost模塊

Ghostnet網絡的內部有Ghost模塊,該模塊采用的理念分兩步:第一步是先降低通道數,第二步是進行卷積提取特征。這種理念使得Ghost模塊的參數量和計算量都相應減少,從而增加了運算速度。圖2為普通卷積,圖3為Ghost模塊。

圖2 普通卷積

圖3 Ghost模塊示意圖

特征圖輸入是Hin×Win×Cin(分別代表特征圖的高、寬和通道數,后面也是代表相同,下標代表輸入輸出),卷積核是K×K(分別代表卷積核的高和寬),輸出是Hout×Wout×Cout。其中d(代表卷積核的高和寬)與K相等,s是指經過s次變換。

普通卷積的參數量:

params=K×K×Cin×Cout

(1)

普通卷積的計算量:

FLOPs=Cin×K×K×Hout×Wout×Cout

(2)

Ghost卷積的參數量:

(3)

Ghost卷積的計算量:

(4)

普通卷積與Ghost卷積的計算量比:

(5)

由上述可知,Ghost模塊相對于普通的卷積模塊計算量和參數量更少。

2.1.2SENet注意力模塊

Ghostnet網絡中使用了SENet注意力模塊。SENet注意力模塊是為了獲得全局感受野,即更大的視野。

SENet分壓縮、激發2步。壓縮是通過池化對尺寸進行壓縮,可以減少整體的計算量,同時更好地將特征提取出來。

2.2 深度可分離卷積

對于YOLOv4的PANet中有大量的卷積模塊CBL,模塊CBL的網絡是Conv+BN+ReLU。在PANet中有CBL*3和CBL*5模塊,CBL*3和CBL*5中有3×3的卷積核的卷積模塊。這種卷積模塊會產生大量的參數量和計算量,使得網絡變得更加龐大。因此需要一個方法對卷積進行替換,從而使整體網絡變得簡潔,提高網絡的計算速度,縮短網絡對目標的預測時間。

深度可分離卷積[15](depthwise separable convolution)就可以使得參數量和計算量大大減少,如圖4和圖5所示。

圖4 逐通道卷積示意圖

圖5 逐點卷積示意圖

由圖2可知,普通卷積有4組3個3×3的卷積核,通過4組3個3×3的卷積核與輸入的圖像進行卷積從而得到4個Maps,進而得到圖像的部分特征。

深度可分離卷積是包含逐通道卷積(depthwise convolution)和逐點卷積(pointwise convolution),逐通道卷積有3個3×3的卷積核,每個卷積核對應的一個通道,單個卷積核對應的通道進行卷積,得出對應的Maps,3個3×3的卷積核對應了3個Maps。逐通道卷積利用每個卷積核對應一個通道,大大減少了參數量和計算量,可以減輕網絡的復雜性。

逐通道卷積后面通常跟隨逐點卷積,逐點卷積和普通卷積非常類似,只是將普通卷積核替換為了1×1×M的卷積核,M是上個通道的通道數量。逐點卷積利用1×1×M的卷積核對原圖片進行點的卷積,從而可以將圖片逐點卷積進行通道的信息融合。逐通道卷積是對應相對的通道進行卷積,并沒有將各個通道的信息進行融合,這樣就會使信息不對稱。使用逐點卷積,可以將各個的通道的信息進行融合,這樣就可以使得各個通道的信息平衡。

當特征圖輸入是Hin×Win×Cin,卷積核是K×K,輸出是Hout×Wout×Cout時。普通卷積在2.1.1當中已經計算過,這里不再重新計算。

深度可分離卷積中的逐通道卷積的參數量:

params=K×K×Cin

(6)

深度可分離卷積中的逐通道卷積的計算量:

FLOPS=K×K×Cin×Hout×Wout

(7)

深度可分離卷積中的逐點卷積的參數量:

params=Cin×Cout

(8)

深度可分離卷積中的逐點卷積的計算量:

FLOSPS=Cin×Hout×Wout×Cout

(9)

參數量之間的倍數:

(10)

計算量之間的倍數:

(11)

2.3 添加卷積層數

在空間金字塔池化模塊的前后各有一組CBL*3,對圖片的特征信息進一步提取。本文把CBL*3的3×3的卷積替換為2.2節中的深度可分離卷積。然后將CBL*3替換為CBL*5,可以加強對圖片的特征提取以及信息特征的融合,能提高整個網絡對圖片信息的獲取。增加卷積層的目的就是為了增加整個網絡的精準度。

2.4 改進后的YOLOv4網絡

整體的YOLOv4改進網絡有3個部分:第一個部分,CSPDarknet53替換為Ghostnet特征提取網絡,見圖6中的紅色部分,減少網絡的參數量和計算量。第二個部分,采用深度可分離卷積,替換PANet中的所有3×3的卷積模塊,可以減少大量的參數量和計算量。第三個部分,在SPP(空間金字塔池化模塊)的前后將CBL*3全部替換為CBL*5,見圖6中的綠色部分,能更好地提取圖片中的信息。

修改后的YOLOv4整體網絡流程如圖6所示,先輸入416×416像素的三通道的圖片,經過一個卷積降維為208×208的32通道,而后將其向后傳導至主干網絡中的Ghostnet模塊,Ghostnet模塊一共5個,不斷將維度按上一級1/2下降。獲得52×52的40個通道部分和26×26的112個通道部分直接傳給頸部網絡,13×13的160通道部分通過SPP后傳導給頸部網絡,再由頸部網絡傳導給3個YOLO檢測頭。

圖6 改進的YOLOv4網絡結構框圖

3 實驗與數據對比

本文以PC為平臺,PC的配置是CPU為Intel(R) Core(TM) i7-9750H CPU@2.60GHz 2.59 GHz,GPU是NVIDIA GeForce GTX 1660 Ti。系統采用的是win10,網絡編程環境為python3.6,使用Pytorch1.7.1版本。

3.1 數據集和訓練

實驗數據集采集于昆明市西山區的采摘園,通過反轉和色調調整,整體數據集有 1 344張。本文中的網絡如圖6所示,訓練時輸入的圖片像素為416×416。本實驗數據集采用訓練集、驗證集和測試集分類,訓練數據集越大,訓練效果越好,驗證集和測試集需要一定的數量,本文采用8∶1∶1的數據集分布。bitch_size越大下降梯度越準確,達到一定的程度時梯度精度就不再提高,故輸入的bitch_size為8。訓練之前先進行anchor重新計算,因為有些先驗框并不能更好地適應本數據集,所以進行先驗框的聚類算法計算anchor。采用KNN聚類算法計算,可以得到相應的先驗框。將得到的先驗框放入網絡中,可以更好地對目標進行預測。

3.2 改進算法消融實驗

本文對整體的網絡進行了消融對比,分別對比了Ghostnet主干網絡替換后的網絡,修改主干網絡后PANet更換為2.2節中的深度可分離卷積的網絡,修改主干網絡后2.3節中的SPP前后網絡增加的網絡,以及修改主干網絡過后2.2和2.3小節中的深度可分離卷積與SPP前后網絡增加結合后的網絡。

對比各個網絡的性能通常會采用recall(召回率)、precision(準確率)、F1(recall和precision關系值)、MAP(平均正確率)等指標對網絡性能高低進行評判。

F1值的計算公式:

(12)

recall值的計算公式:

(13)

precision值的計算公式:

(14)

式中:TP為正樣本中檢測為正樣本的量;FP為負樣本中檢測為正樣本的量;FN為負樣本檢測為負樣本的量。

MAP是衡量一個網絡的重要指標。

MAP值的計算公式:

(15)

由表1可知,一共有7組對照試驗,分別是原來的YOLOv4網絡,頸部網絡替換為深度可分離卷積的YOLOv4-dw,只對空間金字塔池化前后添加卷積層的YOLOv4-c,只對主干網絡替換的YOLOv4-ghost網絡,在YOLOv4-ghost網絡基礎上對空間金字塔池化前后添加卷積層的YOLOv4-ghost-c網絡,在YOLOv4-ghost網絡基礎上對卷積模塊全都替換成深度可分離卷積的YOLOv4-ghost-dw網絡,最后的是前幾個的總和,替換主干網絡、添加卷積層和替換普通卷積的YOLOv4-ghost-dw-c網絡。在綜合性能方面的對比可知,修改后的網絡模型F1值與原YOLOv4相同,比最低F1值高0.04。其recall值是最高的,比最低的值要高9.23%,所以修改后網絡的recalld值還是比較高的,由此可知修改后的網絡漏檢最少。綜合各項數據對比可知,修改后的網絡模型相對于原模型和部分修改的模型有更加優越的性能。

表1 YOLOV4的修改網絡的消融實驗

3.3 與其他算法效果對比實驗

本文在相同實驗的環境配置和同一數據集下進行對比實驗,分別對原算法YOLOv4、YOLOv3網絡、efficientnet網絡算法,以及修改后的網絡進行對比。在輸入圖像尺寸為416×416的像素時,對各個網絡的速度、對應的準確值和對應的權重進行對比分析。

由表2可知, YOLOv3算法模型的FPS的速度由原YOLOv4的算法模型的24FPS提高到了30FPS,提高了將近25%。但是從MAP(平均精確度)值來看,YOLOv3算法模型的MAP值比原YOLOv4算法模型的MAP值低了6.56%。雖然速度得到了提升,但是MAP值下降得較多,在實際應用場合中不太合適。YOLOv3算法模型是原YOLOv4算法模型的上一級網絡算法,YOLOv3算法模型的權重比原YOLOv4算法模型少186 M,減少了權重占比。

表2 YOLOv4對比實驗

修改后的網絡YOLOv4-ghost-dw-c對比前3個網絡,在MAP值上,修改后的網絡與YOLOv4算法模型的MAP值相差很小,在實際應用的場合可以接受,且比另外2種網絡算法模型要高。在FPS檢測速度上,修改后的網絡算法模型要比前2個網絡都快,達到35FPS可以達到實時檢測的目的,對比YOLOv4算法模型速度提升了45.8%,極大地加快了檢測速度。修改后的網絡的權重只有很少的50 M,對比原YOLOv4算法模型減少了196 M的權重,減少了79.7%,對比YOLOV3算法模型減少了10 M。對于efficientnet網絡,修改后的網絡MAP要高于efficientnet網絡1.19%,速度高于efficientnet網絡94.4%。

綜合來看,修改后的網絡整體的效果要優于原YOLOV4算法模型,比其他2種網絡更精確、快速,可以應用到實際中。

3.4 實驗效果對比

在PC上對各個模型進行預測,通過原YOLOv4網絡、YOLOv3網絡、efficientnet網絡和修改后的模型YOLOv4-ghost-dw-c網絡對圖片進行檢測。圖7中圖片的順序由左往右分別為陰天、遮陽、順光、多果的各種情況,可以較好地模擬復雜環境下的各種情況。

圖7 實驗的效果圖

由圖7可知,修改后的網絡檢查效果較好。其中,在YOLOv3中多果有遮擋檢測不到的情況。不管陰天、遮陽、順光,還是多果的情況,修改后網絡的選框也更加精準,可以更好地知道目標在攝像頭中的大小以及位置。

4 結論

本文提出了一種對于原YOLOv4的輕量化修改方法。首先通過更換主干網絡Ghostnet減少參數量和計算量,增加了空間金字塔池化模塊的前后的卷積層數,而且通過深度可分離卷積替換部分卷積,進一步減少參數量和計算量。上述方法雖然可以提高檢測速度,但精度還有一定欠缺,因此為了提高精準度增加了空間金字塔池化的前后卷積層。對于原YOLOv4算法模型,修改后的網絡在檢測速度上提高了45.8%,權重減少了79.7%。綜合以上性能,修改后的網絡整體性能相對原YOLOv4更好。本文的模型可以提高檢測速度,但不能提升檢測精度,檢測精度和原來的YOLOv4網絡幾乎相同。在后期的研究中要在檢測速度保持不變的情況下提高檢測精度。