改進Faster RCNN在糧蟲目標檢測中的應用研究

許德剛， 王 露， 李 凡， 郭奕欣， 邢奎杰

(河南工業大學糧食信息處理與控制教育部重點實驗室1，鄭州 450001)(河南工業大學信息科學與工程學院2，鄭州 450001)

長期以來，糧食作為人類社會生存的基本需求，對維持社會穩定、保障民生和社會發展都具有重要作用。我國每年由于糧蟲侵虐造成的損失達數百萬t，給國家造成了巨大的損失[1]。儲糧害蟲不僅會造成糧食品質和數量下降，而且蟲害的排泄物和尸體還會造成疾病傳播[2]。因此，糧蟲檢測與識別是儲糧安全的重要一部分，在糧食儲糧過程中定期檢測糧食谷物是否有儲糧害蟲存在至關重要。隨著技術的進步，糧蟲檢測方法從傳統的直觀檢測法、取樣法、誘捕法、逐步發展到聲測法[3]、圖像識別法、近紅外光譜法[4]、X-ray射線法[5]、生物光子法和深度學習目標檢測法等。傳統的圖像識別法通過提取糧蟲的邊緣、形狀、紋理等圖像特征，再將這些特征拼接為特征向量，最后利用機器學習算法對特征向量進行分類，識別糧蟲種類。基于深度學習的目標檢測方法避免了手工設計糧蟲特征的煩瑣步驟，可以自動學習和泛化大量圖像數據的特征，對糧蟲的特征向量進行分類，快速識別不同糧蟲種類。

近年來，目標檢測技術在科學研究和計算機視覺領域都受到了廣泛的關注。經典的目標檢測算法有基于候選區域的雙階段算法和基于回歸的單階段算法。具體來說，雙階段算法在第一階段主要生成區域建議；第二階段主要用于分類和回歸區域建議以獲得更準確的目標位置，以Faster-RCNN[6]和R-FCN[7]為代表，特點是識別精度高、速度較慢、訓練過程困難。單階段算法將目標檢測視為一個回歸或分類問題，采用統一的框架直接實現分類和定位，以SSD[8](Single Shot Multibox Detector)和YOLO(You Only Look Once)[9]為代表，特點是檢測速度快，但精度相對較差。本研究將糧蟲檢測作為目標檢測的背景，要準確識別糧蟲的種類，并對糧蟲進行定位。

為了提升糧蟲檢測效果，基于經典的雙階段Faster RCNN算法，針對糧倉內赤擬谷盜、銹赤扁谷盜、米象、煙草甲和鋸谷盜5種最主要的甲蟲類儲糧害蟲分別制作了白板背景和實際儲糧背景兩個糧蟲數據集，在特征圖后引入一個金字塔池化模塊以融合全局特征信息，采用改進的Focal Loss損失函數代替交叉熵損失函數，以解決糧蟲分類過程中樣本不平衡問題，實現糧蟲檢測效果的有效提升。

1 經典Faster RCNN算法

Faster RCNN算法在2015年提出，在RCNN[10]和Fast RCNN[11]基礎上擴展而來，引入了區域建議網絡(Region Proposal Network，RPN)取代選擇性搜索算法，RPN將區域建議提取集成到深度卷積神經網絡，在每個位置同時預測目標邊界框和類別置信度分數，加快了網絡的計算速度。Faster R-CNN采用VGG-16作為骨干網絡，由卷積層、RPN網絡、RoI Pooling層[12]、分類和回歸層等4部分組成。

Faster RCNN方法的檢測流程分為兩個階段：生成候選區域，詳細地搜索圖像中所有可能是目標的位置，并為可能是目標的位置產生大量的邊界框，帶有邊界框的感興趣區域稱為區域建議；對候選區域進行分類和回歸，得到區域建議后，通過一些技術來判斷它是屬于目標類還是背景類。區域建議網絡用于選出并刪除目標存在概率非常小的區域，從而加快了整個目標檢測系統的速度。

2 算法優化

根據Faster RCNN算法的原理，針對糧蟲目標體積小、姿態多變、糧蟲與糧粒相互遮擋且容易混淆等特點，通過引入金字塔池化模塊(Pyramid Pooling Module，PPM)[13]來融合全局信息，采用Focal Loss損失函數作為分類損失解決數據不平衡問題，以提升糧蟲目標的檢測效果。

2.1 增加上下文的金字塔池化模塊

在目標檢測領域，上下文信息起著重要作用。在檢測特征不足的目標時，上下文信息可以了解目標及其周圍環境之間的關聯，提高檢測器了解場景的能力，有效地幫助提高檢測性能。糧蟲目標檢測中的上下文信息是糧蟲目標的語義信息，主要分為局部上下文和全局上下文。全局上下文信息可以提供圖像級別或者場景級別的上下文信息，局部上下文信息可以提升目標被檢測的可能性。

深度卷積神經網絡為了獲得較大感受野的特征表達，需要進行多次下采樣，在最后一個卷積層的特征圖可以獲得目標類別和豐富的語義信息。但是多次下采樣會導致信息丟失，本文提出采用PSPNet[14]的金字塔池化模塊(PPM)來解決此問題，該模塊通過將最終特征圖和4個不同金字塔比例尺的特征進行級聯來獲得更加豐富的多尺度上下文信息。金字塔池化模塊如圖1所示，通過融合不同區域的上下文信息在不同尺度下保留全局信息，有效地獲取全局語境信息。

本研究采用在特征圖后增加一個金字塔池化模塊PPM來解決卷積神經網絡在多次下采樣時造成得信息丟失，以有效融合全局上下文信息，以提升檢測性能。金字塔池化結構如圖1中的c部分。PPM通過不同金字塔尺寸的自適應平均池化(GAP)處理卷積神經網絡得到特征圖，如圖1中b部分，PPM包含1個直接連接和4個分支，每個分支分別由1個池化層，1個卷積層和1個反卷積層組成。不同分支在池化層和卷積層中具有不同大小的內核，同時生成不同大小的感受野。PPM融合了4種不同金字塔尺度下的特征，4個分支的內核大小分別設置為1、2、4、6，POOL表示采用1×1、2×2、4×4和6×6 4種不同尺寸的池化操作得到多個尺寸的特征圖，其中較大內核的分支可以獲得更多的全局特征，反之，內核較小的分支獲取更多的局部特征，并對這些尺寸的特征圖再次進行“1×1的Conv”來減少通道路。金字塔池化模塊的輸入和所有分支的輸入通過級聯輸入到下一層，使用雙線性插值[15]填充上采樣得到原來的尺寸，將不同級別的特征圖拼接得到最終的金字塔池化全局特征。因此，全局和局部特征的融合可以生成準確的像素級預測。同時，不同的內核大小能夠提升模型檢測不同尺度目標的能力。

圖1 金字塔池化模塊結構圖

2.2 損失函數優化

Faster RCNN算法的損失函數設計過程中沒有考慮到訓練數據集樣本不均衡的問題，可能導致算法對不同類別糧蟲的檢測效果相差較大，為了提高算法的檢測準確率，從樣本分布均衡的角度出發，基于Focal loss損失函數的思想對算法進行改進，以提升算法對困難樣本和類別較少的樣本的檢測準確率。

本研究使用Focal Loss解決糧蟲檢測的數據不平衡問題。Focal Loss以通過重塑標準交叉熵損失來解決目標檢測任務中的不平衡問題，其不僅實現降低簡單樣本的影響，更多地關注困難樣本，而且基于分類誤差考慮每個樣本對損失的影響。除了以上原因，前景和背景的極度不平衡也是影響目標檢測算法的一個重要原因，Focal Loss還考慮到前景和背景類之間1∶1 000比例的不平衡比例的高訓練精度[16]，在計算機視覺、目標檢測領域都獲得了優越性能。

2.2.1 Focal Loss損失函數

由于糧蟲形狀相似，一般情況下，RPN中屬于負樣本的區域建議較多。為了解決訓練過程中前景和背景類別不平衡的問題(如:1∶1 000)，并更好地進行分類，用Focal Loss代替RPN中的標準交叉熵(Cross-entropy，Ce)分類損失。

傳統的分類交叉熵損失函數如公式所示：

(1)

式中：p是網絡模型預測該樣本為正樣本的概率值，p∈[0，1]。其中y∈{±1}是真值類，表示樣本標簽，當y=+1時表示正樣本，y=-1時表示負樣本。當樣本標簽為1時，p越接近1，損失越小。

通過對交叉驗證建立的可調參數改進，為便于表示，將p標記為pt，目標類的概率pt定義為：

(2)

此時，二分類交叉熵損失函數Ce可以簡寫為:

Ce(p,y)=Ce(pt)=-log(pt)

(3)

此外為了解決樣本不平衡中的正負樣本不均衡問題，添加了一個加權項α來處理正類和負類(1-α)的類別不平衡，α的取值范圍為0～1，如下所示：

(4)

在α平衡形式中，調整后的二分類交叉熵損失函數Ce可以寫成：

Ce(pt)=-αtlog(pt)

(5)

這個公式被認為是Ce的一個簡單擴展，其中，α是類概率的倒數，或作為交叉驗證修復的超參數，與正負樣本數量呈反比，以減少正負樣本不均衡對性能的影響。

由公式可以看出，所有樣本的權值在標準交叉熵中是一樣的。如果在訓練過程中存在前景和背景的類別不平衡，大量的負樣本的將主導梯度，小量的困難樣本和正樣本將會被覆蓋，也就難以發揮作用，使準確率降低。

用Focal Loss函數代替交叉熵來解決類不平衡問題，相當于為Ce損失函數的擴展。而對于難易樣本不均衡的問題，為了增加小目標的權重，類似于權重因子α，通過增加高斯權重(Gaussian weight)來改進Focal Loss。某一類中的樣本數越少，高斯權重就越大，模型就越會引起注意。 Focal Loss為帶有參數的交叉熵損失增加了一個調節因子(1-pt)y。其中y≥0，改進的損失函數表示為：

Lfl(pt)=-αt(1-pt)ylog(pt)

(6)

式(6)既可以調整正負樣本不均衡，也可以調整困難樣本和簡單樣本的不均衡。其中，(1-pt)γ用來調整困難樣本和簡單樣本的權重，(1-pt)γ取值范圍為0～1，如果pt值越大，為簡單樣本，則(1-pt)γ值越小，故對損失函數的影響更小；如果pt值較小，則為困難樣本，則對應的(1-pt)γ值更大，對損失函數影響較大。

(7)

其中αt權重為了改善正負樣本不平衡，αt是加權因子，α和γ是2個可調參數，ct是每個類別的數量。當γ=0時，focalloss等于交叉熵，并且隨著γ增加，α不斷減小。在0～1的范圍內，α越小，負樣本(具有較大數量的類別)的權重越小。通過增加較少數量類的權重，通過高斯部分對αt進行了改進。

當一個邊界框被錯誤分類時，pt很小，并且(1-pt)γ接近于1，對分類損失幾乎沒有影響。同樣，當分類預測結果很好時，即pt接近于1，(1-pt)γ接近于0，這相當于減少了簡單樣本的損失。在Lin等[17]的研究中，當γ=2和α=0.25時，模型效果最好。在此研究基礎上，應用相同的參數設置。參數β和σ控制著每個類別損失的權重，確保αt∈[0,1]。

2.2.2 Faster RCNN模型的損失函數設計

Faster RCNN的總損失函數由分類損失和回歸損失組成。該方法對一幅圖像的具體損失函數定義為如式(8)所示。

(8)

其中，回歸損失函數Lreg的具體表達式如式(9)所示。

(9)

式(9)中，平滑函數(smooth function)的定義如式(10)所示。

(10)

式中：x為邊界框的預測誤差，參數σ用來控制平滑區域。對于邊界框回歸采用式(11)中的4個參數坐標表達。

tw=log(w/wa)th=log(h/ha)

(11)

式中：x、y、w和h為方框的中心坐標及其寬、高。變量x為預測框、xa為錨框、x*為真值框，這可以看作從錨框到真值框的邊界框回歸。

2.2.3 改進后Faster RCNN模型架構

Faster RCNN檢測模型由4個部分組成：使用VGG-16提取糧蟲圖像特征，得到特征圖；將特征圖輸入RPN得到區域建議生成；將特征圖和Proposals輸入到RoI Pooling層得到綜合的Proposals特征；根據Proposals特征預測目標的邊界框和位置，即分類和邊界框回歸。改進后Faster RCNN模型架構如圖2所示。

圖2 改進的Faster RCNN網絡架構圖

基于改進的Faster RCNN儲糧害蟲目標檢測模型流程包括特征提取、金字塔池化、區域建議網絡和全連接網絡。

2.3 改進后Faster RCNN模型架構

2.3.1 特征提取

該模塊利用VGG-16作為特征提取網絡，提取原始圖像的特征圖并與Faster RCNN的RPN共享所有的卷積操作。

2.3.2 金字塔池化模塊PPM

特征圖經過PPM模塊得到融合了整體信息的特征，然后，采用雙線性插值對低維特征圖上采樣，使其與原始特征圖尺度相同。最后，拼接不同層級的特征圖得到金字塔池化全局特征。

2.3.3 RPN網絡

RPN通過比較各個區域建議的置信度得分和執行二值分類任務，判斷每個建議屬于前景還是背景，并利用錨框回歸得到糧蟲的邊界框。

2.3.4 全連接網絡

通過RoI池化層獲得特征發送到全連接網絡進行分類和邊界框回歸計算。在訓練階段，需要計算預測值與真實值之間的所有損失，并進行反向梯度傳播優化。本文模型通過對給定圖像進行輸入，網絡轉發，得到圖像的分類和回歸預測框。

3 數據集與評價標準

糧蟲數據集是目標檢測研究的基礎，在目標檢測任務中扮演著十分重要的角色。在進行糧蟲目標檢測任務時，需要適用性強的數據集來有效測試和評估本文算法的性能。由于該領域目前沒有公開的糧蟲數據集，所以本文采用人工采集的方法來制作數據集。

3.1 數據集的制作

儲糧害蟲分為昆蟲和螨類兩類，昆蟲類又分為甲蟲類和蛾類兩種，其中甲蟲類對糧食谷物的破壞性最強，所以本文以甲蟲類儲糧害蟲為研究對象，選取了赤擬谷盜、銹赤扁谷盜、米象、煙草甲和鋸谷盜5 種最主要的甲蟲類儲糧害蟲。拍攝白板背景下圖像時，用鑷子將昆蟲夾出放置實驗平臺的白紙上，將手機固定，垂直平臺進行拍攝，選取了赤擬谷盜、銹赤扁谷盜、米象、煙草甲和鋸谷盜5 類害蟲，數據集名稱為WBGP，如圖3所示；拍攝實際儲糧背景的糧蟲圖像時以小麥和大米為背景鋪滿實驗平臺，固定手機，垂直平臺進行拍攝，選取了赤擬谷盜、米象和鋸谷盜3類害蟲，數據集名稱為RBGP，如圖4所示。每張圖像的糧蟲數量為4～10只，白板背景下原始圖像樣本共計2 601張，實際背景下原始圖像共計1317張，昆蟲圖像統一 resize 成了640×480大小。

圖3 白板背景數據集WBGP的糧蟲圖像

圖4 實際儲糧背景數據集RBGP的糧蟲圖像

3.2 數據增強

在深度學習中，為了增強模型的穩定性，提取圖像特征，防止模型過擬合，需要大量的數據進行訓練以提高模型的魯棒性。本文對圖像進行幾何變換、調節亮度、添加高斯噪聲等一系列增強操作來豐富糧蟲數據，幾何變換包括圖像翻轉和旋轉兩種方法，采用了90°、180°和270°對圖像進行旋轉。白板背景下原始圖像數據2 601張增強至3 734張，白板背景下數據增強前后糧蟲圖像數量如表1所示，儲糧背景下原始圖像數據1 317張增強至2 074張，儲糧背景數據增強前后糧蟲圖像數量如表2所示，平均每種糧蟲圖像700張，每幅圖像上糧蟲4～10只。最后，按照7∶1∶2的比例[18]構建訓練集、驗證集和測試集。

表1 白板背景數據集WBGP的糧蟲圖像數量

表2 實際儲糧背景數據集RBGP的糧蟲圖像數量

3.3 性能評價指標

本研究采用精確度(P)、召回率(R)、平均精確度(AP)和平均精確度均值(mAP)[19]和來評估目標檢測模型的性能。目標檢測模型的分類和定位能力是其最主要的性能體現，而mAP值是其最直觀的表達方式，mAP值越大，表明該模型的精度越高。其中， mAP的計算公式為，Q代表目標類別數：

(12)

4 結果與分析

4.1 實驗環境

本實驗根據PyTorch的運行環境要求在計算機進行環境的搭建，參數如表3所示。

表3 實驗環境配置參數

選用的GPU最大分辨率為7 680×4 320，能夠處理大量圖像數據，加快網絡模型的訓練速度，從而提高圖像處理速度和模型訓練效率。

4.2 定性分析

算法實驗過程中用糧蟲相對應的拼音縮寫表示糧蟲的種類，其中“chini”表示赤擬谷盜，“mixing”表示米象，“jugudao”表示鋸谷盜，“yancojia”表示煙草甲，“xiuchi”表示銹赤扁谷盜。

Faster RCNN算法在白板背景數據集的檢測結果對比如圖5所示，圖5a是Faster RCNN算法的檢測效果，圖5b是Faster RCNN算法改進后的檢測效果。

圖5 白板背景數據集Faster RCNN算法改進前后檢測效果對比圖

圖6是實際儲糧背景數據集中Faster RCNN算法改進前后對3種糧蟲的檢測結果對比，其中圖6a是Faster RCNN算法的檢測效果圖，圖6b是Faster RCNN算法改進后的檢測效果圖。對比Faster RCNN算法改進前后的檢測結果可以發現，圖像中每只糧蟲被檢測的概率值都有了明顯的提升，改進后Faster RCNN算法的精度有了一定提高，同時避免了一些漏檢。

圖6 儲糧背景數據集的Faster RCNN算法改進前后檢測效果對比圖

4.3 定量分析

SSD作為深度學習中的典型單階段目標檢測算法，具有精度高、速度快的特點。本實驗針對2.1和2.2中的優化方案，對比SSD算法與改進前后Faster RCNN算法在白板背景數據集的糧蟲檢測實驗結果，如表4所示，在實際儲糧背景數據集的糧蟲檢測對比實驗結果如表5所示。

白板背景數據集一共有五類糧蟲目標，分別是銹赤扁谷盜、米象、鋸谷盜、煙草甲、銹赤扁谷盜。從表4可以看出，不同種類糧蟲的檢測效果存在差異，在白板背景下SSD算法對糧蟲小目標的檢測效果不佳，每類糧蟲的mAP值都低于改進前后的Faster RCNN算法，使用改進的Faster RCNN算法后整個數據集的mAP從88.52%提升到了89.42%，上升了0.90%，其中赤擬谷盜的mAP從87.46%提升到了89.73%，上升了2.27%，提升效果最好，該算法對糧蟲小目標的檢測能力有一定的改善。通過對Faster RCNN模型進行改進，每類糧蟲的mAP都有提升，檢測效果都比原始算法的更好，說明了該改進算法對糧蟲小目標具有提升效果。

實際儲糧背景數據集中一共有三類糧蟲，分別是赤擬谷盜、米象和鋸谷盜。從表5中可以看出，在儲糧背景下SSD算法對每類糧蟲的檢測mAP值都低于Faster RCNN算法，整個數據集的mAP值為76.60%，對比Faster RCNN算法的87.66%，低了11.06%，驗證了本文選擇Faster RCNN算法的正確性；使用改進Faster RCNN算法后，每種糧蟲的檢測精度都有提升，且各不相同，整個數據集的mAP從87.66%提升到了90.12%，上升了2.46%，其中赤擬谷盜的mAP從84.51%提升到了89.98%，上升了5.47%，也是提升效果最好的種類。說明了該改進算法對實際儲糧背景下糧蟲數據集的檢測性能也有一定的改善，證明了本章改進方法對糧蟲目標檢測的有效性。

對比表4和表5，發現使用原始Faster RCNN算法時，在儲糧背景下整個數據集的mAP比白板背景數據集糧蟲的mAP值低，但在改進后的Faster RCNN算法中結果正好相反，改進后的Faster RCNN算法在儲糧背景數據集的mAP比白板背景數據集的mAP高，說明本改進方法在實際儲糧環境的糧蟲檢測提升效果更明顯，更具實用價值。另一方面，在2個數據集中，由于赤擬谷盜的體積的體積形態都是最大的，在糧蟲圖像中所占的像素更多，而且提升效果也是最明顯的，說明目標的尺度越大，特征就越明顯，檢測效果也會更好。

表4 白板背景糧蟲數據集下改進Faster RCNN算法的實驗對比

表5 實際儲糧背景糧蟲數據集下改進Faster RCNN算法的實驗對比

5 結論

儲糧安全關系社會穩定發展，高效的糧蟲檢測方法有助于構建綠色倉儲環境。本研究針對糧蟲目標體積小、檢測難度大的問題以及原始Faster RCNN模型在檢測糧蟲目標時精度和檢測效率兩方面的不足，提出了一種改進的Faster RCNN糧蟲檢測模型。通過引用金字塔池化模塊融合全局上下信息，優化分類損失來解決分類過程的樣本不平衡問題，解決了糧蟲相似度高，產生較多陰性樣本的問題。實驗表明本文采用的改進Faster RCNN算法對白板背景和實際儲糧背景糧蟲目標檢測的有效性。后續工作將構建種類更全的糧蟲數據集，增加算法對不同種類糧蟲的泛化性。