基于改進Faster R-CNN模型的櫻桃缺陷檢測

魏 冉 裴悅琨 姜艷超 周品志 張永飛

(1.大連大學遼寧省北斗高精度位置服務技術工程實驗室,遼寧 大連 116622；2.大連大學大連市環境感知與智能控制重點實驗室,遼寧 大連 116622)

中國櫻桃種植面積已居世界首位。但由于水果產后處理技術不完善，導致新鮮的櫻桃不能及時進行分級分揀，影響出口銷售[1]。

表面缺陷是果品分級分揀的重要影響因子[2]。傳統的果品缺陷檢測技術通常是在果品采收后依靠人工分類，效率低、工作量大。目前，機器視覺中用于缺陷識別的方法可分為光譜成像、機器學習、圖像處理和深度學習四大類。Siedliska等[3]采用VNIR高光譜成像實現了櫻桃核的無損檢測，精度達96%，但該技術存在特征波段的選擇和準確性不穩定等缺點。Zawbaa等[4]將經尺度不變特征變換(SIFT)提取的算子輸入隨機森林(RF)識別蘋果，精度達96.97%，這種將圖像處理提取的特征結合機器學習分類器(如 Adaboost[5]、SVM[6]、DPM[7]等)進行分類的算法，受環境影響較大，且設計的表征模型具有針對性。裴悅琨等[8]基于卷積神經網絡設計的櫻桃缺陷識別方法精度達到97.99%，但并不能定位到果品的位置。

基于以上檢測技術的缺點，國內外學者逐漸將果品識別的研究熱點轉向了基于深度學習的目標檢測算法，更加關注圖像的局部區域和特定的物體類別，并應用于多個領域[9-12]。Bargot等[13]使用Faster R-CNN檢測果園中的水果；Villacrés等[14]采用Faster R-CNN檢測真實果園中的櫻桃數量；Vasconez等[15]使用Faster R-CNN實現了不同田間條件下的水果追蹤和計數工作；但該算法在櫻桃缺陷識別中的研究尚未見報道。文章擬基于Faster R-CNN對櫻桃缺陷特征進行檢測，針對小目標易誤檢、漏檢的問題，對原始網絡算法進行改進。采用表征能力較強的ResNet50[16]作為特征網絡，代替原始的VGG16主干網絡；不同于傳統的單特征圖預測，采用特征金字塔FPN[17]融合深淺層次網絡，實現多尺度預測，并結合遷移學習初始模型權重；提出結合注意力機制SENet、SKNet，用于加強關鍵特征信息的學習，增強模型魯棒性，建立櫻桃缺陷檢測模型，方便自動化處理程序根據返回的定位信息完成櫻桃的分配操作，為后期實現自動化缺陷檢測提供一定的理論基礎與技術支持。

1 櫻桃數據集的構建

數據采集于遼寧省大連市金州區果園的櫻桃，基于實驗室分揀原型設備構建用于櫻桃缺陷檢測的數據集，主要包括數據采集及增強、數據分類及標注。

1.1 數據采集及增強

櫻桃數據品種為美早，將采集到的果體置于模擬分揀環境下獲取樣本。每次采集前在滾輪間放置多個不同類別的櫻桃，轉動齒輪使樣本數據盡量多地涵蓋果體各個面的特征，通常一張樣本圖中包含1～10個櫻桃。圖像像素為2 046×1 080，格式為JPG。為降低過擬合造成的試驗誤差，采用旋轉、隨機裁剪、翻轉、平移，調整亮度、色度、飽和度、對比度和銳度等數據增強技術擴充樣本數據集。

1.2 數據分類及標注

共獲取10 000張櫻桃樣本集，根據其生長缺陷分為裂口、雙生、刺激生長、霉變、褐變腐爛和完好6種類別(見圖1)。優等果果體完好，可投入水果貿易市場；裂口、雙生和刺激生長類型的次等果依然可以繼續銷售，價格低于優等果；霉變和褐變腐爛果應及時剔除，避免流入市場。

圖1 6類櫻桃樣本圖

選擇LabelImg工具對圖像進行標注，并將標注信息以PASCAL VOC的格式保存為XML文件。隨機選擇樣本的80%作為訓練集，20%作為測試集，如圖2所示。

圖2 櫻桃樣本種類及數量

2 研究方法及模型

Faster R-CNN[18]是深度學習目標檢測中典型的兩階段檢測模型，主要包括特征網絡、RPN網絡、Roi Pooling層、分類和回歸網絡。模型先通過特征網絡獲得特征圖，利用RPN生成精細的候選框，與特征圖映射后得到局部特征層，傳入Roi Pooling完成池化后，輸入分類和回歸網絡，最終得到目標的類別和位置信息。基于Faster R-CNN的櫻桃缺陷檢測過程如圖3所示。

圖3 基于Faster R-CNN的櫻桃缺陷檢測過程

2.1 特征提取網絡

基于ResNet50的殘差模塊包含Identity Block和Conv Block兩種結構(見圖4)。Identity Block模塊的輸入和輸出向量的維度相同，可直接通過串聯加深網絡，學習深層次的語義信息。Conv Block模塊的輸入和輸出向量的維度不同，需執行1×1的卷積來匹配維度。

圖4 Identity Block和Conv Block殘差結構

文章主要研究ResNet50作為特征網絡在櫻桃缺陷檢測中的表現效果，替代了原始框架中的VGG16，ResNet50由1個卷積層、1個全連接層和4組殘差模塊構成，每組分別有3，4，6，3個block，每個block有3個卷積層(見圖5)。

圖5 ResNet50結構圖

2.2 RPN

RPN主要采用端到端的訓練方式生成區域候選框，代替了原始的滑動窗口法和SS算法，極大地提高了檢測框的生成速度。

RPN網絡訓練時產生的損失函數由分類損失Lcls和回歸損失Lreg兩部分組成。模型的訓練損失函數為：

(1)

(2)

(3)

ti=(tx,ty,tw,th)，

(4)

(5)

式中：

i——依次遍歷RPN網絡生成的第i個邊界框；

pi——第i個anchor預測為真實標簽的概率；

Ncls——一個batch中anchor的數目；

Nreg——anchor位置的個數；

λ——兩部分損失的調和因子；

ti——第i個邊界框的預測參數；

smoothL1——平滑函數。

2.3 網絡的改進方法

選用Faster R-CNN作為櫻桃缺陷檢測的模型，針對果體的缺陷特征，對該框架進行改進，以提高模型檢測精度。

2.3.1 特征金字塔FPN 主干網絡前向傳播得到的最后一層共享特征圖，語義信息豐富，但圖像分辨率降低，丟失了大量的細節信息，易造成小目標難檢問題；而淺層特征圖分辨率較高，具備大量的細節信息，目標定位較精準。因此，尺度差異一直是目標檢測領域的研究熱點[19]。文章采取一種將局部和全局信息相結合的方法，構建特征金字塔FPN，實現多尺度特征圖的融合和預測，在無明顯計算負擔的情況下增強特征的表達能力，以提高對小目標的檢測精度。

通過FPN得到的多特征映射，利用自頂向下和橫向連接，將上層的特征圖經上采樣后與下一層特征圖進行融合[20]，對不同深度的目標實行多尺度預測，最終得到的新特征向量被送入全連接層執行分類和回歸任務。融合后的特征向量同時具備了深層次的高語義信息和淺層次的細節信息，能改善對小目標的檢測效果，其網絡結構如圖6所示。

圖6 ResNet50融合FPN結構示意圖

2.3.2 注意力機制SENet SENet[21]是在特征圖的通道維度上增加注意力機制，在每個通道信號上增加一個權重以表示其與關鍵信息的相關性，從而篩選出重要信息，使模型加強關鍵特征，抑制無用特征。

如圖7(a)所示，在ResNet中嵌入SE模塊，對分支上的殘差模塊特征進行特征重標定。先對分支上的輸入值執行全局池化操作Squeeze(Fsq)，如式(6)所示，將維度特征降至一維，然后利用Excitation(Fex)操作預測每個通道的重要性，結合非線性激活ReLU擬合通道間的依賴關系，再利用Sigmoid歸一化權重，最后執行Scale(Fscale)操作將權重值與原始特征通道加權，從而使神經網絡重點關注權重大的通道，提高模型檢測效率。

(6)

2.3.3 注意力機制SKNet SKNet[22]是在卷積核上增加注意力機制，同時考慮了通道和卷積的權重，針對不同圖像動態地生成不同尺寸的卷積核，使網絡自主選擇合適的卷積核，獲取不同感受野的信息，增強模型魯棒性。

如圖7(b)所示，其操作過程主要包括：

圖7 SE-ResNet模塊和SK-ResNet模塊

(1)Split：為了提升精度，對輸入的特征圖X(C×H×W)使用不同大小的卷積核執行Convolutions+Batch Normalization+ReLU運算，X被分成兩條(或多條)分支F1:X→U1∈H×W×C，F2:X→U2∈H×W×C。

(2)Fuse：利用Add操作整合所有分支的信息：Uc=U1+U2，特征圖U融合了多個不同的感受野信息，然后利用全局平均池化操作嵌入全局信息，如式(7)所示。

(7)

式中：

sc——s的第c個元素(代表每個通道的重要程度)。

對1×1×C的s向量用一個全連接層進行線性變換，得到信息z(1×1×Z)，如式(8)所示，再對每個分支使用線性變換，將Z維恢復到C維向量，以預測不同組卷積的注意力因素。

z=Ffc(s)=δ[BN(Ws)]，

(8)

式中：

z∈d×1；

δ——ReLU函數；

BN——批標準化；

W∈d×C；

r——壓縮因子；

L——d的最小值。

(3)Select：對分支進行歸一化，先將通道分數與U1、U2相乘得到A1、A2，再將分支融合得到向量V，V相對于U融合了多個感受野信息。最終的特征映射V如式(9)和式(10)所示(其中e為自然數)。

Vi=ai×A1+bi×A2，

(9)

(10)

式中：

a、b——Select的2個權重矩陣；

Ai、Bi——A、B的第i行(A,B∈C×d)；

ai、bi——a、b的第i個元素(ai+bi=1)。

特征圖循環經過殘差注意力機制后執行FPN多尺度預測，傳入RPN與候選信息相映射，最后執行分類和回歸任務。由于SKNet采用不同的卷積核，可以自適應地調整自身的感受野，因此比SENet更加細膩，具有更高的精度。改進后的Faster R-CNN模型如圖8所示。

圖8 改進后的Faster R-CNN網絡結構圖

3 試驗與結果

3.1 試驗配置

如圖9所示，基于深度學習的櫻桃缺陷檢測系統硬件由模擬流水線環境和電腦配置兩部分組成。模擬流水線環境配置用于獲取櫻桃數據集，電腦配置部分用于對數據集進行處理。

(1)工業化環境配置：照明系統、CMOS攝像機(acA2000-50g型)、鏡頭[M1614-MP29(CH)3型號]、POE千兆網卡(LR5M千兆網卡型號)和傳送齒輪等。

(2)電腦配置：臺式電腦，GeForceGTX3080顯卡，單GPU10G顯存；Inter(R)Core(TM)i9-10900K處理器，32 G內存，頻率DDR43000，基于PyCharm的Python編程語言，Windows-Sever 2019、64位操作系統，采用Pytorch深度學習框架。

3.2 模型訓練

在數據集Microsoft COCO預訓練權重的基礎上，采用遷移學習初始化權重參數，降低深度學習模型訓練的難度。基于Faster R-CNN，模型所采用的特征網絡為ResNet50，輸入圖片的大小歸一化為300像素×300像素，采用隨機梯度法訓練網絡，動量設為0.9，學習率初始化為0.005，權重衰減因子為0.000 5，迭代次數為100，每訓練5步以0.33倍速降低學習率值。訓練時采用的batchsize大小為8，IoU值為0.5。

3.3 模型評價指標

為衡量試驗模型對解決櫻桃缺陷識別的有效性，采用深度學習領域常用的衡量指標平均AP值(mAP)、F1值和每秒幀率(FPS)評價模型性能。

mAP是所有類別平均精度AP的平均值，取值區間為[0,1]，AP是由精確率P和召回率R繪制而成的曲線面積。F1綜合了P和R兩個指標，其計算為：

(11)

(12)

(13)

(14)

(15)

式中：

TP——真正例；

FP——假正例；

FN——假反例；

N——類別數；

AP(i)——第i類目標的AP值。

指標每秒幀率(FPS)用于評估模型對圖片的處理速度，即每秒鐘識別的圖片數目。

3.4 櫻桃缺陷檢測結果及分析

為了更全面理解試驗方法對檢測結果的影響，通過對櫻桃缺陷數據集采用多種策略進行實驗驗證。先探究主干網絡ResNet50對試驗結果的影響。為避免試驗其他元素對結果的作用，在保證模型參數一致的前提下，對比特征網絡為VGG16、MobileNet-V2和ResNet50的3種檢測模型，試驗結果見表1。

由表1可知，將原始的VGG16替換為MobileNet V2和ResNet50后，mAP指標分別提升了5.89%，11.85%，F1值分別提升了4%，8%。網絡ResNet50的mAP、F1值均高于其他網絡，說明其殘差結構在試驗中具有優越性和較強的表征能力。基于ResNet50的目標模型雖然在雙生、刺激生長、完好這3類較大尺度的目標上檢測結果較好，但對于裂口、霉變、褐變腐爛這種小目標的檢測精度有待提高，識別能力相對較弱。

在正常光線下，基于ResNet50的Faster R-CNN能識別出特征明顯的果體，但由于雙生與刺激生長、霉變與褐變腐爛兩兩之間的相似特征造成檢測效果較弱，未被正確識別，對裂口也易造成誤檢漏檢，為了提高對小目標的檢測精度，同時緩解由于網絡層數的增多而帶來的目標特征丟失現象，引入FPN進行多尺度預測，為加快訓練速度，采用遷移學習初始化試驗模型權重。

由表2可知，對特征網絡采用基于特征融合的多尺度預測后，模型對所有類別的檢測均有正向促進作用，尤其對霉變、褐變腐爛、裂口和刺激生長的改善效果明顯，AP值分別提高了18.13%，9.49%，9.21%，9.06%，對于完好和雙生果的精度也分別提高了0.69%，0.64%，模型mAP值提升了7.86%，證明了融合多尺度特征層更能獲得較準確的物體信息，提高小目標檢測精度。融合FPN后，試驗模型對于小目標誤檢、漏檢現象得到了明顯改善，且對各種缺陷的檢測精度均值達到99%，說明結合FPN的策略是有效的。

表2 櫻桃測試集上不同改進策略對比

在上述改進策略后的基準網絡上分別引入SENet、SKNet模塊，模型mAP值分別繼續提升了0.14%，0.48%，且注意力機制模塊參數少、計算快，改進前后并未對模型帶來明顯的網絡負擔，證明了注意力機制在圖像檢測任務中的有效性。不同改進策略模型的Eval mAP和改進前后模型損失分別見圖10和圖11。

圖10 不同優化策略模型Eval mAP圖

圖11 模型損失對比圖

為了更好地證明試驗方法的優越性，將改進的Faster R-CNN模型與其他基于深度學習的檢測算法進行對比，結果見表3和表4。

由表3和表4可知，在各類物體的檢測結果上，試驗改進后的模型優于其他典型的深度學習檢測方法，相比于SSD、YOLO V3、YOLO V4具有較高的檢測性能，mAP值分別提升了5.53%，4.64%，4.02%，FPS值為31.16幀/s。與文獻[8]檢測方法相比，試驗缺陷果檢測精度稍高，檢測速度為311個/s，遠高于文獻[8]。說明改進后的模型算法表現出了實際應用的穩定性，檢測耗時在可接受的范圍內，證明了試驗方法的可行性。

表3 櫻桃測試集上不同檢測算法的對比

表4 櫻桃缺陷種類識別結果對比

4 結語

為實現櫻桃智能識別分級分揀，建立了基于Faster R-CNN的櫻桃缺陷檢測模型，主要解決了小目標易誤檢、漏檢的問題。主干網絡采用具有強特征提取能力的ResNet50，結合多尺度特征融合與預測的方式，提高了對小目標區域的表征提取，以此更匹配試驗對象。采取主干網絡融合注意力機制的優化方式，引導模型關注方向，提高了模型檢測精度。采用改進策略后的Faster R-CNN模型對缺陷、完好果的識別精度分別為98.13%，98.80%，通過與其他方法的對比，驗證了改進后的Faster R-CNN對于櫻桃缺陷識別具有高精度和可靠的實時性優勢，能夠滿足流水線櫻桃缺陷檢測工程的精準識別，但模型參數龐大，增加了內存開銷，檢測速度有待提高，故后續擬研究輕量級深度網絡模型，在保證高精度的同時增強實時性檢測。