基于改進YOLOX模型的櫻桃缺陷及分級檢測

劉敬宇 裴悅琨 常志遠 柴 智 曹佩佩

(1.大連大學遼寧省北斗高精度位置服務技術工程實驗室，遼寧 大連 116622；2.大連大學大連市環境感知與智能控制重點實驗室，遼寧 大連 116622)

果品分級一直是果蔬產品銷售中的一個重要環節，并且隨著電商行業的日漸壯大，果品能夠在全球實現流通銷售。如果想要占有較大的市場份額，實現工業化果品分級尤為重要[1]。利用圖像視覺和神經網絡算法對水果進行缺陷及分級檢測是目前的研究熱點，國內外許多學者對此進行了大量工作[2-10]。但是，在櫻桃分級的實際應用中，由于環境復雜、缺陷不明顯、正負樣本不均衡等因素極易影響檢測效率和精度。因此，如何提高櫻桃分級的檢測精度和檢測速度是應用的關鍵。

研究擬通過改進多特征融合模塊[11]和損失函數[12]，提出一種基于改進YOLOX[13]的櫻桃缺陷檢測方法。結合注意力機制CBAM[14]，用于加強關鍵特征信息的學習，提高對櫻桃大小和成熟度分級的精度，并與現有的櫻桃分級算法進行對比，驗證試驗算法在櫻桃分級檢測中的可行性，旨在為后期實現自動化櫻桃缺陷及分級檢測提供理論基礎和技術支持。

1 相關工作

1.1 數據集

公開的櫻桃數據集缺少不同缺陷、大小和顏色的櫻桃圖像，僅僅依靠公開數據集難以獲取合適的數據。為了解決這個問題，在遼寧省大連市金州區當地櫻桃果園進行采集，并通過實驗室設備進行拍攝和標注完成數據集。

將采集到的櫻桃放置于實驗室滾輪上，轉動滾輪將樣本各個角度進行拍攝，每張圖片中有1～10個櫻桃，圖像分辨率為 2 046像素×1 080 像素，圖像均為 JPG 格式。共采集10 000張圖片，其中，缺陷果可以分為鼻尖裂口、裂口、病變、刺激生長、腐爛、干疤、畸形、霉變、雙生9類[15](見圖1)，完好果根據其成熟度和櫻桃顏色分為大果成熟、大果半熟、中果成熟、中果半熟、小果成熟、小果半熟6類(見圖2)。使用LabelImg 軟件對圖像進行標注，并將標注信息PASCAL VOC的格式保存為XML文件。

依次為鼻尖裂口、裂口、病變、刺激生長、腐爛、干疤、畸形、霉變、雙生、完好

依次為大果成熟、大果半熟、中果成熟、中果半熟、小果成熟、小果半熟

1.2 試驗環境

實驗室硬件設備主要由圖像采集設備和計算機處理單元兩部分組成(見圖3)。其中圖像采集設備主要是由工業攝像機CMOS 攝像機(acA2000-50g型)、鏡頭(M1614-MP29(CH)3 型)、頻閃控制器組成的紅外觸發器，通過頻閃控制器和紅外觸發器觸發相機拍照，以及LED光源漫光片和梯臺型光源罩，保障照片質量。

1.電腦 2.同步光源控制器 3.激光接近傳感器 4.滾輪 5.傳送齒輪 6.相機 7.遮光罩 8.光源

計算機處理單元主要是GeForce GTX 3080 顯卡，運行內存為16 G并配置POE千兆網卡；Inter(R)Core(TM)i9-10900K 處理器，32 G 內存，頻率 DDR43000。

2 設計思路

2.1 設計原理

櫻桃缺陷及分級檢測主要根據櫻桃是否有缺陷、果體大小和成熟度3個標準。在實際需求中，首先需要對缺陷櫻桃進行剔除，保留完好的櫻桃，然后對完好櫻桃進行分級。所以對于櫻桃缺陷及分級檢測系統來說，主要由兩部分組成，第1部分進行櫻桃缺陷檢測，第2部分根據櫻桃的大小和顏色對櫻桃進行分級。系統流程圖如圖4 所示。

圖4 系統流程圖

2.2 試驗算法

試驗提出一種基于改進YOLOX的櫻桃缺陷及分級檢測算法，以實現對櫻桃的實時分級。YOLOX網絡主要分為3個部分：CSPDarknet、FPN[16]以及Yolo Head，結構圖如圖5所示。

圖5 YOLOX結構圖

2.2.1 特征提取網絡 特征提取網絡是目標檢測中的骨干網絡，決定了檢測模型的速度和準確性，通過主干特征提取網絡會生成3個有效特征層。YOLOX的主干特征提取網絡為CSPDarknet，每輸入一張櫻桃圖片會先對其進行resize，將其大小變為640×640，然后通過Focus網絡結構對其進行特征提取，之后使用卷積標準化和激活函數對其通道數進行調整，然后通過4次Resblock body結構進行特征提取。Resblock body結構首先會利用一個3×3的卷積進行高和寬的壓縮，并調整其通道數，然后使用CSPLayer結構進行特征提取。在第4個Resblock body結構中加入了SPP結構，該結構使用不同池化核的最大池化進行特征提取，將池化后的結果堆疊，再利用卷積來調整通道數。

2.2.2 FPN FPN算法主要是為了解決物體在檢測過程中的多尺度問題，通過簡單的網絡連接改變，大幅度提升了小物體檢測的性能。由于低層的特征語義信息比較少，但是目標位置準確，高層的特征語義信息比較豐富，但是目標位置較模糊，所以將頂層特征通過上采樣和低層特征進行融合，而且每層都是獨立預測的[17]。

2.2.3 Yolo Head 在YOLOX算法中，Yolo Head被分為兩部分，最后預測時才整合在一起，Yolo Head結構如圖6所示。獲得的Cls.是用來判斷每一個特征點所包含的物體種類，Reg.用于判斷每一個特征點的回歸參數，回歸參數調整后可以獲得預測框，Obj.用于判斷每一個特征點是否包含物體。

圖6 Yolo Head結構圖

3 算法改進及試驗分析

3.1 櫻桃缺陷檢測

在櫻桃缺陷檢測中，首先需要將缺陷櫻桃剔除。對于櫻桃的缺陷種類來說，一般可以分為兩類，第1類缺陷果可以分為鼻尖裂口、裂口、病變、刺激生長、干疤、畸形、雙生，這類缺陷果可以作為次品果進行降價銷售；第2類缺陷果包括腐爛和霉變，這類缺陷果需要及時與其他櫻桃分開，避免造成更大的損失[15]。

3.1.1 櫻桃缺陷檢測算法改進

(1)使用融合因子配置FPN：對于缺陷不明顯的櫻桃檢測的難點主要是目標自身尺度小，信息量少，細節特征不夠多。FPN作為多尺度檢測的手段，適合處理小目標檢測的算法[18]，影響小目標檢測的FPN性能有兩個主要因素：下采樣因子和相鄰特征層之間的耦合度。對于下采樣因子，下采樣比率越低，特征圖越大，越適合小目標檢測，但是計算較為復雜。

FPN特征融合方式如圖7所示，可以用式(1)表示：

圖7 FPN結構圖

(1)

式中：

finner——通道匹配的 1×1 卷積運算；

fupsample——分辨率匹配的2×上采樣運算；

flayer——特征處理的3×3卷積運算；

α——融合因子。

P5=flayer5[finner5(C5)]，

(2)

(3)

(4)

(5)

經過一系列試驗發現，通過調整融合因子可以對弱小目標檢測的性能產生影響，由于默認α為1，通過調整α的值，對試驗結果平均檢測精度的值產生影響。由圖8可知，當α為0.5時，試驗結果得到了明顯提升。

圖8 融合因子變化對試驗結果的影響

(2)Focal Loss集成到損失函數中：在目標檢測算法中，對于每輸入一張圖像，可能會生成許許多多的預選框(region proposal)，但是其中只有很少一部分包含真實目標，這就造成了類別不均衡問題。YOLOX屬于one-stage方法，相比于two-stage來說，其未生成候選框，直接對anchor box進行分類，所以速度較快，但是精度會降低。

由于正負樣本之間不平衡可能會嚴重降低檢測的準確性，這種不平衡是不可避免的，實際操作中，完好的櫻桃圖像數量會多于缺陷櫻桃的數量，同時也會有許多不明顯的缺陷樣本。為了解決正負樣本間的不平衡，提高對訓練樣本的關注，提出一種新的交叉熵損失函數即Focal Loss。新的損失函數通過使用一個可調整的因子來動態調整，自動降低容易樣本分類的檢測，主要集中在難分類樣本上。

Loss為各個訓練樣本交叉熵的直接求和，即各個樣本的權重公式相同。

(6)

式中：

pt——預測樣本屬于1的概率。

當yt=1時，說明第t個樣本屬于該類物體；當yt=0時，說明第t個樣本不屬于該類物體。此時會存在樣本不平衡造成損失函數傾斜，因此，用如下函數來改進原始損失函數。

(7)

(8)

式中：

γ——一個可以調整的參數，γ≥0；

(1-pt)γ——調制系數(通過減少易分類樣本的權重，使得模型在訓練時更專注于難分類的樣本)。

3.1.2 結果與分析 為了更全面探究試驗算法對檢測精度和速度的影響，通過對櫻桃缺陷數據集采用多種策略進行實驗驗證。由表1可知，對櫻桃缺陷系統進行改進后，其對所有類別的檢測結果均有促進作用，對于每一類別都有較大提升，平均檢測精度(mAP)達97.59%，效果顯著。其主要原因是通過對網絡的改進，提高了不明顯特征的檢測能力。

表1 測試集上不同改進策略對比

針對FPN檢測器提出融合因子，用來描述特征金字塔中相鄰層的耦合程度。其中，自上而下和側向連接的特征融合機制有助于檢測器得到更好的特征表達，分層匹配機制將不同大小的目標對應到不同分辨率的特征層上學習，不同分辨率的特征層可以更專注于適合當前特征層的分辨率大小目標的學習。由表1可知，加入融合因子后，其對病變和腐爛的改善效果得到了明顯提升，檢測精度(AP)值分別提高了4.89%和4.27%，模型整體平均檢測精度(mAP)值提高了2.72%。

在上述改進的基礎上，進一步改進交叉熵損失函數，該函數通過減少易分類樣本的權重，使得模型在訓練時更專注于難分類的樣本，緩解樣本間不平衡。在保證原網絡速度的優勢下，進一步提高了檢測精度。由圖9可知，真實值與預測值差別越大，Loss越大，損失函數越小，模型的處理速度越快且精度越高，改進前后的模型損失函數如圖10所示。

圖9 不同優化策略模型Eval mAP圖

圖10 模型損失對比圖

為了驗證所提改進YOLOX算法對櫻桃缺陷檢測精度和效率的有效性和先進性，在保證模型參數一致的前提下，對比目前目標檢測算法研究中性能較優的YOLOv4算法[19]、Faster R-CNN算法[20]及SSD算法[21]，使用測試集對各算法的試驗結果進行測試。由表2 可知，與Faster R-CNN算法、SSD算法及YOLOv4算法相比，試驗所提算法在AP值和mAP值上都具有更高的檢測精度，效果顯著。在檢測速度上，試驗所提算法檢測速度(FPS)可達33.8幀/s，相比于其他3種算法有大幅提升。

表2 櫻桃測試集上不同算法對比

3.2 櫻桃分級檢測

3.2.1 櫻桃分級檢測算法改進 在實際檢測系統中，下方軌道是黑色，當櫻桃顏色較深時，目標與周圍背景較為相似，會造成漏檢。注意力機制是聚焦于局部信息的機制，隨著任務的變化，注意力區域往往會發生變化，因此通過注意力機制能夠有效地找到最有用的消息。在櫻桃分級檢測網絡中，加入注意力機制，使得網絡只關注櫻桃的大小和顏色。試驗算法引入CBAM模塊，進一步增強特征表達能力，模塊結構如圖11所示。

圖11 CBAM模塊結構

卷積層輸出的結果會先通過一個通道注意力模塊，得到加權結果后，再經過一個空間注意力模塊，最終進行加權得到結果，其數學表達式為：

F′=Mc(F)?F,

F″=MS(F′)?F′，

(9)

式中：

?——元素相乘；

F——輸入的特征圖；

MC(F)——通道注意力模塊的輸出；

MS(F′)——空間注意模塊的輸出；

F″——CBAM輸出的特征圖。

當一個特征圖的每個通道被考慮作為特征探測器,通道注意力被用來關注哪些特征是有意義的。為了有效地計算通道的注意力,將輸入特征圖的空間維數進行壓縮。為了聚焦空間信息，同時使用平均池化和最大池化。通道注意模塊結構如圖12所示。

圖12 通道注意模塊結構

首先將輸入的特征圖分別經過平均池化和最大池化操作，然后傳入一個具有共享權重的多層感知器(MLP)。MLP包含一個隱藏層，相當于兩個全連接層。最后通過一個Sigmoid激活函數獲得通道注意力圖。數學表達式為：

(10)

式中：

σ——Sigmoid激活函數；

W0、W1——MLP的權重，W0∈RC/r×C,W1∈RC×C/r。

與通道注意力不同的是，空間注意力被用來關注有意義的特征來自哪里，這是對通道注意力的補充。空間注意模塊結構如圖13所示。

圖13 空間注意模塊結構

首先在每一個特征點的通道上取最大池化和平均池化，將這兩個結果進行一個堆疊，生成一個通道數為2的特征圖。再通過7×7的卷積將通道數減少為1，最后通過一個Sigmoid激活函數得到一個空間注意力圖。其數學表達式為：

(11)

式中：

7×7——卷積核的大小。

3.2.2 結果與分析 注意力機制是一個即插即用的模塊，由于放置在主干會導致網絡的預訓練權重無法使用，所以在YOLOX主干網絡提取出來的3個有效特征層上增加注意力機制，同時在上采樣模塊后增加注意力機制。

通過在網絡中加入注意力機制模塊，最后獲得經過重標定的特征，即強調重要特征，壓縮不重要特征。由表3 可知，在保證分級檢測速度近似不變的基礎上，mAP得到了明顯提升。對櫻桃分級檢測系統進行改進后，其對6類櫻桃的AP值均有提升，且各類之間檢測準確率較為平均，mAP達95.92%。

表3 測試集上系統改進前后對比

由圖14可知，YOLOX損失在迭代30輪次時才逐漸降低至0.4，最終穩定在0.34左右；引入CBAM模塊后，網絡損失值降低且收斂速度加快，最終穩定在0.19左右，說明試驗提出的改進算法達到了較好的效果。

圖14 損失函數曲線

4 結論

提出了一種基于YOLOX的櫻桃缺陷及分級檢測模型。結果表明，對于缺陷檢測網絡，使用融合因子配置FPN，提高了不明顯缺陷櫻桃的檢測能力，并且將Focal loss集成到損失函數中，改善了各類間樣本不平衡的問題。改進后的網絡平均檢測精度值達到了97.59%，相比原始網絡提高了5.75%。對于櫻桃分級檢測網絡，采取融合注意力機制的方法指引模型關注方向，平均檢測精度達到了95.92%，相比原始網絡提升了6.99%。因此，基于YOLOX算法的櫻桃缺陷及分級檢測算法的準確度得到了明顯提升。雖然YOLOX算法的檢測速度相比于現有的主流算法得到了明顯提升，但是改進前后的YOLOX算法檢測速度基本不變，今后將繼續研究此項工作。