基于深度學習的自適應蘋果圖像多缺陷檢測

胡天浩，高秀敏，華云松，蔡麗君

(上海理工大學 光電信息與計算機工程學院，上海 200093)

目前,國內蘋果分選仍以人工操作為主,其缺點是人工成本高、效率低[1]。國內外學者對蘋果缺陷視覺檢測做了大量研究。項輝宇等[2]通過圖像識別與深度學習相結合,運用卷積神經網絡CNN和支持向量機SVM完成蘋果缺陷檢測;薛勇等[3]利用GoogleNet深度遷移模型實現檢測;Fan等[4]采用基于卷積神經網絡(CNN)的深度學習架構和經濟高效的計算機視覺模塊,訓練和測試了基于CNN的分類架構,測試集的準確性、召回率和特異性分別為96.5%、100.0% 和92.9%。上面文獻均未對蘋果缺陷種類進行詳細分類,缺陷特征也闡述較少。上述文獻均未對蘋果缺陷種類進行詳細分類,缺陷特征也闡述較少。

傳統蘋果圖像缺陷檢測算法大多針對碰傷、腐爛等大型缺陷進行檢測,對小炭疽點這類缺陷往往存在誤檢或漏檢,同時檢測精度低,很難實現缺陷分類,如何解決成為蘋果圖像缺陷檢測領域的重點關注問題。

目前主流目標檢測模型有Faster R-CNN[5]、OverFeat[6]、YOLO[7]算法等,這些主流算法中,YOLO算法具有檢測速度快和檢測精度高的特點,已得到廣泛應用。YOLO算法中的YOLOV5因其具有模型尺寸小、部署成本低、靈活性高、檢測速度快、檢測精度高的優點,在目標檢測領域中被廣泛應用,但其下采樣率過大、SSD一階算法缺乏特征融合的缺點,使其在小目標檢測領域表現欠佳,檢測速度和檢測精度也很難兼顧。

基于以上蘋果缺陷檢測的現狀,本文提出一種ACE-YOLO自適應局部圖像檢測算法,先確定檢測區域,引入通道注意力機制[8],將算力集中到該檢測區域,利用圖像增強[9]強化缺陷細節,通過在模型中增加小目標檢測層[10],解決檢測速度與精度平衡問題。

1 ACE-YOLO自適應局部圖像檢測算法

1.1 YOLOV5L網絡架構

YOLOV5[11]一共有4種模型(S,M,L,X),根據不同的檢測目標大小以及不同應用場景進行劃分,4種模型的整體網絡架構均一樣,但采用的檢測深度和寬度不同。深度和寬度較低的模型檢測精度低,而深度和寬度較高的模型檢測速度上沒優勢,兼顧到檢測精度和速度,本文基于YOLOV5L模型進行改進,其網絡架構圖如圖1所示,整個網絡結構主要由3個部分組成。

圖1 YOLOV5網絡架構圖

1) Backbone(特征提取骨干):該部分由Focus結構與CSP結構組成。Focus結構是圖片進入Backbone前,對圖片進行切片操作。CSP結構先將基礎層特征映射劃分為兩部分,然后通過跨階段層次結構將它們合并,在減少計算量的同時可以保證準確率。

2) Neck(特征融合): 采用FPN+PAN的結構。FPN是自頂向下的,將高層的特征信息通過上采樣的方式進行傳遞融合,得到進行預測的特征圖。PAN是借鑒圖像分割領域PANet的創新點,使下采樣時更利于分割。

3) Head(輸出端):Head端對圖像特征進行預測,生成邊界框并預測類別。

1.2 程序流程

傳統的檢測方法是對輸入的原始圖像進行整張處理,導致計算機算力的大量浪費,本文由于只處理蘋果上重點區域的圖像,因此,檢測速度與檢測精度均有大幅提升,系統整體程序流程圖如圖2所示。

圖2 系統整體程序流程圖

檢測過程具體步驟如下:

步驟一,輸入一張原始圖像,利用神經網絡判定原始圖像中是否含有蘋果,若有,則記錄蘋果在圖像中具體位置;若無,則結束,繼續輸入下一張待檢蘋果圖像。

步驟二,使用ACE圖像增強算法對蘋果區域的圖像進行處理,同時使用模糊算法,剔除背景因素的干擾,再重構圖像。

步驟三,將帶有蘋果缺陷的圖像增強后,送入帶有小目標檢測層的框架,完成蘋果多缺陷的檢測,并標記出缺陷的種類與位置,以預測框的形式輸出。

1.2.1 深度學習獲取包含待檢蘋果最小方框圖

通常來說,蘋果圖像在原始圖像中占比是不大的,在直接對原始圖像檢測時,會包含大量背景信息,容易造成計算機資源的浪費以及增加檢測時間。本文利用神經網絡確定原始圖像中蘋果輪廓的坐標區域,再對此局部進行處理,有效地縮短了檢測時間,具體方式如下:

先是將一張未經處理的圖片在輸入端轉化為圖像大小為608*608的圖片,并進行歸一化等操作,使用Mosaic數據增強操作提升模型的訓練速度和網絡的精度,再將處理過的圖像以Focus結構為主體的基準網絡,用于提取蘋果的特征(注意:此時提取的特征僅僅是蘋果的框圖以及蘋果在整個圖像上的位置信息,并不包含蘋果的缺陷)。此時記錄下蘋果的坐標信息,便于后續實現在此區域的局部圖像增強,之后利用Neck網絡進一步提升特征的多樣性及魯棒性,最后從Head輸出端完成目標檢測結果的輸出,并將記錄的蘋果的坐標信息保存在txt格式中。

1.2.2 ACE算法實現蘋果局部信息增強

將獲取的包含待檢蘋果的最小方框圖利用ACE(adaptive contrast enhancement)算法[12]進行圖像增強,以便將主要計算機算力集中到增強部分,具體實現細節如圖3所示。

圖3 ACE算法流程圖

ACE算法具體步驟:

第一步,對彩色圖像的R,G,B通道的信息分別進行處理,求解每一個像素點的R(x)值,其中sα(t)為坡度函數,它對小的差異有著較大的放大作用,對于大的差異也能有不錯的效果,能夠根據局部內容來擴展或者壓縮動態范圍,具體公式為

(1)

式中:Ω為縮放強度值,其閾值為[0,1]之間;sα為坡度函數;I(x)-I(y)為兩像素點之差;‖x-y‖為兩像素點之間的距離。

第二步,利用公式(2)將R(x)擴展到[0,1]之間,使通道得到增強,第二步y∈Ω,y≠x得到全局白平衡,具體公式為

(2)

式中:L(x)為全局白平衡,Rmin為局部最小值,Rmax為局部最大值。

最后為求解最優化問題,ACE算法可以看做是對規范的直方圖均衡化方法的一種平滑和局部修正的方法,公式為

(3)

式中:ω(x,y)為兩像素點距離的倒數,M為Rmax。

1.2.3 小目標檢測層框架及改進

YOLOV5網絡因為過大的下采樣率、過大的感受野、語義與空間的矛盾、SSD一階算法缺乏特征融合等特性致使在小目標檢測領域一直表現不是很好。小目標檢測層進行設計時,需要盡可能解決上述的4點問題,在小目標檢測層的設計上采用了PPM (pyramid pooling module)金字塔池化模型[13],該模型可以盡可能地利用全局的上下文信息,對于解決上述問題有很大幫助,PPM模型的框架如圖4所示。

(a)特征圖 (b)金字塔池化圖4 PPM模型框架

圖4(a)為特征圖,圖4(b)為PSPNet的特征融合部分。對于圖像經過backbone得到的feature map,分別對其進行池化操作,得到尺寸分別為1×1、2×2、3×3、6×6的特征圖,然后使用1×1卷積把通道裁剪成原本的1/4,再分別上采樣成原先的特征圖尺寸,利用concat函數和特征圖融合后得到新特征圖。

小目標檢測層改進方式如下:

第一步,修改Anchor設置。在這一部分主要是增加了一組Anchor,對于不同的數據集,不同大小的檢測目標,類似于蘋果缺陷這樣的小目標而言,需要將Anchor的值在對檢測速度影響不大時盡量調小,才能使檢測精度增加。

第二步,修改檢測頭部。在這一部分中,主要是對幾個操作層進行了優化與改進,在17層后,重復對特征圖進行上采樣,對于特征圖的細節進行進一步暴露,同時在20層時,將此時獲取到的160×160大小的特征圖與第2層時的特征圖進行concat融合,從而獲得更大細節更多的特征圖。在第31層后,增加小目標檢測層,一共使用4層[21, 24, 27, 30]進行小目標特征檢測。在增加檢測層后,主要的問題是計算變為更加復雜了,表現在檢測時,推理的速度有所降低。不過對于小目標,有很好的改善。同時,得益于對有用細節的局部圖像的增強以及對無用信息的模糊化處理,檢測速度變慢的趨勢并不是很明顯。

2 實驗與分析

2.1 數據集的獲取與制作

開源數據集中的蘋果缺陷種類、像素、分辨率等很難達到研究要求,故用160個缺陷蘋果制作數據集,在保證光源及相機不變的情況下,旋轉蘋果,對每個蘋果的不同角度進行拍攝,共獲得1 600幅圖像,隨機以8∶1∶1比例制作1 280幅訓練集,160幅驗證集,160幅測試集。利用lableimg圖像標注工具對數據集進行手動標注,缺陷分為14類,標注具體類型、數量及其占比見表1。表1中共標注出果梗、果臍等蘋果基本信息6 327個(果臍3 126個,果梗3 201個),14種缺陷總計11 064個。

表1 缺陷類型與數量及其占比

2.2 局部圖像增強及背景模糊實驗

本文采用4種彩色圖像算法增強進行實驗,其中非物理模型方法3種:CLAHE、MSRCR、ACE;物理模型1種:DCP算法,圖5是4種模型處理結果的對比。

(a) 原圖

由圖5可見,采用基于物理模型的DCP算法處理結果最差,結果中蘋果亮度雖然有所提升但色偏嚴重,局部信息表現不清楚,色偏導致檢測精度更不準確;采用MSRCR算法和CLAHE算法模型處理的結果存在相同的問題,兩者的對比度雖然均有提升,但色偏問題仍然沒能得到有效解決,同時增強后圖像偏暗;采用ACE算法模型處理的結果最好,亮部與暗部區域細節對比最為自然,色偏也基本消失,整體圖像亮度也有提升,對于蘋果缺陷信息的保留與增強均有優勢。

圖6為局部圖像增強以及背景模糊后的6種不同蘋果缺陷圖像。

(a) 背景模糊前

圖6是利用深度學習找出蘋果輪廓在圖像中的坐標信息,采用ACE算法對該坐標進行局部增強,同時對圖像中背景采用模糊算法模糊化后的對比圖像。對比圖6中的(a)、(b)可知,(b)圖黑色背景已經明顯地被模糊化了,檢測時不必再浪費算力在背景上,因此大大減少了檢測時間。圖6(b)中的6張圖像,無論在亮度、對比度、飽和度、色調等方面均表現良好,對蘋果缺陷細節方面展示也較其他算法更優異,在滿足檢測需求的要求下,也能更好地提升檢測精度。

2.3 不同算法檢測結果對比

2.3.1 性能評價指標

為了驗證不同算法對蘋果缺陷檢測性能的影響,在此引入了2個重要的評價指標,平均精度AP(average precision)和平均精度均值MAP(mean average precision)。P-R曲線通常被用作信息提取,P-R曲線的橫坐標代表查全率,也就是真正率,縱坐標代表查準率,代表的是正例樣本所占比例。P-R曲線可以用來評估模型性能,判定不同模型性能比較權威。而AP是計算P-R曲線所覆蓋的面積,也是用于評判該模型算法好壞指標之一,MAP則是對所有類別中的AP進行平均后得到的:

P=TP/(TP+FP),

(4)

R=TP/(TP+FN),

(5)

(6)

(7)

式(4)中:TP(ture positive)為模型預測為正類的正樣本數量,FP(false positive)為被模型預測為正類的負樣本數量;式(5)中FN(false negative)為被模型預測為負類的正樣本數量;式(6)中p(r)為P-R曲線;式(7)中m為檢測目標種類數量。

2.3.2 不同模型的性能對比

本文在驗證不同模型的性能時,僅設置模型的種類為變量,其他條件均相同。在進入檢測模型之前,送檢的圖像均為經ACE彩色圖像局部增強及背景模糊化處理后的圖像,保證對不同模型性能評估的公正性。在本節中,采用了上述P-R曲線、MAP指標、FPS(檢測幀率)、檢測時間4個維度評估模型的性能。本文共與8個比較經典模型的小目標檢測進行了對比,其分別為YOLOV5中的middle模型和large模型,兩者區別為large模型的寬度和深度都比middle大,但檢測時間也相對較長;Faster R-CNN 模型;SSD 模型;CBAM-YOLOV5模型;CA-YOLOV5模型;SE-YOLOV5模型;添加小目標檢測層的YOLOV5L模型,表2為各模型性能指標對比。

表2 9種模型性能指標對比

由表2可看出,在檢測精度上表現最差的為SSD模型,其檢測速度遜于Faster R-CNN模型,檢測幀率高于Faster R-CNN模型,不過兩者都達不到缺陷檢測要求;得益于較窄的寬度與較淺的深度,檢測速度最快的為YOLOV5(M),但它在檢測精度以及檢測幀率上的表現卻是這幾個模型之中最低的,達不到缺陷檢測的要求;YOLOV5(L)因在寬度與深度上均有加深,其MAP相較于YOLOV5(M)有所提升,但也隨著寬度與深度的加深導致檢測速度也有所增加,不過仍然無法達到缺陷檢測需求;引入CBAM、CA、SE注意力機制的YOLOV5L模型,3種注意力機制加入并沒有使其檢測精度有明顯的提升,說明是否施加注意力機制并不會影響檢測精度,由于注意力機制的引入,對計算機算力調用變得合理了,內存占用相較于未施加注意力機制前減少了接近17個百分點,FPS也有著一定的提升;采用帶有小目標檢測層的ACE-YOLO在所有模型中檢測精度是表現最好的,不過由于小目標檢測層設計時需要對圖像進行分割的特性,導致檢測時間也是較長的,不過對于大幅提升的檢測精度,246 ms的檢測時間也是能夠接受的。

圖7為ACE-YOLO(帶有小目標檢測層)并添加CA注意力機制的檢測結果。

圖7 ACE-YOLO檢測結果

帶有小目標檢測層的ACE-YOLO模型無論是對炭疽這種比較大的缺陷亦或是對黑點這種小缺陷都有著良好的表現,通過對FN與TP的統計與計算,漏檢情況僅有0.4%,該漏檢產生的原因是由于在局部增強時產生色偏,導致在檢測時有著誤判,不過該誤判率很低,在能夠接受范圍之內。

圖8為帶有小目標檢測層ACE-YOLO模型的P-R曲線,該曲線表示蘋果自身、果梗、果臍以及其余14種缺陷的檢測結果。

圖8 ACE-YOLO模型的P-R曲線

圖8對炭疽缺陷檢測效果較差。分析后,發現原因如下:(1)由于蘋果自然生長,以及在采摘時沾染泥土,導致檢測時誤判;(2)在圖像增強時產生色偏,導致檢測結果降低;(3) 樣本量太少,由于2022年雨季時間的減少,炭疽病發病率低,在本文研究的這一批蘋果樣本中,炭疽缺陷個數僅有135個,占缺陷信息量的1.2%。

圖8顯示,該模型的平均檢測精度仍然達到了95.2%,在小目標檢測方面表現優異。

3 結束語

本文提出的基于深度學習的ACE-YOLO自適應局部圖像檢測算法,有效地解決了蘋果檢測中小缺陷識別困難的問題,通過局部圖像處理技術,在放大蘋果缺陷細節的同時,也規避了一些環境干擾因素,利用改進傳統的網絡結構,在模型中增加小目標檢測層,并引入了通道注意力機制,合理調用計算機算力,達到檢測精度與檢測時間的平衡。實驗結果表明,該方法具有較好的蘋果缺陷檢測效果。