基于YOLO的鋁型材料表面小缺陷檢測

沈希忠,吳 迪

(上海應用技術大學 電氣與電子工程學院,上海 201418)

鋁型材料通常指鋁合金材料,它是一種對表面處理要求比較高的材料。如果鋁型材料的表面沒有被處理好,或者因為某些外界原因其表面產生了缺陷,那么它的各種屬性將會被嚴重影響,小到外觀、形狀,大到性能、使用壽命。隨著生產的不斷發展,各類型鋁型材料的需求量也越來越大,鋁型材料表面的缺陷檢測也變得更加重要。早期的表面缺陷檢測任務多依賴于機器視覺的檢測方法,Yang等[1]提出一種使用平穩小波變換的表面缺陷檢測的方法,該法采用Sobel算子分割圖像,再用索引以及非線性濾波去噪,提取出物體表面的缺陷特征。Li等[2]結合離散Curvelet變換和紋理分析提出了一種圖像裂紋缺陷的檢測方法。Xie等[3]利用Shearlet變換優化了磁瓦表面的缺陷特征提取方法。隨著技術的發展,深度學習的檢測方法已得到了廣泛的應用。自從Krizhevsky等[4]初步解決了激活函數以及過擬合問題,開啟了深度學習的新時代之后,卷積神經網絡已經被應用到各種圖像處理領域中,包括缺陷檢測領域。Park等[5]提出一種利用卷積神經網絡對零件表面缺陷進行檢測的方法,Cha[6]等利用卷積神經網絡檢測混凝土表面的裂紋,這些都是比較典型的卷積神經網絡在表面缺陷檢測上應用的案例。姚明海等[7]還提出了一種基于卷積神經網絡的自適應加權池化算法,加強了表面特征提取工作的精密度,提高了缺陷檢測的準確率以及速度。

表面缺陷檢測任務的核心是特征的提取,早期表面缺陷檢測方法的本質是用算法進行特征提取,這種方法能夠輕松識別種類較少、形狀固定和干擾較少的物體表面缺陷。而目前深度學習的檢測方法是通過訓練深度神經網絡模型去提取缺陷特征,這就在提取精度上提升了多個檔次,它已經能夠輕松地檢測出表面特征較為明顯、相對面積較大的缺陷,然而它在小缺陷檢測任務中的表現卻并不優秀。小缺陷雖不起眼,但往往不可忽視,例如在航空業以及工業中所使用的鋁型材料表面的斑點、漏洞等隱蔽性小缺陷,隨著時間的推移很可能由小變大,最終釀成災禍。因此,小缺陷檢測在物體表面缺陷檢測,尤其是鋁型材料的表面缺陷檢測任務中尤為重要。

1 缺陷檢測方法與小缺陷檢測分析

物體表面的缺陷檢測是當今工業生產及檢修的重要項目,它的核心是特征提取,根據特征提取方法的不同,目前的檢測方法主要分為傳統檢測方法和現代檢測方法兩種。物體表面缺陷檢測領域面臨著很多困難,例如反光表面的缺陷檢測、小缺陷的檢測以及未給定缺陷的識別等,其中的小缺陷檢測就是一個重大難點。

1.1 傳統缺陷檢測方法

機器視覺檢測法是被廣泛使用的傳統缺陷檢測法,該方法利用邊緣檢測[8]等算法提取出物體表面的特征,再通過像素對比法選擇出缺陷特征,進而判斷缺陷的種類。該方法雖然已發展為利用支持向量機等數學分類的方法對缺陷特征進行選擇以及分類,但是它仍然有很大的限制性,而且可靠度較低。

傳統缺陷檢測方法在物體表面輪廓缺陷的檢測任務中表現較為優秀,這是因為輪廓缺陷的檢測任務不需要進行復雜的分類處理,僅僅使用一個標準的“模具輪廓”對所需檢測的樣本進行重疊對比,通過重疊率這一數值即可表現出表面輪廓缺陷的大小程度,甚至再通過一些標記比對還能夠顯示出表面輪廓缺陷的位置。然而,用傳統缺陷檢測方法去進行其他表面缺陷的檢測就略顯不足,有時甚至檢測不出裂紋、凹坑等一些細節上的缺陷。因此,傳統缺陷檢測方法已逐漸不能滿足當前的需求。

1.2 現代缺陷檢測方法

現代缺陷檢測法通常指的是現代人工智能的檢測方法,也就是深度學習的檢測方法。物體表面缺陷的檢測屬于圖像的處理領域,因此普遍使用卷積神經網絡及其變體的各種神經網絡模型。蔣美仙等[9]提出基于Deeplab-V3模型的焊縫缺陷檢測方法,用Deeplab-V3網絡池化分割出焊縫特征,實現對焊縫缺陷的檢測。Kim等[10]通過一種基于殘差卷積自編碼器的深度學習檢測方法對印制電路板表面的缺陷進行了檢測。胡嘉成等[11]通過一種基于卷積神經網絡的方法對連鑄胚表面的缺陷進行了高準確度的檢測。

雖然現代檢測方法較傳統方法取得了明顯的進步,識別率以及識別速度都有了很大的改善,但是對于不同的實際應用和任務需求,還有很大的改進和優化空間。

1.3 小缺陷檢測分析

1.3.1 小缺陷的定義

在目標檢測任務中,當所要檢測目標的尺寸相對整個原樣本圖像的尺寸較小時,將這些檢測目標定義為小目標。這個“較小”在不同領域中的定義也各不相同。例如,在交通識別領域中通常將自身長度在整幅圖中的占比小于20%的目標定義為小目標;而COCO數據集則將小于32×32的目標定義為小目標;還有國際組織SPIE,它對小目標的定義是在256×256的原始圖像中所占面積小于80個像素的目標,從廣義的角度來說就是自身面積占比小于一幅圖像0.12%的目標。

因此,在不同的領域中小目標的定義也各不相同。在缺陷檢測領域中,小缺陷即是小目標,因為小缺陷不同于廣義小目標的特殊性,結合小缺陷檢測的要求,這里將在640×640的圖像中所占面積小于50個像素的目標(即占原樣本圖像面積小于0.012%的目標)定義為小缺陷。

1.3.2 小缺陷的特征及分類

小缺陷具有模糊度高、所占面積小、攜帶信息量少以及易與物體表面其他特征混淆等特點。根據特征的不同,小缺陷可以被分為3種類型:與原物體表面特征相似的小缺陷、與原物體表面特征差異較大的小缺陷以及多重小缺陷組合形成的缺陷。前兩種類型仍然屬于小目標的范疇,第3種類型雖然本質上是小目標的集合,但是在檢測的時候根據情況可能會將其視為一個整體。這里所說的與原物體表面特征相似或相異的“表面特征”指的是原物體表面的各種屬性,如顏色、形狀和紋理等,圖1為3種類型的小缺陷樣例圖,分別是兩個斑點類型的缺陷以及一個漆泡類型的缺陷。

圖1 小缺陷的分類樣例圖Fig.1 Sample diagram of small defect classification

1.3.3 小缺陷檢測困難的原因

小缺陷的檢測被視為缺陷檢測領域中的一個難點,從小缺陷的自身角度分析,小缺陷很難通過常見的特征提取算法進行處理,因為提取困難,所以人工智能對其特征的學習也就變得困難。而且小缺陷的樣本比較難獲取,在一些常見的表面缺陷數據集中小缺陷所占的比重是最小的,數據量的缺乏也加大了人工智能學習的難度。從當前的技術條件分析,目前沒有任何一個特征提取算法能夠完全攻克小缺陷的特征提取難關。受制于目前制式化的網絡模型,深度學習法對小缺陷的檢測效果也不盡如人意。對小缺陷檢測效果較好的網絡模型大多過于龐大,大大降低了檢測的實時性,導致其不具有實際的應用性。小缺陷會給生產生活以及工程研究帶來不同程度的影響,特別是對精密工程以及航空工程的影響較大,因此在工程研究中往往十分重視小缺陷的檢測。

2 YOLO模型的改進與訓練

根據缺陷檢測的方法與難點,筆者使用YOLO模型作為基礎網絡對其進行改進。YOLO是目標檢測任務中使用較廣泛的網絡模型之一,它在缺陷檢測任務中的表現也比較優秀。YOLO的最新一代網絡模型是YOLO-v5[12],相較于前幾代網絡YOLO-v4[13]和YOLO-v3[14]，YOLO-v5有了很大的改進。

YOLO-v5根據深度和寬度分成了4個網絡結構:YOLO-v5s,YOLO-v5m,YOLO-v5l,YOLO-v5x。第1個YOLO-v5s是其中深度、寬度以及網絡體積最小的網絡,后面3個網絡結構都以此為基礎加深、加寬和加大規模,這就保證了YOLO-v5在應用方面的靈活度。YOLO-v5加入了自適應初始錨框(Anchor box)的計算,不同于YOLO-v3以及YOLO-v4根據訓練集的不同還要使用獨立的程序去計算初始錨框,YOLO-v5將其嵌入到了基本框架的代碼中。每當訓練開始進行,YOLO-v5就可以直接通過這一嵌入代碼計算出所使用的各種數據集的最佳錨框值,如果自動計算出的結果不理想,可以直接關閉其功能,使用另外的獨立程序進行計算。正確的錨框設定是目標檢測任務的關鍵所在,在錨框上的改進減少了捕捉目標所需的時間,增加了目標檢測任務成功的概率。自適應圖片縮放也是YOLO-v5的一個重要改進功能,通常在目標檢測算法中,不同分辨率的圖片會被統一縮放并且填充黑邊,變成同一個標準尺度后再被送到檢測網絡中,YOLO-v5對其進行了改進,實現了自適應填充黑邊的功能,這種自適應圖片縮放能夠根據圖片的屬性不同,計算出填充黑邊最少的縮放尺度,間接地提升了網絡的檢測速度。在YOLO-v5的主干(Backbone)中,還增加了切片卷積(Focus)結構,這是前兩代所沒有的結構,它的作用是將樣本圖像進行切片操作,切成1/4大小的特征圖后再進行卷積操作，得到最終的特征圖,這讓所獲得的特征圖的特征損失變少。

總體來說,YOLO-v5雖然在性能上并不是最好的,但是它在靈活度、檢測速度以及模型的尺寸上具有明顯的優勢,最小的YOLO-v5s模型尺寸僅有14.8 M,證明其具有較高的可移植性,讓以后在通訊受阻的場景或條件下用機器人攜帶移動設備進行缺陷檢測并整修的設想成為可能。

根據YOLO-v5的這些優點,筆者提出了一種基于YOLO-v5的尺度擴張網絡模型,并將該模型用于物體表面缺陷的檢測任務，主要貢獻如下:1) 提出一種新的基于YOLO-v5的多尺度物體表面缺陷檢測模型,該模型在原有YOLO-v5模型上擴張了一個特征提取以及檢測尺度,使其能夠提取并檢測更小的缺陷,彌補缺陷檢測尺度的不足,同時為了進一步解決小缺陷檢測的難點,該模型還優化了錨框的計算方法;2) 運用Net2Net[15]以及遷移學習的方法,對訓練網絡的權重及其他參數進行多重遷移化處理,使得短期訓練的程度更加充分;3) 在鋁型材料表面缺陷數據集上的實驗表明,所提出的模型在小缺陷檢測上的P—R曲線,在各種缺陷檢測上的AP、mAP以及檢測速度評價指標上均達到了較好的效果。

2.1 改進的YOLO模型

為了設計預測結果更精確、檢測范圍更廣的缺陷檢測模型,經過試改進,最終敲定通過增加提取和識別尺度以及改進自適應錨框的計算來擴大原本網絡的檢測范圍,提升網絡對小缺陷的檢測效果,網絡改進之后的整體結構如圖2所示。

圖2 改進的YOLO-v5結構圖Fig.2 Improved YOLO-v5 structure diagram

2.1.1 主干網絡

如圖2所示,改進的YOLO-v5模型結構主要分成Backbone,Neck和Head 3部分。其中主干網絡Backbone中包括了新增的Focus結構、CSPNet、CBL和SPP[16](圖3,4)。

圖3 模型模塊介紹1Fig.3 Model module introduction 1

圖4 模型模塊介紹2Fig.4 Model module introduction 2

切片卷積結構(Focus)先對輸入其中的640×640×3對象圖片進行切片操作,讓其成為320×320×12的特征圖,然后再將其進行一次卷積,使其變為320×320×32的特征圖。該結構減少了特征提取的損失,降低了計算量,提升了速度。

CSPNet(Cross stage partial network)全稱是跨階段局部網絡,它將梯度變化集成到了特征圖之中,其中包含有殘差組件[17],在保證速度以及準確率的前提下減少了模型的參數量,解決了梯度重復問題,減小了模型的尺寸。

CBL原本指Conv-BN-Leaky Relu,因為YOLO-v5的網絡模型仍在不斷更新整改中,原本在這一結構中被使用的Leaky Relu激活函數因為YOLO-v5版本的變換被多次替換成其他激活函數,為了方便繪圖,仍使用CBL指代這一結構卷積層+BN層+激活函數,這是YOLO中的一個基本下采樣組件。

最后的SPP(Spatial pyramid pooling)空間金字塔池化通過不同內核大小的池化(Pooling)層提取出不同尺度的特征,然后將這些特征疊加融合,這就使得多尺度特征提取得到了進一步的融合。

為了提高模型的訓練速度,提升模型的檢測精度,筆者在模型的主干網絡中加入一系列預先處理模塊,這些模塊位于模型的輸入之前,其功能是對將要輸入模型的數據圖片進行預先處理,例如進行圖像增強[18]、濾波去噪和形態學變換等操作。

2.1.2 特征金字塔多尺度預測層

頸部(Neck)以及最后的頭部(Head)組合成了特征金字塔多尺度預測層。頸部中使用了改進的路徑聚合網絡(PANet)結構,使用張量拼接代替了原本的疊加,讓特征進行堆疊。頸部的作用是特征融合,它通過形成特征金字塔結構,使得模型可以進行多尺度的目標檢測。在最后的頭部檢測層進行最終的檢測工作。頭部檢測層的功能是在模型所獲取的最后的特征圖中使用預設的錨框(Anchor box)將類別、框(Box)坐標以及置信度都整合到最終的輸出結果中去,從而生成帶有類別、置信度以及框的輸出結果,每個尺度不同的頭部用于檢測大小不同的物體。

2.1.3 多尺度擴張

原本的YOLO-v5基礎模型能夠在3個尺度上進行檢測,檢測尺度比較均衡。如果輸入640×640的圖片,最后所得到的檢測尺度就是80×80,40×40,20×20,即圖2中的y2,y3,y4,也就是說對于一張待檢測的圖片,最小能夠檢測出其中的1/(80×80),1/(40×40)以及1/(20×20)的目標。

因為在缺陷中存在極小目標,表面缺陷檢測任務對小目標的檢測有需求,所以筆者在頸部中讓模型多進行了一次上采樣和張量拼接,也就是多提取了一層特征和多進行了一次張量拼接,這就擴充了特征維的數據量,進一步加強了模型對小目標檢測的準確度。

經過改進后的模型增加了一個檢測尺度,即如圖2所示的y1,檢測尺度為160×160,對于一張待檢測的圖片,最小能夠檢測出其中的1/(160×160)的目標。

2.1.4 改進自適應錨框計算

目標檢測任務通常使用邊界框(Bounding box)來表達所檢測目標的位置。邊界框通常是矩形,其位置通過對角兩點的坐標確定。而錨框(Anchor box)就是判斷待檢測圖像中的某片區域內是否含有目標的工具,它可以被理解為一種“網”,不同類型的目標能夠被不同形狀大小的“網”所捕捉。

通常情況下缺陷檢測任務是在大的特征圖中去檢測小缺陷,因此在大的特征圖中通常將錨框設置得比較小,然而這卻又增加了檢測時間,所以錨框的設置是缺陷檢測任務的一個重點。

YOLO-v5具有自適應錨框計算的功能,在訓練還未開始時,模型會對目標數據集中所有標注的信息進行確認,并且計算內置的9種預設錨框對這些信息的BPR(Best possible recall),當計算出來的BPR小于0.98時,就會通過K均值聚類算法(K-means)算法[19]以及遺傳學習算法[20]對這些信息進行分析,然后重新計算適合于目標數據集的錨框。

為了解決小缺陷檢測難的問題,除了擴張模型的檢測尺度,在錨框的計算上也進行了改進。對于小缺陷,在所計算出的所有錨框中很可能只有很少部分與小缺陷的真實大小相匹配,這就導致了正負樣本的不平衡,并且與小缺陷尺寸相近的錨框較少也大大降低了網絡的檢測性能,從而造成小缺陷特征的丟失。因為初始中心點的選取很容易影響K-means算法的聚類效果,所以引入了K-means++算法對初始聚類中心進行計算,以此來彌補自適應錨框計算的不足,然而這樣的改進還不完全,因為不管是K-means算法還是K-means++算法,它們的聚類對于小目標的效果是很差的,其計算出的錨框往往會比最適合的錨框更大一些。通過實驗發現:在進行小目標的檢測任務時,可以通過對計算出的錨框加入尺度放縮的方法來減小這一問題帶來的影響。具體的操作是對計算出的所有錨框的尺寸進行放縮,將最小的錨框放縮到和標注信息中最小的真實框相近的大小,其余的錨框根據這一放縮比例進行線性放縮,這樣就可以在一定程度上減小聚類所產生的錨框大小與最適錨框大小相差過大所產生的一系列影響。

2.2 遷移訓練

深度神經網絡通常情況下是建立在大量樣本訓練以及“深度”訓練的基礎上的,因為這樣所得到的模型的各項指標會更加優秀。由于沒有大量的樣本以及時間進行訓練,為了縮短實驗周期,提高短期訓練網絡所得預測結果的準確度,提升短期訓練所得模型的性能,筆者在模型訓練的過程中使用了遷移學習以及Net2Net的訓練方法,為了方便敘述將這兩種方法統稱為遷移訓練的方法。

遷移學習其實就是知識遷移,在機器學習中,它指的是將一個預訓練的模型重新使用在另一個任務中。在深度學習領域對數據的標注通常會耗費大量的人力以及時間成本,因此遷移學習的方法廣受歡迎。

遷移學習包括基于實例的遷移、基于特征的遷移以及基于共享參數的遷移。基于實例的遷移就是從大數據的預訓練模型中尋找和目標任務模型相接近的預訓練模型,進而進行更有效的權重分配,建立更可靠的模型;基于特征的遷移就是將預訓練模型的特征空間映射到目標任務模型的特征空間中去,利用這些特征進行知識遷移;基于共享參數的遷移是找到預訓練模型和目標任務模型之間的共同參數或者先驗分布,將之處理之后再進行知識遷移。

筆者所用到的遷移學習流程:1) 選擇預訓練源模型,選用開發者們在大型數據集上訓練過的預訓練模型;2) 重新使用模型,將第1步的預訓練模型作為下一個深度學習任務的起點,直接取其相應的結構參數以及權重進行下一個任務的訓練;3) 調整模型,根據目標數據集的具體屬性對模型進行微調,讓模型適應新的目標檢測任務。

通過遷移學習的方法可以將預訓練模型“遷移”到當前的訓練問題中,將已經獲取的模型參數(也可理解為模型學到的“知識”)通過某種方式分享給新模型,即讓自己的模型學習到新的“知識”,從而優化模型的學習效率,不用像訓練大多數網絡那樣從零學習。

除了運用遷移學習的訓練方法,筆者還使用了Net2Net的訓練方法,該方法是Chen等[15]提出的,其目的是加速訓練出一個更大的網絡,其基本思想是以小網絡的訓練為基礎去訓練更大的網絡,這就使得在小網絡中訓練完成的權重能夠被運用到后續所要訓練的更大的網絡中去,從而達到加速訓練更大的網絡的目的。

Net2Net主要分為Net2WiderNet和Net2DeeperNet兩種轉換模式,前者通過等效模型去拓寬網絡,后者則通過等效模型去加深網絡。利用Net2Net的方法去訓練一個更大的神經網絡,可以更快速地訓練網絡并且提升網絡的識別性能。

YOLO-v5的4個網絡結構YOLO-v5s,YOLO-vm,YOLO-v5l和YOLO-v5x具有不斷加深加寬,不斷遞進的關系,使得Net2Net在YOLO-v5的訓練中能夠達到到很好的效果。

運用遷移訓練的方法能夠降低模型對訓練數據量的需求,減輕訓練過程中硬件設備的劣勢所帶來的影響,減少訓練大網絡所需的時間,極大地縮短實驗周期,圖5為遷移訓練過程示意圖。

圖5 遷移訓練過程Fig.5 Migration training process

3 鋁型材料的表面缺陷檢測實驗

3.1 實驗環境

實驗平臺在Win10系統上進行,CPU為Intel core i5-10400F,GPU為NVIDIA GeForce RTX3070,深度學習環境安裝CUDA及cuDNN圖形加速,深度學習框架PyTorch,編譯語言為Python 3.8集成工具opencv等擴展庫。

3.2 鋁型材料表面缺陷數據集制作

3.2.1 數據說明

鋁型材料圖像數據的原樣本來自阿里云,原樣本一共有5 000張未被處理過的60系列鋁型材料原始樣本圖片,這些原始樣本圖片分辨率大多為1 000～2 000,包含了有缺陷、多缺陷以及無缺陷的鋁型材料圖片,其中單缺陷的樣本有4 000張,多缺陷的樣本有400張,無缺陷的樣本有600張。

3.2.2 缺陷分類

對原樣本的單缺陷數據進行分類篩選,根據缺陷類型的不同將其分為8部分,去掉其中不常見的3種缺陷,最終得到了5種類型的缺陷圖片,分別是斑點(Spot)、擦花(Scratch)、碰傷(Bruise)、漆泡(Bubble)和噴流(Jet)缺陷,圖6為每種缺陷的具體樣式。分類篩選過后,每種類型的缺陷圖片各有500張,根據缺陷的大小再進行檢測類別分類,斑點類型的缺陷屬于小缺陷,其余的缺陷類型中,碰傷以及漆泡根據其自身的大小以及形態分類成近似小缺陷和普通缺陷,而擦花和噴流則屬于普通缺陷。

圖6 缺陷分類Fig.6 Defect classification

3.2.3 數據集的制作

首先,將分類好的5種類型的缺陷圖片進行處理,通過旋轉、裁剪和拼接等圖像處理方法,將原始的樣本圖片進行優化并且擴充樣本的數量,將每種樣本擴充至700張;然后,對屬于小缺陷以及可能屬于近似小缺陷的3種類型的缺陷(斑點、碰傷和漆泡)進行額外的擴充,使用無缺陷的相似樣本進一步對其進行裁剪、旋轉和拼接,將其擴充至每種類型800張,提高了數據的魯棒性;最后,使用labelImg標注軟件標注好缺陷的位置以及種類,形成自制的鋁型材料表面缺陷數據集。

3.3 訓練參數及數據預處理

基本參數采用余弦退火策略動態調整學習率,初始學習率設定為0.01,衰減設定為0.000 5,最大迭代數設置為4 000次。在訓練之前,模型會對圖像進行預處理,首先通過歸一化將圖像變成640×640×3,然后通過色彩增強、對比度增強等圖像增強方法以及空間形態學操作、空間濾波等濾波方法對圖像進行進一步處理,提高了圖像的魯棒性,保證了訓練的效率。

3.4 LOSS分析

YOLO-v5使用GIOU Loss作為邊界框(Bounding box)的損失函數。GIOU Loss較其他方法具有更快的收斂和更好的性能,它提高了預測框的描繪速度以及精度,并且加入了Box相交尺度的度量,避免了其他方法有時會產生兩個Box不相交的情況。損失函數值越小,說明此時的檢測效果越好。LGIOU和IIOU的計算式分別為

(1)

(2)

式中:A表示預測框(Prediction box);B表示真實框(Ground truth box);C表示含有預測框A與真實框B的最小區域;IIOU表示預測框A與真實框B的交并比。

圖7為模型在訓練時的損失曲線圖,由圖7可知:在前400次迭代中損失函數值較大,并且下降迅速;當迭代數達到800次以后,雖然損失值仍在明顯下降,但是下降的速度變緩;直到迭代數達到1 800次以后,損失值開始緩慢下降;當迭代數達到3 500次時,損失值很小并趨于平穩,此時模型達到了較好的識別效果。

圖7 損失曲線圖Fig.7 Loss curve

3.5 評價指標

采用被廣泛認可使用的P—R曲線、AP、mAP以及FPS評價指標作為模型性能評價的量化指標。P—R曲線就是以精確率(Precision)作為縱坐標,召回率(Recall)作為橫坐標的二維曲線。P—R曲線所圍成的面積就是AP(Average precision),AP越高表示網絡對這一目標的檢測效果越好。mAP(Mean average precision)即平均AP,它是對多個驗證集所求的平均AP,反映了網絡對任務總體的檢測效果。FPS(Frame per second)是檢測速度評價指標,表示每秒內模型可以檢測的樣本圖片數量。

針對每一種鋁型材料缺陷,計算精確度P和召回率R,畫出P—R曲線,計算P—R曲線的面積可以得到平均精度AP。mAP是指所有鋁型材料缺陷的平均精度。具體計算式分別為

(3)

(4)

(5)

(6)

式中:TP表示檢測出的鋁型材料缺陷中判斷正確的數目;FP表示判斷錯誤數目;FN表示沒有檢測出的鋁型材料缺陷的數目。

3.6 結果分析

根據3.5節所提到的評價指標,對改進模型進行評價。精確率與召回率反映了目標檢測模型正確檢測目標的能力。圖8為筆者改進模型對斑點(小缺陷)進行檢測的P—R曲線,由圖8可知:訓練完的鋁型材料表面缺陷檢測模型對小缺陷的精確率和召回率都比較高。

圖8 小缺陷目標檢測的P—R曲線Fig.8 P-R curve of dirty spot small target detection

為了驗證改進模型的可行性,將其與原模型以及未經過遷移訓練的改進模型進行實驗對比。圖9為近似小缺陷的實際檢測效果對比圖,由圖9可知:改進模型優于原模型,原模型將某些較明顯的近似小缺陷(漆泡)視為整體缺陷,沒有對其進行分開檢測,并且檢測準確率也較低。圖10為小缺陷檢測的實際檢測效果對比圖,由圖10可知:改進模型的優勢更加明顯,原模型除了準確率較低以外甚至還漏檢了一個斑點小缺陷,這就證明了改進模型在小目標檢測上的可行性。表1,2為經過遷移訓練的原模型、改進模型以及未經過遷移訓練的改進模型在同一個檢測任務下的AP、mAP以及FPS的對比。根據對比可知:針對正常缺陷的識別率,改進模型基本不比原模型差,僅在對噴流缺陷的檢測上比原模型略差,這是因為改進模型的重點偏向了小缺陷的檢測,從而降低了對大面積缺陷檢測的識別率。改進模型的mAP比原模型高8.08%,進行遷移訓練的mAP比未進行遷移訓練的mAP高2.49%,這就說明了改進模型及其訓練方法在檢測精度上達到了較好的效果,進一步證明了改進模型的可行性。改進模型檢測速度略低,這是因為改進模型擴張了特征提取和檢測的尺度,從而導致計算量增加。

表1 不同模型的AP對比Table 1 Comparison of AP value under different models

表2 不同模型的mAP與FPS對比Table 2 Comparison of mAP and FPS valueunder different models

圖9 近似小缺陷檢測效果對比Fig.9 Comparison of approximate small defect detection effect

圖10 小缺陷檢測效果對比Fig.10 Comparison of dirty spot defect detection effect

4 結 論

在物體表面缺陷檢測的任務中普遍存在小缺陷識別不清甚至檢測不出的問題。為解決這些問題,筆者提出了一種基于YOLO-v5的多尺度物體表面缺陷檢測模型。該模型不僅擴張了原本模型的特征提取和檢測尺度,而且改進了自適應錨框的計算方法,很大程度上提升了網絡對小目標的檢測性能。此外,筆者還引入了遷移學習以及Net2Net的訓練思路,通過對預訓練權重以及訓練參數進行知識遷移,再通過將小網絡遷移訓練到大網絡進行知識繼承,不僅縮短了實驗周期,而且提升了短期訓練所得到的模型性能。實驗結果表明:筆者所提出的改進模型對鋁型材料表面的小缺陷檢測效果以及評價指標較好;改進模型僅在對噴流缺陷的檢測效果上略差于改進之前;改進模型的檢測速度較改進之前也沒有特別明顯的下降。因此,筆者所提出的改進方案以及訓練方法對小目標檢測以及短期訓練具有一定的借鑒意義。實驗也反映了改進模型的不足,比如在擦花(Scratch)缺陷的檢測上AP較低,后續會進一步優化網絡模型的結構,增強特征的提取,加強模型對大面積輕度缺陷的檢測。