改進YOLOv7的紙張表面缺陷檢測研究

陳鈺枚 李兆飛，2，3，* 侯 勁，2 趙 俊，2

（1.四川輕化工大學(xué)自動化與信息工程學(xué)院，四川宜賓，643002；2.人工智能四川省重點實驗室，四川宜賓，644002；3.企業(yè)信息化與物聯(lián)網(wǎng)測控技術(shù)四川省高校重點實驗室，四川宜賓，643002）

在紙張的生產(chǎn)過程中，受生產(chǎn)工藝及現(xiàn)場環(huán)境等影響，紙張表面容易出現(xiàn)裂縫、孔洞、黑斑、線條、褶皺等缺陷或異常。本課題將超出預(yù)期模式范圍數(shù)據(jù)的紙張表面缺陷統(tǒng)稱為紙病[1]。在造紙過程中，要對紙張表面的紙病信息進行實時檢測、處理，才能提高成紙的品質(zhì)和質(zhì)量，帶來更大的生產(chǎn)利潤。隨著現(xiàn)代高速紙機的普遍應(yīng)用，基于機器視覺的紙張表面缺陷檢測方法已逐步取代人工檢測方法[2]。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）表面缺陷檢測適用性廣，可以在兼顧質(zhì)量和效率的同時，實現(xiàn)智能化在線缺陷檢測，克服傳統(tǒng)紙病檢測算法實時性低、精度不高等問題。趙曉等人[3]利用紙病區(qū)域為簡單連通圖像的特點，通過提取優(yōu)化的連通區(qū)域標(biāo)記和形狀特征值，提高了紙病檢測的準(zhǔn)確率及效率；雷揚博等人[4]通過Markov 隨機場理論對紙病圖像紋理進行分析，得到紋理特征參數(shù)，對紙病區(qū)域進行分割，提高了分割的準(zhǔn)確度；魏曉艷[5]利用BP神經(jīng)網(wǎng)絡(luò)，建立紙病分類器，對各種紙病進行識別；張璐[6]利用改進后的鄰域均值濾波處理法，進行了紙病動態(tài)識別；高樂樂等人[7]提出基于CNN 的辨識方法，并對紙張進行紙病檢測；馮雨[8]采用MSER 分割算法對圖像進行預(yù)處理，并利用CNN 對紙病進行檢測，但預(yù)處理技術(shù)會增加算法的運行成本，檢測速度較低；曲蘊慧等人[9]結(jié)合遷移學(xué)習(xí)，改進CNN 網(wǎng)絡(luò)，設(shè)計了一種適用于紙病圖像的小樣本深度CNN 分類器，但是對于實際紙機生產(chǎn)環(huán)境，遷移學(xué)習(xí)的適應(yīng)性不強；毛艷玲等人[10]提出了輕量化的Mobilenetv3-YOLOv4 紙病檢測網(wǎng)絡(luò)，但其需要對紙病進行預(yù)處理，降低了算法速度，檢測精度也較低；張開生等人[11]采用基于YOLOv5的算法，對紙病進行檢測，但其檢測速度不高，不適用于在線監(jiān)測。目前，紙機生產(chǎn)速度快、幅寬長，產(chǎn)生紙病數(shù)量也會大概率增加，尤其是對于寬幅紙張的小目標(biāo)紙病，常會出現(xiàn)漏檢情況，嚴(yán)重影響成紙的品質(zhì)，造成原料的浪費和企業(yè)生產(chǎn)效率的下降。利用CNN 提取圖像特征時，隨著卷積層數(shù)的加深，特征圖分辨率逐漸減小，局部感受野能感知到原圖像的范圍不斷擴大，越接近頂層的特征圖越傾向于關(guān)注圖像的全局信息，所以深層神經(jīng)網(wǎng)絡(luò)提取的深層特征非常不利于小目標(biāo)紙病檢測。王欣等人[12]在YOLOv3-Tiny 加入注意力模塊（Convolutional Block Attention Module，CBAM）；秦強強等人[13]將通道注意力（CA）模塊和空間注意力（SA）模塊相結(jié)合，均可以提升小目標(biāo)紙病檢測精度。

為了在保障一定速度的情況下，提高小目標(biāo)紙病檢測精確率，本課題在研究YOLO 系列[14]目標(biāo)檢測網(wǎng)絡(luò)的基礎(chǔ)上，借鑒前人的研究成果，選用精度更高、速度更快的YOLOv7 網(wǎng)絡(luò)作為紙病檢測算法，提出一種改進YOLOv7 的紙病檢測方法。該方法的主干網(wǎng)絡(luò)用于特征提取，通過引入注意力機制模塊CBAM，提高紙病檢測的精確性和算法穩(wěn)定性；再將空洞空間卷積池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）加入主干網(wǎng)絡(luò)的空間金字塔池化（Spatial Pyramid Pooling，SPP） 中，在SSP 中加入ASPP 空洞卷積，可以在不丟失圖像分辨率的情況下擴大特征圖的感受野，高分辨率可以精確定位目標(biāo)，有利于紙病缺陷目標(biāo)提取，而不同的感受野可以感受不同的尺度信息，從而實現(xiàn)不同大小紙病缺陷的目標(biāo)檢測及分類目的。

1 YOLOv7網(wǎng)絡(luò)模型

在COCO 公開數(shù)據(jù)集上5～160 幀/s的FPS范圍內(nèi)，YOLOv7 深度學(xué)習(xí)目標(biāo)檢測算法的檢測精度和檢測速度均超過了目前所有的目標(biāo)檢測算法[15]。所以本課題選用YOLOv7作為檢測模型。

YOLO 系列網(wǎng)絡(luò)均基本由3 個部分組成[16]，YOLOv7 包括Backbone、FPN 以及YOLO Head 3 個部分，其網(wǎng)絡(luò)模型如圖1 所示。Backbone 是YOLOv7 的主干特征提取網(wǎng)絡(luò)，輸入的圖片首先會在主干網(wǎng)絡(luò)獲得3 個有效特征層進行特征提取。FPN 是YOLOv7 的加強特征提取網(wǎng)絡(luò)，3 個有效特征層會在這一部分進行特征融合，目的是結(jié)合不同尺度的特征信息，提高檢測精度。YOLO Head 是YOLOv7 的分類器與回歸器，其輸入是3 個加強過的有效特征層，每1 個特征層都有寬度、高度和通道數(shù)，每個特征點上有3 個先驗框，每1個先驗框都有通道數(shù)個特征，以判斷是否有物體與其對應(yīng)。YOLOv7 所用解耦頭可使分類和回歸在一個1×1卷積里實現(xiàn)。

圖1 YOLOv7模型結(jié)構(gòu)圖Fig.1 Structure of YOLOv7 model

2 改進YOLOv7算法

正常的卷積對圖片中的物體提取特征時，并不特別關(guān)注部分重要的信息，而是把所有的信息當(dāng)成相同權(quán)重進行處理，導(dǎo)致許多重要信息的損失。為了提升YOLOv7 對于小目標(biāo)紙病的檢測能力，在YOLOv7 的主干網(wǎng)絡(luò)特征提取部分，將注意力機制模塊CBAM 加入其中，再將ASPP空洞卷積加入主干網(wǎng)絡(luò)的SPP中，能在不丟失圖像分辨率的情況下擴大特征圖的感受野，提高分辨率，進而精確定位紙病目標(biāo)，有利于紙病缺陷目標(biāo)的提取，而不同的感受野可以感受不同的尺度信息，實現(xiàn)不同大小紙病缺陷目標(biāo)檢測及識別。

2.1 引入CBAM

加入注意力機制能夠抑制無關(guān)信息的干擾，保留待檢測目標(biāo)的更多關(guān)鍵特征，使網(wǎng)絡(luò)關(guān)注到更多小目標(biāo)紙病，提高檢測精度。利用空間注意力機制有助于明確小目標(biāo)位置，利用通道注意力機制可建模特征通道的重要程度，CBAM 同時關(guān)注了空間和通道維度特征，對于小目標(biāo)紙病缺陷檢測效果更佳[17]。

給定一個中間特征圖后，CBAM 模塊會沿著2 個獨立的維度（通道和空間）依次推斷注意力圖，然后將注意力圖乘以輸入特征圖以進行自適應(yīng)特征修飾。通道上，將輸入的特征圖F（H×W×C）分別經(jīng)過基于寬度、高度的全局最大池化和全局平均池化，得到2 個1×1×C的特征圖；再將其分別送入1 個2 層的神經(jīng)網(wǎng)絡(luò)（MLP），第1 層神經(jīng)元個數(shù)為C/r（r為減少率），激活函數(shù)為ReLu，第2層神經(jīng)元個數(shù)為C，這個2 層的神經(jīng)網(wǎng)絡(luò)是共享的；而后，將MLP 輸出的特征進行加和操作，再經(jīng)過激活函數(shù)，生成最終的通道特征，即Mc；最后，將輸出Mc的和輸入特征圖F相乘，生成空間特征模塊需要的輸入特征。空間上，將通道特征模塊輸出的特征圖F作為本模塊的輸入特征圖。首先設(shè)置1個基于通道的全局最大池化和全局平均池化，得到2 個H×W×1 的特征圖，將這2 個特征圖基于通道做通道拼接；然后經(jīng)過一個7×7 卷積，降維為1 個通道，即H×W×1；再經(jīng)過激活函數(shù)生成空間特征，即Ms；最后將該特征和該模塊的輸入特征做乘法，得到最終生成的特征。通道上模塊具體計算如式(1)～式(4)所示，CBAM 具體計算如圖2所示。

圖2 CBAM結(jié)構(gòu)圖Fig.2 Structure of CBAM

式 中，σ為 激 活 函 數(shù)Sigmoid；W0∈RC/r·C，W1∈RC·C/r；f7×7為7×7的卷積。

2.2 引入ASPP

利用CNN 提取圖像特征時，隨著卷積層數(shù)的加深，特征圖分辨率逐漸減小，局部感受野能感知到原圖像的范圍不斷擴大，且越接近頂層的特征圖越傾向于關(guān)注圖像的全局信息，所以深層神經(jīng)網(wǎng)絡(luò)提取的深層特征非常不利于小目標(biāo)檢測。引入ASPP 可以進一步擴大感受野[18]，使較小目標(biāo)紙病的特征信息在網(wǎng)絡(luò)傳遞時得到保留，有利于小目標(biāo)紙病的提取，進而提高網(wǎng)絡(luò)性能。ASPP由2部分并聯(lián)組成：第1部分包含1 個1×1 卷積層和3 個3×3 的采樣率為Rate={6,12,18}的空洞卷積層，卷積核數(shù)量為256，包含批標(biāo)準(zhǔn)化層；第2部分是圖像級特征表示，具體操作是應(yīng)用全局平均池化之后接著1 個卷積核為256 的1×1 的卷積層，最后再進行雙線性上采樣操作，得到所需的空間維度。ASPP 結(jié)構(gòu)里存在4 種不同采樣率的空洞卷積并行采樣，空洞卷積能在不丟失圖像分辨率的情況下，擴大特征圖的感受野，分辨率高，可以精確定位紙病目標(biāo)，而不同的感受野可以感受不同的尺度信息，通過并行組合不同采樣率，可以獲得多個不同尺寸的感受野，實現(xiàn)對任意大小紙病目標(biāo)的分類目的。ASPP結(jié)構(gòu)如圖3所示。

圖3 ASPP結(jié)構(gòu)圖Fig.3 Structure of ASPP

2.3 改進后的YOLOv7網(wǎng)絡(luò)結(jié)構(gòu)

改進后的YOLOv7 主干網(wǎng)路部分，在第1、2、3個Conv2D+BN+SiLU 模塊和第1 個Multi_Concat_Block模塊后面分別添加1 個CBAM 模塊。前2 個CBAM 是在淺層網(wǎng)絡(luò)加入，可以提升網(wǎng)絡(luò)對于小目標(biāo)紙病缺陷特征提取能力。第3 個CBAM 模塊作用是在進行下一次特征融合之前，先對特征圖進行特征加強操作。通過該改進，能使網(wǎng)絡(luò)忽略無關(guān)紙病信息的干擾，著重關(guān)注關(guān)鍵紙病特征，并將相對重要的特征加以融合，使融合后的特征圖包含更多有效紙病信息，提高小目標(biāo)紙病定位精度。特征提取部分CBAM 從空間和通道2 方面加強了關(guān)鍵紙病信息的檢測，保障算法穩(wěn)定性。

在主干網(wǎng)路里面加入ASPP 可以進一步擴大感受野，使較小目標(biāo)紙病的特征信息在網(wǎng)絡(luò)傳遞時得到保留，進而提高網(wǎng)絡(luò)性能。有利于小目標(biāo)紙病的識別。改進后YOLOv7 網(wǎng)絡(luò)如圖4 所示，紅色橢圓形為新加入的模塊。

圖4 改進YOLOv7算法結(jié)構(gòu)Fig.4 Improved YOLOv7 algorithm structure

3 實驗與結(jié)果分析

3.1 實驗環(huán)境與評價標(biāo)準(zhǔn)

本課題所有模型實驗環(huán)境為Linux 系統(tǒng)，ubuntu118.04，anconda4.12.0 & python3.8，CUDA11.6；軟件采用Pycharm2022.1.1；框架pytorch1.12。GPU 為24 GB顯存的NVIDIA GeForce RTX 3090，CPU為Gold 5218R。

2017年3月31日，財政部修訂發(fā)布了《企業(yè)會計準(zhǔn)則第22號——金融工具確認(rèn)和計量》、《企業(yè)會計準(zhǔn)則第23號——金融資產(chǎn)轉(zhuǎn)移》和《企業(yè)會計準(zhǔn)則第24號——套期會計》等三項金融工具會計準(zhǔn)則。此次更新即是趨同國際會計準(zhǔn)則，結(jié)合我國實際情況和需要進行的修訂。本次修訂也是金融工具相關(guān)準(zhǔn)則自2006年發(fā)布后的首次修訂。

精確率（P）、召回率（R）、平均精確率（AP）及平均精確率均值（mAP）作為網(wǎng)絡(luò)的性能評判指標(biāo)。在工廠檢測紙張表面缺陷需要滿足實時性，使用單張圖片平均推斷時間作為評價指標(biāo)。在檢測準(zhǔn)確性評價指標(biāo)方面，本課題選擇在目標(biāo)檢測領(lǐng)域中常用mAP 0.5 和mAP 0.5：0.95 指 標(biāo)，mAP 計 算 如 式(5)所示。

其中，AP 為精確率-召回率（P-R）曲線的曲線下面積。在計算P的過程中，首先設(shè)定預(yù)測框與真實框交并比（Intersection of Union，IoU）閾值，然后繪制預(yù)測框的P-R曲線，計算AP 值。mAP 0.5 指IoU 閾值取50%時的mAP 值。此外，將閾值從50%開始，以5%為步長逐漸升高至95%，得到不同IoU 閾值下的mAP，mAP 0.5：0.95即為所有mAP的平均值。

3.2 紙病數(shù)據(jù)集構(gòu)建

3.2.1 紙病圖像采集

研究中采用2 種方式采集紙病圖像，分別從包裝紙生產(chǎn)車間生產(chǎn)線上采集實際遇到的紙病和從實驗室中通過實驗室設(shè)備采集的紙張紙病。包裝紙生產(chǎn)車間生產(chǎn)線上收集到的紙病圖像是紙病診斷系統(tǒng)經(jīng)過裁剪處理后的圖像，實驗室采集到的紙病圖像是相機拍攝的原圖，這些紙病圖像大部分圖片的長度和寬度不一樣，為了統(tǒng)一圖片尺寸大小并防止圖片失真，采用背景插值法和圖像外接矩形區(qū)域法對圖片進行縮放。本課題紙病數(shù)據(jù)集一共有3500 張圖片，包含了黑斑、亮斑、孔洞、折皺、裂縫5類紙病，部分原始紙病圖像數(shù)據(jù)如圖5所示。

圖5 原始紙病圖像數(shù)據(jù)Fig.5 Paper disease image data

3.2.2 紙病圖像標(biāo)注

所有采集的圖像首先進行了圖像縮放、翻轉(zhuǎn)、長寬扭曲等數(shù)據(jù)處理，以增加訓(xùn)練樣本的多樣性、擴大紙病數(shù)據(jù)集規(guī)模；然后用labelimg 軟件標(biāo)注出目標(biāo)區(qū)域及類別，紙病類別一共有5 類，分別為黑斑、白斑、孔洞、裂口、褶子。通過執(zhí)行Python 腳本課題件把數(shù)據(jù)集按數(shù)量比8∶2 劃分生成訓(xùn)練集和驗證集。執(zhí)行完結(jié)果在VOCdevkit/VOC2007 目錄下生成文件夾YOLOLabels，存放的文件是圖像的YOLO 格式的標(biāo)注文件，在VOCdevkit 目錄下生成images 和labels 文件夾，images 文件夾里有train 和val 文件夾，分別放置訓(xùn)練集和測試集圖片；labels 文件夾有train 和val 文件夾，分別放置訓(xùn)練集和測試集標(biāo)簽（YOLO 格式），在YOLOvX 下生成了2 個文件YOLOvX_train.txt 和YOLOvX_val.txt。YOLOvX_train.txt 和YOLOvX_val.txt 是分別存放的訓(xùn)練圖片文件和測試圖片文件的列表，含有每個圖片的路徑和文件名。

3.3 對比實驗

為方便比較，設(shè)計了消融實驗來驗證改進效果，改進后的YOLOv7 消融實驗結(jié)果如表1 所示。由表1可知，引入CBAM 和ASPP 均不同程度地提升了網(wǎng)絡(luò)性能；添加CBAM 模塊可以加強小目標(biāo)的特征信息提取，使模型的mAP 提升了1.4 個百分點；通過加入ASPP 模塊，擴大感受野，模型的mAP 0.5 提升了0.9 個百分點。雖然加入的模塊會降低網(wǎng)絡(luò)的檢測速度，但由表1可知，其對于速度影響較小，改進后的YOLOv7網(wǎng)絡(luò)仍能保證紙病缺陷的實時檢測。

表1 消融實驗結(jié)果Table 1 Ablation experiment results

為了證明改進后的算法性能，表2 顯示了改進后的YOLOv7 算法模型在本課題紙病數(shù)據(jù)集里面的性能指標(biāo)對比。由表2 可知，改進后的YOLOv7 算法P比YOLOv7提高了1.5個百分點，R比YOLOv7提高了2.3 個百分點，mAP 0.5 比YOLOv7 提升了2.1 個百分點，mAP 0.5:0.95 提升了3.2%。對于本課題的紙病數(shù)據(jù)集來說，改進后的算法在保障了一定速度的情況下提升了P和R等指標(biāo)精度。

表2 對比實驗結(jié)果Table 2 Comparative experimental results

為了更好地驗證所提出的改進YOLOv7算法的檢測性能，采用檢測準(zhǔn)確率與檢測時間2項指標(biāo)，將本課題的改進YOLO 算法同現(xiàn)有基于CNN 的紙病分類算法與其余主流目標(biāo)檢測網(wǎng)絡(luò)模型SSD、YOLOv5在自建數(shù)據(jù)集上的訓(xùn)練結(jié)果進行評估與對比，對比實驗的結(jié)果如表3所示。由表3可以看出，本課題所提出的改進算法相較于基于SSD 的紙病類算法的mAP 0.5高3.5個百分點，速度快38.1幀/s，相較于YOLOv5提升了3.1個百分點，速度提升了38.2 幀/s，相較于YOLOv7，提高了2.1個百分點，且檢測速度差異較小。

表3 傳統(tǒng)算法對比實驗結(jié)果Table 3 Traditional algorithm compares the experimental results

通過紙病數(shù)據(jù)集對改進YOLOv7 模型進行訓(xùn)練，紙病數(shù)據(jù)集訓(xùn)練結(jié)果圖如圖6 所示。圖6 中從左到右前6個是訓(xùn)練的損失函數(shù)，分別為Box框的損失函數(shù)、不含目標(biāo)類別的損失函數(shù)、類別的損失函數(shù)，后4個是指標(biāo)變化圖。由圖6 可知，改進后的YOLOv7 算法loss 值不斷下降并且收斂，訓(xùn)練精度不斷上升，網(wǎng)絡(luò)模型具有較好的收斂能力和學(xué)習(xí)能力。

圖6 紙病數(shù)據(jù)集訓(xùn)練結(jié)果圖Fig.6 Training result graphs for paper detect dataset

改進后的YOLOv7 算法檢測結(jié)果如圖7 所示，圖片為經(jīng)過Mosaic 增強拼接后的訓(xùn)練結(jié)果。其中0～4分別代表裂痕、孔洞、黑斑、亮斑、折皺5 種紙病類別。從圖7 可以看出，改進后的YOLOv7 的速度比YOLOv5 快，精度也比YOLOv5 和YOLOv7 高，提升了紙病檢測的效率和質(zhì)量，提升了造紙機的出紙品質(zhì)和效率，是一種有效的紙機紙病在線實時檢測的有效算法。

圖7 改進后的YOLOv7 算法檢測結(jié)果Fig.7 Detection results of the improved YOLOv7 algorithm

4 結(jié) 論

本課題通過在YOLOv7 網(wǎng)絡(luò)中加入注意力機制CA 和BAM 及空洞空間卷積池化金字塔ASPP，提升了網(wǎng)絡(luò)對紙病檢測的精度，其平均精確率均值mAP 0.5提升了2.1個百分點，檢測速度超過78幀/s，且模型具有較好的魯棒性，具有較高的紙病缺陷在線檢測應(yīng)用價值。研究中只檢測了常見的5類紙病，后期可增加更多紙病類型；由于沒有開源的紙病數(shù)據(jù)集，紙病數(shù)據(jù)集數(shù)量僅3500 張左右，導(dǎo)致訓(xùn)練模型的泛化性能不高，后期可采集更多的紙病圖像，豐富數(shù)據(jù)集的規(guī)模；同時，可以考慮通過遷移學(xué)習(xí)策略提高紙病特征學(xué)習(xí)及檢測效率；并對紙病進行預(yù)處理，放大小目標(biāo)圖像，進一步提高檢測效率。